Як обмежити загрозу автономної зброї
Минулого року українська компанія Saker заявила, що випустила на ринок повністю автономну зброю Saker Scout, яка використовує штучний інтелект, щоб самостійно приймати рішення про те, кого вбивати на полі бою. Представники Saker заявили, що безпілотник здійснював автономні атаки в невеликих масштабах. Хоча це не було підтверджено незалежною перевіркою, технологія, необхідна для створення такої зброї, безумовно, існує. Це невеликий технічний крок – але важливий з моральної, правової та етичної точки зору – до створення повністю автономної зброї, здатної самостійно шукати і вибирати цілі.
Розгортання безпілотника Saker показує, що вікно для регулювання автономної зброї швидко закривається. Країни вже десять років обговорюють, що робити з автономною зброєю, але так і не змогли домовитися про правила, які б обмежили шкоду від неї. Проте існує нагальна потреба в міжнародній угоді. Необмежений розвиток автономної зброї може призвести до війн, які вийдуть з-під людського контролю, з меншим захистом як для комбатантів, так і для цивільного населення. Навіть якщо повна заборона не є реалістичною, існує багато практичних правил, які уряди можуть прийняти, щоб пом’якшити найгірші небезпеки, які несе в собі автономна зброя. Без обмежень людство ризикує опинитися в майбутньому небезпечної, керованої машинами війни.
МАЙЖЕ ТАК
Військові використовують частково автономну зброю в обмежених оборонних умовах з 1980-х років. Сьогодні щонайменше 30 країн мають на озброєнні системи протиповітряної і протиракетної оборони або системи протиракетного захисту наземних транспортних засобів, які мають автономні режими. Після активації ці оборонні системи можуть автоматично виявляти ракети, артилерію, міномети, ракети або літаки, що наближаються, і перехоплювати їх. Але люди контролюють їхню роботу і можуть втрутитися, якщо щось піде не так.
Військові не поспішали впроваджувати технології штучного інтелекту, розроблені в комерційному секторі, частково через громіздкі процеси закупівель. Війна в Україні прискорила впровадження інновацій з обох сторін, особливо у сфері комерційних технологій, таких як малі безпілотники. І Москва, і Київ широко використовували дрони для розвідки та атак на наземні війська. Розгортання безпілотників, своєю чергою, призвело до розробки нових контрзаходів, зокрема систем радіоелектронної боротьби, які глушать лінії зв’язку безпілотників або визначають місцезнаходження операторів на землі, які потім можуть бути атаковані. Така увага до оператора є стратегічно обґрунтованою: більшість безпілотників пілотуються дистанційно, що робить людину-оператора важливою і критично важливою мішенню. Без людини-оператора дистанційно керовані дрони стають марними. Ось чому автономні дрони такі цінні: вони не залежать від вразливих ліній зв’язку. Щоб протидіяти їм, необхідно знайти і знищити самі дрони.
Конкретна форма, якої набуває автономна зброя, залежатиме від потреб конфлікту. В Україні Москва і Київ використовували невеликі безпілотники для ураження особового складу і бойових машин. Більші безпілотники середньої висоти використовувалися для того, щоб проникати в тил ворога і вражати радари і споруди. Україна навіть використовувала безпілотні катери для нападу на Чорноморський флот Росії. Всі ці безпілотники, які наразі керуються дистанційно, можуть бути модернізовані і стати автономними, що дозволить їм продовжувати роботу, якщо лінія зв’язку буде заблокована.
Інші конфлікти можуть призвести до розробки різних автономних озброєнь. Декілька країн, в тому числі Китай, Франція, Індія, Росія, Велика Британія і США, наразі працюють над створенням малопомітних бойових безпілотних літальних апаратів. У майбутніх війнах ці безпілотники можуть автономно атакувати засоби протиповітряної оборони або мобільні ракетні пускові установки. Наземні роботи поки що відстають від своїх повітряних і морських колег, але майбутні війни можуть побачити автономне озброєння, розміщене на роботах або стаціонарних гарматних установках. На цьому зміни, швидше за все, не зупиняться. Рої дронів зможуть автономно координувати свою поведінку, реагуючи на зміни на полі бою зі швидкістю, що виходить за межі людських можливостей. Автономні реакції зі швидкістю машини можуть призвести до прискорення темпу операцій, прискорюючи темп бою. Це, в свою чергу, може створити ще більший тиск на усунення людини з циклів прийняття рішень. Наслідки цього переходу до нової ери війни, керованої машинами, будуть глибокими.
АВТОНОМНА НЕБЕЗПЕКА
Провідні вчені в галузі штучного інтелекту, серед яких професор Каліфорнійського університету Стюарт Рассел та лауреат премії Тьюринга Ян Лекун, попередили про небезпеку автономної зброї. Консорціум з понад 250 неурядових організацій, серед яких Amnesty International, Human Rights Watch та Нобелівська жіноча ініціатива, створили Кампанію “Зупинити роботів-вбивць”, закликаючи до укладення превентивного, юридично обов’язкового договору про заборону автономної зброї. Ці попередження і кампанії мотивовані занепокоєнням тим, що автономна зброя може збільшити кількість жертв серед цивільного населення під час війни. Хоча автономна зброя теоретично може зменшити кількість жертв серед цивільного населення, точно націлюючись на комбатантів, в руках держави, яка мало дбає про жертви серед цивільного населення – або хоче покарати цивільне населення – вона може бути використана для вчинення руйнівних звірств. Величезні полчища автономної зброї можуть бути розгорнуті для націлювання і вбивства тисяч людей за один раз, в порівнянні з якими сучасні “розумні” бомби здаватимуться незграбними.
Один з найбільш екстремальних ризиків пов’язаний з інтеграцією штучного інтелекту та автономії в ядерну зброю. У 2022 році Сполучені Штати оголосили, що завжди матимуть “людину в курсі” рішень про застосування ядерної зброї. Велика Британія прийняла аналогічну політику у 2022 році. Проте Росія і Китай цього не зробили. Людський контроль над ядерною зброєю здається легкою відправною точкою для міжнародної угоди, але Москва продемонструвала тривожну готовність інтегрувати ризиковану автоматизацію в свої ядерні операції. У цьому немає нічого нового: після закінчення холодної війни колишні радянські чиновники пояснювали, що Радянський Союз побудував напівавтоматизовану систему ядерного удару у відповідь під назвою “Периметр”. Після активації вона за допомогою низки автоматизованих датчиків виявляла ядерну атаку на радянську територію. У разі виявлення такої атаки і відсутності реакції з боку лідерів країни – ймовірно, через їхню загибель під час нападу – система автоматично передавала б повноваження на запуск ядерної зброї відносно молодшому офіцеру в захищеному бункері. У 2018 році російські офіційні особи заявили, що система все ще працює і навіть була модернізована. Зовсім недавно Москва почала розробляти автономний підводний безпілотник з ядерною зброєю. Ядерні безпілотники на морі або в повітрі можуть бути відправлені на патрулювання, ризикуючи потрапити в аварію або втратити контроль над ядерною зброєю.
Широкомасштабне застосування автономної зброї, інтегрованої з іншими аспектами військового ШІ, може призвести до нової ери війни, керованої машинами. Застосування військового ШІ може прискорити обробку інформації і прийняття рішень. Цикли прийняття рішень скорочуватимуться, оскільки країни впроваджуватимуть ШІ і автоматизацію, щоб скоротити час на пошук, ідентифікацію і нанесення ударів по ворожих цілях. Теоретично, це може дати людям більше часу для прийняття продуманих, зважених рішень. На практиці конкуренти будуть змушені відповідати тим же, використовуючи автоматизацію для прискорення власних операцій, щоб не відставати. Результатом стане розкручування спіралі більшої автоматизації і меншого контролю з боку людини.
Кінцевим результатом цього змагання, швидше за все, стане війна, яка буде вестися зі швидкістю машини і не підконтрольна людині. У фінансовій сфері широке використання алгоритмів у високочастотній торгівлі призвело до того, що акції торгуються автономно з надлюдською швидкістю. Китайський військовий науковець Чен Хангуй з Коледжу армійського командування Народно-визвольної армії висунув гіпотезу про “сингулярність” на полі бою – точку, в якій темпи ведення війни машинами так само випереджатимуть швидкість прийняття рішень людиною. Цей переломний момент змусить людей поступитися машинам як у прийнятті тактичних рішень, так і в оперативних стратегіях ведення війни. Машини не лише обиратимуть окремі цілі, але й плануватимуть і здійснюватимуть цілі кампанії. Роль людини зведеться до того, щоб вмикати машини і сидіти на узбіччі, не маючи можливості контролювати чи навіть закінчувати війни.
ЗАСТРЯГЛО В БУР’ЯНАХ
Міжнародні правила, якщо вони будуть ретельно розроблені і успішно впроваджені, можуть допомогти пом’якшити деякі з найгірших наслідків використання автономної зброї. Близько 30 країн і консорціум гуманітарних організацій закликали до укладення превентивного, юридично обов’язкового договору про заборону автономної зброї до того, як вона буде розгорнута. Уряди досягли відносного успіху в забороні хімічної і біологічної зброї, касетних боєприпасів і використання довкілля як зброї. Але аналогічний прогрес у регулюванні автономних озброєнь виявився складним. Зокрема, повна заборона є малоймовірною. Оскільки автономна зброя ще не повністю розроблена, невідома як її потенційна шкода, так і військова цінність. Тому уряди неохоче відмовляються від потенційно цінної зброї через невизначеність щодо потенційної майбутньої шкоди.
Дискусії про те, як регулювати автономну зброю, відбуваються на багатьох форумах. На міжнародному рівні уряди обговорюють автономну зброю в рамках Конвенції ООН про конкретні види звичайної зброї з 2014 року. КНЗ – це міжнародний форум для регулювання зброї, яка вважається надмірно шкідливою для комбатантів або цивільних осіб, наприклад, наземні міни і засліплюючі лазери. До неї входять 126 країн, і угода вимагає підтримки урядів усіх країн-учасниць, що є рецептом дисфункції. Росія і Сполучені Штати, зокрема, рішуче виступають проти договору про заборону автономної зброї, стверджуючи, що існуючих норм воєнного права достатньо для усунення будь-якої потенційної шкоди. Опозиція Москви і Вашингтона є фатальною, оскільки заборона на автономну зброю не має сенсу, якщо до неї не приєднаються найбільші військові держави світу. Усвідомлюючи відсутність прогресу, у 2023 році прихильники заборони винесли питання на розгляд Генеральної Асамблеї ООН, що не потребує консенсусу. У листопаді 2023 року Перший комітет Генеральної Асамблеї проголосував за те, щоб доручити Генеральному секретарю ООН підготувати доповідь про автономну зброю, яка, як сподіваються прихильники заборони, стане першим кроком до отримання мандату на переговори про укладення договору.
Тим часом Сполучені Штати запропонували альтернативний підхід до повної заборони і наприкінці 2023 року на чолі з більш ніж 40 країнами схвалили політичну декларацію про необхідність відповідального використання військового ШІ. Станом на лютий 2024 року до цих зусиль приєдналися понад 50 урядів. Хоча декларація не забороняє автономну зброю, вона містить загальні рекомендації щодо її використання, такі як забезпечення належного тестування для зменшення ризику нещасних випадків. Хоча декларація підтримує цінні принципи, їй бракує значущих обмежень для найбільш небезпечних форм автономної зброї, таких як протипіхотна автономна зброя і автономність в ядерних операціях.
ДОКИ НЕ СТАЛО НАДТО ПІЗНО
Замість цих підходів, що зайшли в глухий кут, є п’ять взаємодоповнюючих ініціатив, які країни можуть реалізувати, щоб зменшити загрозу автономної зброї. По-перше, уряди можуть прийняти широкий принцип, який встановлює мінімально необхідну участь людини у прийнятті летальних рішень. Такий принцип може бути ухвалений як юридично обов’язкове правило через КНЗ або Генеральну Асамблею, або ж як політично зобов’язуюча декларація. Цей стандарт повинен вимагати, щоб людина, яка приймає рішення, мала конкретну і достатню інформацію про передбачувану ціль, зброю, навколишнє середовище і контекст нападу, щоб визначити, чи є напад законним до того, як він буде санкціонований. Країни могли б також погодитися, що для того, щоб людський контроль мав сенс, будь-яке використання автономної зброї має бути обмежене за географією, часом і цілями, що атакуються. Хоча такий принцип не забороняє всю автономну зброю – фактично, він легітимізує її використання за умови дотримання цих правил – він створить запобіжники щодо того, як країни використовують автономну зброю, і забезпечить участь людей у прийнятті найбільш важливих рішень щодо санкціонування атак.
По-друге, уряди можуть заборонити автономну зброю, яка націлена на людей. У світі, де багато учасників бойових дій не носять уніформи, навіть люди часто не можуть точно відрізнити цивільних від солдатів. Алгоритмам буде набагато складніше зробити висновок, чи є людина з гвинтівкою комбатантом, чи фермером, який захищає свою землю. Машина також з меншою ймовірністю зможе точно і надійно розпізнати, чи дійсно солдат намагається здатися, чи лише імітує капітуляцію. Як наслідок, протипіхотна автономна зброя становить більші ризики, ніж та, що націлена лише на транспортні засоби чи техніку, а шкода, яку вона може завдати, значно перевищує її військову цінність. Держави можуть заборонити її до того, як вона набуде широкого поширення.
По-третє, країни можуть оприлюднити найкращі практики тестування військових ШІ та автономних систем, щоб уникнути нещасних випадків. Ключова мета політичної декларації 2023 року на чолі з США – забезпечити безпеку військових систем штучного інтелекту шляхом вдосконалення тестування. Вашингтон повинен піти далі і поділитися з іншими країнами найкращими практиками тестування систем ШІ для підвищення їхньої безпеки. Це можна було б зробити так само, як Сполучені Штати діляться інформацією про процес проведення перевірок легальних озброєнь, не розголошуючи зміст конкретних перевірок.
Держави можуть заборонити протипіхотну автономну зброю до того, як її використання стане широко розповсюдженим.
По-четверте, Сполученим Штатам слід співпрацювати з Великою Британією, щоб переконати інші ядерні держави укласти угоду, яка забезпечить суворий контроль над ядерною зброєю з боку людини. Лондон є правильним партнером для цих зусиль через свою політику збереження людського контролю над ядерним арсеналом. Забезпечення аналогічних односторонніх заяв від інших ядерних держав або, в ідеалі, багатосторонньої угоди стане важливим кроком до того, щоб найнебезпечніша зброя людства залишалася під контролем людей. Угода між п’ятьма постійними членами Ради Безпеки ООН стала б потужною заявою. Вашингтон також повинен тиснути на Пекін з цього питання на нових двосторонніх американсько-китайських переговорах щодо ШІ.
Нарешті, держави могли б прийняти єдині правила дорожнього руху для автономних дронів, щоб зменшити ризик аварій. Оскільки країни використовують все більше безпілотників у повітрі і на морі – і оскільки ці дрони стають все більш автономними – ймовірність того, що аварія або прорахунок можуть спровокувати міжнародний інцидент, стає все більш імовірною. Наприклад, у 2019 році іранські засоби ППО збили американський безпілотник Global Hawk над Ормузькою протокою. У березні 2023 року російський винищувач втрутився в роботу американського безпілотника MQ-9 Reaper у Чорному морі, що призвело до його аварії. Оскільки ці безпілотники керувалися дистанційно, людина вирішила, як реагувати. Але майбутні повітряні та морські дрони можуть бути автономними. Це означатиме, що в подібних ситуаціях безпілотник самостійно виконуватиме ті дії, на які він був запрограмований. Якщо він був запрограмований відкрити вогонь у відповідь, він це зробить, що може призвести до ескалації міжнародного інциденту без будь-якого свідомого людського рішення про це. Уряди повинні гарантувати, що будь-яка автономна поведінка відповідає людським намірам. Американсько-радянська угода 1972 року про інциденти на морі допомогла зменшити кількість незапланованих інцидентів між американським і радянським флотами під час холодної війни. Подібна угода про автономні інциденти допоможе країнам зорієнтуватися в ризиках протистояння автономних систем, розгорнутих у спірних районах, і уникнути незапланованих і небажаних інцидентів.
Ці ініціативи, спрямовані на подолання ризиків, пов’язаних з автономною зброєю, можна реалізовувати разом або окремо, різними каналами і в різні терміни. КНЗ, Генеральна Асамблея, очолювана США ініціатива політичної декларації, Рада Безпеки, двосторонній американо-китайський діалог та інші багатосторонні форуми – все це простори для глобальної співпраці, які слід розглянути. Співпраця Вашингтона з Пекіном буде особливо важливою. Угода між Сполученими Штатами і Китаєм, як провідними військовими, економічними і технологічними наддержавами світу, стане важким, але критично важливим кроком вперед в управлінні ризиками, пов’язаними з автономними озброєннями.
ОБЕРЕЖНО
Автономна зброя наближається. Спроби повністю заборонити її, хоч і з добрими намірами, швидше за все, будуть марними. Їх військова цінність просто надто велика. Проте у країн є вибір, як саме використовувати автономну зброю. Без ефективних обмежень автономна зброя зменшить контроль людини над війною, створить підвищену небезпеку для цивільного населення і комбатантів і підірве міжнародну стабільність. Необхідно терміново вжити заходів для усунення найбільших небезпек, які несе в собі ця зброя. Це вимагатиме виходу за межі нинішнього спрощеного і оманливого вибору між забороною усієї автономної зброї і повною відсутністю обмежень.
Автономна зброя – це перша перевірка здатності людства боротися зі збройним штучним інтелектом, більш небезпечні форми якого з’являються все частіше. Новітні системи штучного інтелекту продемонстрували здатність сприяти розробці кіберзброї, а також хімічної та біологічної зброї. Глобальне співробітництво є нагальною потребою для управління їх вдосконаленням, обмеження їх розповсюдження та захисту від їх потенційного використання. Досягнення міжнародної угоди щодо автономної зброї має вирішальне значення для подолання її шкоди і закладення фундаменту для співпраці у боротьбі з майбутніми, ще більш серйозними загрозами, пов’язаними зі штучним інтелектом.
Пауль Шарре
