Армагедон на автопилот: как изкуственият интелект може да промени ядрената война

Девет държави вече притежават ядрени оръжия. Споразуменията за контрол над въоръженията, градени с огромни усилия в продължение на десетилетия, се разпаднаха. Геополитическата конкуренция засилва съперничеството между ядрените държави. Северна Корея продължава да разширява ядрения си арсенал и средствата за неговото доставяне. Китай е на път да увеличи броя на бойните си глави от приблизително 600 днес до около 1500 през 2035 г. Междувременно Русия носи основната отговорност за изтичането на срока на действие на договора Нов СТАРТ и разработва редица нови и необичайни системи за доставяне на ядрено оръжие, предназначени да заобикалят противоракетната отбрана. Сред тях са ядрени крилати ракети с ядрена енергийна установка и ядрено въоръжение, подводни дронове, хиперзвукови планиращи бойни блокове и противосателитно оръжие с ядрен заряд. Това пишат за War on the Rocks Джошуа А. Шварц - асистент-професор по международни отношения и нововъзникващи технологии в Института за стратегия и технологии "Карнеги Мелън", и Майкъл К. Хоровиц - старши експерт по технологии и иновации в Съвета по международни отношения.

"Макар че през последно време основателно се обръща голямо внимание на ядрената програма на Иран и на перспективата за автономни конвенционални оръжейни системи, над дискусиите все по-осезаемо надвисва и възможността в ерата на изкуствения интелект самите решения за изстрелване на ядрени оръжия да бъдат автоматизирани.

Една от особено тревожните възможности е държава като Русия да автоматизира използването на ядрени оръжия. На пръв поглед това звучи като нещо, което би могло да се случи единствено в холивудски филм — например като "машината на Страшния съд" от "Доктор Стрейнджлав" или "Скайнет" от "Терминатор". Но това не е научна фантастика и има исторически прецеденти за полуавтономни системи за изстрелване на ядрени оръжия.

По време на Студената война Москва действително е разполагала със система, известна като "Мъртвата ръка" или "Периметър". Тя е следяла за ядрена атака срещу съветска територия и при невъзможност да бъде осъществена комуникация с висшето съветско ръководство автоматично е можела да делегира правомощията за ядрено изстрелване на по-нископоставен оператор на системата. Целта на "Мъртвата ръка" е била да гарантира, че Съветският съюз ще може да отвърне на евентуален американски първи ядрен удар със собствен контраудар дори ако съветското ръководство бъде унищожено. С други думи, по същество това е била отбранителна система.

По подобен начин Адам Лоутър и Къртис Макгифин твърдят, че Съединените щати се нуждаят от собствена система тип "Мъртва ръка", за да възпират ефективно ядрени атаки срещу Вашингтон.

Възможно е обаче автоматизирани ядрени системи да бъдат използвани и за преследване на фактически настъпателни и ревизионистки цели чрез принуда или възпиране. Какво би станало, ако Русия нахлуе в държава като Естония или Полша и заплаши да използва ядрено оръжие, ако НАТО се намеси? Целта на подобна заплаха би могла да бъде да възпре НАТО от намеса в защита на несправедливо нападната държава или да принуди страните членки на Алианса да се откажат от ангажиментите си по член 5.

Обикновено подобни заплахи не са особено убедителни заради логиката на взаимното гарантирано унищожение и нормата за неизползване на ядрени оръжия. Но ако подобна заплаха бъде реализирана чрез компютъризирана автоматизация, тя може да изглежда по-правдоподобна.

Неотдавнашен експеримент чрез анкета, който проведохме сред членове на британския парламент и широката общественост, показва, че рискът ядрени държави да преследват цели чрез автоматизиране на ядреното изстрелване, заслужава да бъде взет насериозно. В нашето изследване представихме сценарий, при който Русия нахлува в Естония и заплашва държави от НАТО, включително Обединеното кралство, с ядрен удар, ако те се притекат на помощ на Талин.

Тревожното е, че когато ядрените заплахи на Москва бяха представени като реализирани чрез автоматизирана система, те бяха възприемани като по-убедителни и участниците бяха по-склонни да отстъпят. Колкото и опасно да е това, държавите могат да бъдат изкушени да създадат автоматизирани системи за изстрелване на ядрени оръжия, за да оказват по-ефективна принуда върху противниците си.

Защо ядрената принуда е трудна

Принудата включва използването на заплахи срещу други държави с цел постигане на политически цели, без действително да се прибягва до скъпо струваща употреба на сила. Както казва Робърт Пейп, "ядрените оръжия почти винаги могат да причинят повече болка, отколкото която и да е жертва може да понесе", така че на пръв поглед заплахата с ядрено възмездие би изглеждала като ефективна стратегия за принуда. Но има две причини, поради които обикновено това не е така.

Първото ограничение възниква, когато между две ядрени държави съществува взаимно гарантирано унищожение. За да бъдат заплахите убедителни, държавата, към която са отправени, трябва да вярва, че съществува вероятност наказанието действително да бъде изпълнено, ако бъде премината определена "червена линия".

Проблемът е, че ако държавата, към която е отправена заплахата, разполага с ядрени оръжия и надеждна способност за ответен удар, тя може да отвърне със собствен опустошителен ядрен удар. От рационална гледна точка тогава изпълнението на ядрена заплаха би било нелогично и следователно при тези обстоятелства тя би загубила своята достоверност.

Второто ограничение е ядреното табу, или нормата за неизползване на ядрени оръжия, доколкото тя съществува. Предвид стигмата около използването на ядрени оръжия — особено когато съществуват други добри алтернативи — ядрените заплахи могат да бъдат недостоверни, защото държавите биха очаквали политическите, икономическите и обществените разходи от тяхното изпълнение да бъдат прекалено високи.

Как автоматизацията може да промени играта

Компютрите не се интересуват дали изпълнението на една ядрена заплаха е ирационално, защото може да доведе до ядрен ответен удар или до други сериозни последици — освен ако това не е заложено в тяхното програмиране.

Чрез разработването и активирането на автоматизирана система за ядрено оръжие лидерите могат да направят заплахите си за използване на ядрени оръжия по-достоверни, тъй като делегирането на правомощията за изстрелване на компютър позволява на лидерите в буквалния смисъл "да си вържат ръцете".

Както казва прословутият измислен герой д-р Стрейнджлав: "поради автоматизирания и необратим процес на вземане на решения, който изключва човешката намеса, машината на Страшния съд е ужасяваща и напълно достоверна и убедителна".

Разбира се, компютърните системи могат да дадат дефект или да откажат, което означава, че автоматизирането на ядреното командване и управление крие значителни рискове.

По време на Студената война почти на косъм са настъпили няколко инцидента, при които системи за ранно предупреждение погрешно са показвали, че е започнала ядрена атака. Това е можело да доведе до погрешен ядрен ответен удар, ако грешката не е била открита от човек.

Съвременните компютърни системи също не са имунизирани срещу грешки. Например системата за автоматично коригиране на полета MCAS на Boeing 737 MAX е свързана с няколко смъртоносни катастрофи на пътнически самолети през 2018 и 2019 г., а автоматизираните системи за търговия допринесоха за "сривa за секунди" на фондовия пазар през 2010 г., когато пазарна стойност за стотици милиарди долари беше изтрита само за няколко минути.

Компютърните системи са уязвими и към хакерски атаки. Злонамерени държавни или недържавни субекти биха могли да използват тази уязвимост, за да се опитат да предизвикат ядрена война между свои противници или да отслабят способността на дадена държава за ответен удар.

Ако държавите автоматизират процесите по изстрелване на ядрени оръжия чрез сложни и непрозрачни програми за машинно обучение, базирани на изкуствен интелект, вместо чрез предварително кодирани системи, основани на ясни правила като "Мъртвата ръка", това може допълнително да увеличи риска хората да не разбират как системата взема решенията си.

В комбинация с автоматизационната предубеденост — склонността на хората да се доверяват прекомерно на компютрите — това може да доведе до катастрофа.

Предвид тези недостатъци повечето лидери вероятно няма да предприемат крайната стъпка към автоматизиране на използването на ядрени оръжия. Въпреки това ядрен шантаж исторически е използван от държави като Съединените щати по време на кризата в Тайванския проток и от Пакистан по време на войната в Каргил.

Автоматизирането на ядреното изстрелване може да изглежда като рационална стратегия по няколко причини.

Първо, държава, която се страхува от обезглавяващ удар от страна на по-мощна ядрена държава, може да автоматизира ядреното командване и управление, за да ускори способността си да отвърне на удара и да се защити в случай на нападение. Именно поради тази причина Лоутър и Макгифин смятат, че Съединените щати се нуждаят от собствена система тип "Мъртва ръка".

Второ, нарастващата скорост на конвенционалната война в ерата на изкуствения интелект може да накара държавите да се страхуват от бързо конвенционално поражение и да ги подтикне да автоматизират ядреното командване и управление, за да предотвратят евентуален обезглавяващ удар.

Трето, ако дадена държава е в конвенционално неизгодно положение или ситуацията на бойното поле се влошава, тя може да прибегне до ядрена принуда и да предприеме опасната стъпка към автоматизиране на използването на ядрено оръжие, за да постигне стратегическите си цели.

Автоматизацията на ядрените оръжия "работи" — до известна степен

За да проверим доколко автоматизираните ядрени заплахи могат да влияят върху възгледите на политическите лидери и широката общественост, анкетирахме над 100 действащи членове на британския парламент и над 1000 британски граждани.

Представихме на участниците хипотетичен сценарий, развиващ се през 2030 г., при който Русия нахлува в Естония и заплашва да използва поне едно ядрено оръжие срещу НАТО, ако Алиансът се намеси.

Този сценарий е обезпокоително правдоподобен. Русия е отправяла ядрени заплахи срещу Украйна и НАТО, а в определен момент американските разузнавателни служби са оценявали вероятността Русия да използва ядрено оръжие на до 50%, ако руските позиции в Южна Украйна се сринат.

Според публикации на "Ню Йорк Таймс" една от симулациите на администрацията на Байдън е включвала искане от Москва Западът да прекрати всякаква военна подкрепа за украинците — без повече танкове, без повече ракети и без повече боеприпаси. Това до голяма степен съответства на сценария, който представихме на участниците в нашите експерименти.

След това на случаен принцип променяхме един елемент: дали руската ядрена заплаха се реализира чрез автоматизирана система за ядрено изстрелване, която автоматично би нанесла удар, ако руските сензори и системи за ранно предупреждение засекат намеса на НАТО, или чрез обичайни средства, контролирани от хора.

На всички участници беше зададен въпросът дали смятат руската заплаха за достоверна и дали са склонни да се съобразят с руската "червена линия".

Резултатите бяха тревожни и показват как ерата на изкуствения интелект може да увеличи ядрения риск — автоматизацията направи руските заплахи по-достоверни и по-ефективни.

Британските граждани бяха с над 13% по-склонни да повярват, че Русия ще използва ядрени оръжия, ако бъде нарушена нейната "червена линия", когато заплахата е представена като автоматизирана, в сравнение с обичайна заплаха.

Британските депутати също бяха с 9% по-склонни да подкрепят отстъпление от защитата на Естония, когато Русия отправя автоматизирана ядрена заплаха.

Показателно е, че автоматизираната ядрена принуда може да носи предимства дори когато самото Обединено кралство разполага с ядрени оръжия, а Естония е член на НАТО и е защитена от гаранцията по член 5.

Въпреки че в сценария изрично посочихме на участниците съществуването на автоматизирана система, резултатите повдигат въпроса как една държава би могла да убеди противниците си, че действително разполага с автоматизирано ядрено изстрелване — и откриват възможност за блъфиране.

Предвид рисковете, за които вече стана дума, и факта, че политическите лидери често не желаят да се отказват от личния си контрол върху критично важни политически решения, правителствата може да бъдат възприемани като малко склонни да делегират средствата за масово унищожение на компютри.

Проверката дали една автоматизирана ядрена система действително съществува, също би била изключително трудна, тъй като държавите едва ли биха споделили програмния код на подобни системи от страх, че противникът може да открие тяхна слабост.

Пречката пред това твърденията за ядрена автоматизация да бъдат достоверни се усложнява допълнително от факта, че ако автоматизацията на ядрените оръжия предоставя предимства при принуда, държавите могат да имат стимул да блъфират относно съществуването на такива системи, за да извлекат ползите, без да поемат рисковете.

Въпреки това, предвид напредъка на най-модерните системи за изкуствен интелект през последните няколко години — ако не и месеци — идеята, че една държава би могла да автоматизира ядреното изстрелване, лесно може да изглежда технически достоверна.

Ако залозите се възприемат като достатъчно високи от държавата, която упражнява принуда — например ако тя губи на бойното поле и лидерите ѝ трябва да "заложат всичко в отчаян опит да се върнат в играта" — тогава може да се възприеме и като готова да опита ядрена автоматизация.

Достоверността може да е по-висока и при авторитарни режими, за които е известно, че не се доверяват на собствените си военни.

Публичните изявления на лидерите, че системи за автоматизация съществуват и са активирани, също биха поставили тяхната репутация на карта по начин, който може да направи твърденията им по-достоверни.

С течение на времето, ако лидерите блъфират и бъдат разобличени в лъжа, бъдещите твърдения за ядрена автоматизация вероятно ще бъдат посрещани с по-голямо подозрение.

Обратно, достоверните заплахи за автоматизация днес могат да повишат достоверността на подобни заплахи в бъдеще.

Накрая, държавите могат да събират разузнавателна информация чрез човешки източници или електронно прехващане, която да им помогне да преценят дали твърденията за автоматизация са верни.

В крайна сметка твърденията за автоматизация на ядрените оръжия не е задължително да бъдат приемани със 100% сигурност, за да бъдат ефективни.

Резултатите от нашето проучване показват, че ако държавите смятат, че съществува разумна, макар и ненулева вероятност противникът им да е предприел рискованата стъпка да намали човешкия контрол върху ядрените оръжия, това може да ги разтревожи достатъчно, за да започнат по-сериозно да обмислят отстъпление.

Необходими са и няколко допълнителни уточнения относно нашите резултати.

Първо, промените в нагласите, които установихме — 9-13%— са значими, но умерени.

Те показват, че автоматизацията на ядрените оръжия може до известна степен да промени нагласите, но също така показват, че тя далеч не е универсално решение за принуда.

Голяма част от британските депутати и граждани не променят мнението си, когато бъдат изправени пред автоматизирана заплаха.

Второ, резултатите съдържаха известни противоречия.

Например, макар британските депутати да са били по-склонни да отстъпят, когато Русия отправя автоматизирани ядрени заплахи, средно те не са ги намирали за по-достоверни от неавтоматизираните заплахи.

Това показва, че описаните по-горе трудности при превръщането на автоматизираните заплахи в достоверни действително могат да са реални.

Дори ако най-добрата оценка на политиците за вероятността от използване на ядрено оръжие е приблизително еднаква при автоматизирани и неавтоматизирани ядрени заплахи, те може да са по-несигурни в оценките си за първия тип поради относителната новост на технологията и невъзможността да се преговаря с компютър по същия начин, по който може да се преговаря и разсъждава с човек.

По-голямата несигурност относно риска от ядрена ескалация може тогава да е убедила някои депутати да подкрепят отстъпление, за да избегнат опустошителен изход.

Все повече страни в света искат собствени ядрени оръжия, а ядрените сили не се боят от конфликт

Предвид принудителното предимство, което автоматизирането на системите за ядрено изстрелване може да осигури, държавите трябва да се подготвят за възможността техни противници да обмислят предприемането на тази опасна стъпка.

За да възпират разработването и използването на такива системи още от самото начало, държавите могат публично да заявят, че ще налагат разходи — например икономически санкции — ако получат разузнавателна информация, че други държави създават подобни системи.

За ядрените държави укрепването на способностите за втори удар би било най-сигурният начин да избегнат попадането в капана на автоматизираната заплаха.

Разработването на автоматизирани системи ще бъде особено изкушаващо за държави, които се страхуват от обезглавяващ удар, както са се страхували съветските лидери, когато са създали "Мъртвата ръка".

Следователно модернизирането на ядрените арсенали с цел укрепване на способностите за втори удар би могло да намали стимулите държавите изобщо да се насочват към автоматизация — поне за отбранителни цели.

Макар че контролът над въоръженията в ерата на изкуствения интелект ще бъде изключително труден, тъй като ИИ е технология с общо предназначение, една възможна област за сътрудничество е многостранно споразумение, забраняващо автоматизираното изстрелване на ядрени оръжия.

Макар че спазването на подобно споразумение вероятно би било изключително трудно, ако не и невъзможно за проверка, официалният публичен ангажимент би увеличил цената на нарушаването му.

Вашингтон и Пекин неофициално са се договорили човешки същества, а не изкуствен интелект, да контролират решенията за използване на ядрени оръжия, но правно обвързващо споразумение с повече ядрени държави би осигурило по-силни гаранции.

Изискването подписалите страни да заложат този ангажимент и в националното си законодателство допълнително би укрепило ограниченията срещу нарушаването му.

Преследването на подобно споразумение би могло да бъде успех за администрацията на Тръмп.

Въпреки тези усилия ревизионистка държава като Русия може да се опита да използва твърдения за ядрена автоматизация, за да анексира бивши членове на съветския блок.

Страните от НАТО трябва да провеждат стратегически и оперативни военни игри, за да разработят план за действие при автоматизирани ядрени заплахи.

Оптималният отговор ще зависи и от това доколко достоверна е заплахата според разузнавателната информация и структурните фактори, както и от значението, което се придава на набелязаната територия.

Дори ако принудителните предимства на автоматизираните ядрени системи направят тяхното приемане изкушаващо за някои държави, поставянето на Армагедон на автопилот е път, който самите страни от НАТО трябва да избягват.

Залогът за предотвратяване на използването на ядрени оръжия е просто твърде висок, за да бъдат приемливи рисковете от технически неизправности, хакерски атаки, автоматизационна предубеденост и ескалация, които автоматизираните системи за ядрено изстрелване биха създали.

Съществува голямо безпокойство относно интегрирането на автоматизацията и изкуствения интелект във военната сфера.

Интегрирането на ИИ във военните системи е неизбежно, особено в епохата на "прецизната масовост", в която държавите вероятно ще инвестират в милиони въздушни, сухопътни и морски дронове, чието ефективно управление ще бъде трудно без изкуствен интелект и автономни системи.

Вграждането на по-голяма автономност в дроновете — при наличие на подходящи предпазни механизми — може да намали уязвимостта им към радиоелектронна борба, като същевременно избегне недостатъците на използването на системи, управлявани чрез кабелна връзка.

Разрушителната сила на дроновете с конвенционално въоръжение, разбира се, е значително по-малка от тази на ядрените оръжия, което прави рисковете от автоматизираните дронове много по-малки от рисковете при автоматизирано изстрелване на ядрени оръжия.

Някои приложения на автоматизацията могат да подобрят стабилността, докато други могат да бъдат опасни и дестабилизиращи.

Що се отнася до ядрените оръжия, нашето изследване показва, че за съжаление автоматизацията може да носи предимства при принуда, което означава, че опасността е реална и тревогата е напълно основателна.

Но е важно да се прави разграничение между нивата на риск при различните видове военни системи.

Поставянето на Армагедон на автопилот би създало огромни и уникални рискове в сравнение с други оръжейни системи, задвижвани от изкуствен интелект.