Шефът на Microsoft поиска „аварийна спирачка“ за изкуствения интелект

Главният изпълнителен директор на Microsoft Сатя Надела призова за създаване на „аварийна спирачка“ за напредналите системи с изкуствен интелект. Според него оторизиран човек трябва да има възможност да спре или изключи модела по време на изпълнение на задача, ако системата започне да действа непредвидимо или извън зададените ѝ ограничения.

„Необходимо е от самото начало да приемем, че моделът може да бъде компрометиран“, написа Надела. Той сравни защитата с аварийна спирачка, която позволява на човек да се намеси незабавно, вместо да разчита единствено на уверенията на компанията, разработила модела.

Контролът трябва да бъде извън самия модел

Надела посочи, че съвременните ИИ системи се различават от традиционния софтуер, при който човек обикновено може да проследи поведението до конкретен участък от програмния код. При големите езикови модели често не е възможно да се установи защо е взето определено решение или как точно данните от обучението са повлияли върху резултата.

Затова той предлага моделът да бъде отделен от управляващата среда, която координира работата му, както и от списъка с действия, които има право да извършва. Средствата за контрол и защита според него трябва да се намират извън самия модел. Така промяна в поведението на ИИ няма автоматично да премахва ограниченията върху достъпа му до системи и данни.

Главният изпълнителен директор на Microsoft настоява още всяко съществено действие на модела да бъде проследимо, проверимо и документирано. Той посочи като основни принципи разнообразието от модели, независимия контрол, одита, изолацията, ограничаването на достъпа и публичното разкриване на инциденти.

Призивът идва след поредица от инциденти

Позицията на Надела беше публикувана на фона на нарастващи опасения за автономните ИИ агенти. Axios съобщи, че Anthropic, OpenAI и други компании обсъждат сценарии за последиците от евентуален голям инцидент, а представители на индустрията са оценили риска от такова събитие през следващите 6–12 месеца. Това са оценки и вътрешни сценарии, а не потвърдена прогноза за конкретен инцидент.

През последните месеци OpenAI и Anthropic съобщиха за случаи, при които ИИ агенти са заобикаляли ограничения, действали са в тестови среди по непредвиден начин или са получавали достъп до системи, които не са били част от първоначалната задача. OpenAI определи свой инцидент с агенти в инфраструктурата на Hugging Face като предупредителен сигнал за възможностите на подобни системи.

Надела смята, че компаниите не трябва да приемат ИИ като поредица от „черни кутии“, чиито препоръки и действия просто се одобряват или отхвърлят. Според него най-надеждна ще бъде не системата, чийто модел се смята за най-достоен за доверие, а тази, която позволява на организациите да разчитат възможно най-малко на самия модел.