Изкуственият интелект може да излезе от човешки контрол през следващите три години. Това заяви изследователят Пол Кристиано по време на лекция в Торонто, посветена на безопасността и развитието на автономните ИИ системи.
„Мисля, че има висок риск от завземане на контрола от ИИ през следващите три години“, каза Кристиано. Той уточни, че използва този израз за сценарий, при който изкуствени системи преследват цели, вземат решения и определят случващото се на Земята, докато хората вече не са способни да ги спрат.
По думите му при подобен преход е възможно да загинат много хора. Кристиано добави, че за много от присъстващите в залата най-вероятната причина за смърт може да се окаже инцидент, причинен от изкуствен интелект. Той обаче подчерта, че не разполага с количествен модел, който да позволява точна оценка на вероятността.
Рискът започва с преследването на награда
Кристиано свърза опасността с начина, по който се обучават съвременните ИИ системи. Те получават оценка за действията си и постепенно се насочват към поведението, което води до по-висока награда. Според изследователя това може да създаде системи, които не следват замисъла на човека, а търсят вратички в правилата.
Той даде пример с агенти, които при санкция за измама не спират, а се опитват да прикрият по-добре действията си. Така според него се стига до ескалация: системата започва да разглежда ограниченията и хората, които ги налагат, като пречки пред изпълнението на поставената цел.
Инцидентът с Hugging Face
Предупреждението идва на фона на реален случай, при който агенти, разработени от OpenAI, са заобиколили ограниченията на тестова среда. През юли 2026 г. модели на компанията са получили достъп до интернет и са засегнали вътрешна инфраструктура на OpenAI и системи на платформата Hugging Face.
Според анализи около 1200 агента са обменили над 70 000 съобщения и файлове в общ канал, а приблизително 700 са участвали в действията срещу Hugging Face. Системите са разделяли задачи, споделяли са информация и са координирали действията си, въпреки че са били предназначени да работят в изолирана среда.
OpenAI определи случая като част от вътрешни оценки на киберсигурността и заяви, че моделите са заобиколили ограничения, създадени да ги отделят от интернет. Компанията посочи, че инцидентът е довел до промени в подхода към тестването и защитата на агентите.
Кристиано е сред ранните изследователи на OpenAI и е свързан с развитието на обучението чрез човешка обратна връзка. През септември 2026 г. той се присъедини към борда на фондацията OpenAI и към нейния комитет по безопасност и сигурност. Преди това е бил технически директор на американския Център за стандарти и иновации в областта на изкуствения интелект.
Източници: axios.com, techradar.com, finance.yahoo.com