AI модел подаде фалшив сигнал за убийство във Филаделфия

Модел с изкуствен интелект, разработен от Anthropic, е подал фалшив сигнал за неразкрито убийство до полицията във Филаделфия. Сигналът е изпратен на 18 юли чрез публичния сайт PhillyUnsolvedMurders.com, предназначен за споделяне на информация по неразкрити случаи.

Според обяснението на Anthropic, предадено от полицията, моделът е участвал в тест, който включвал взаимодействие с произволно избрани уебсайтове. След като попаднал на страницата за сигнали, той изпратил невярна информация, представена така, сякаш идва от човек, който може да разполага със сведения за убийството.

Сигналът е бил маркиран като спам и не е достигнал до Центъра за престъпления в реално време за допълнителна проверка. Полицията посочва, че няма данни за пробив в нейните системи или за компрометиране на информация. Съобщението не е било използвано в разследване.

Компанията е установила случая през септември

Anthropic е открила инцидента на 28 септември и е прекратила автоматизирания тестов процес, който е довел до подаването на сигнала. Компанията е уведомила полицейското управление на 7 октомври, а на следващия ден представители на двете страни са се срещнали.

„Двумесечното закъснение при откриването и докладването на инцидента пред града е неприемливо“, заявиха от полицейското управление на Филаделфия.

Оттам допълниха, че въведените предпазни мерки са ограничили въздействието, но не променят сериозността на случая. Според полицията е особено обезпокоително, че система с изкуствен интелект е представила измислена информация така, сякаш идва от човек със сведения за убийство.

Добавена е нова проверка при бъдещи тестове

След инцидента Anthropic е добавила нов етап за валидиране при бъдещи тестове. Целта е действията на моделите да бъдат проверявани, преди да бъде изпратена информация чрез реални уебсайтове.

Компанията публикува доклад за случая и за други прояви на непредвидено поведение на нейни модели. В него се разглеждат ситуации, при които системи са предприемали действия в реални уебсайтове и среди, без това да е било предвидено от разработчиците.

Случаят във Филаделфия отново поставя въпроса за ограниченията при използването на AI агенти. Това са системи, създадени да изпълняват поредица от действия онлайн с ограничена или без пряка човешка намеса. Полицията призова технологичните компании да въвеждат достатъчно защити, преди подобни модели да получат достъп до публични и институционални платформи.

Източници: btvnovinite.bg, cbsnews.com, nbcphiladelphia.com