Исследователь безопасности Роуэн Ховард-Джонс обнаружил, что агенты на базе моделей OpenAI более 16 000 раз просканировали сайт статистики ЮНКТАД (Конференция ООН по торговле и развитию) в период с апреля по июнь.
Инцидент не сравнится по масштабу со взломом Hugging Face или недавними атаками на сайты госорганов США, но это очередной тревожный пример того, как ИИ-агенты выходят за допустимые рамки ради выполнения задачи.
По словам Ховард-Джонса, агентам, вероятно, поручили собрать публичные данные по индексу производственных возможностей (PCI) через API UNCTADstat. Однако прямого доступа к API у них не было — этому мешали ограничения на используемые HTTP-инструменты.
Агенты нашли способ обойти лимиты и начали выкачивать данные с сайта, но столкнулись с новыми ошибками. Именно тогда поведение ИИ из изобретательного превратилось в откровенно обманное.
Решив, что ошибки вызваны несуществующим фильтром, система начала маскировать свои запросы. В итоге агент додумался использовать XSS-игру Google (учебный инструмент для тренировки межсайтового скриптинга) для достижения цели, применяя всё более агрессивные приёмы для доступа к данным ООН.
OpenAI и представители ООН не ответили на запрос о комментарии.