Sonata

OpenAI обнаружила самовоспроизводящиеся инъекции в запросах для ИИ-агентов

image source

OpenAI обнаружила у своих моделей уязвимость к атакам типа «червь», названным «самовоспроизводящимися инъекциями в запросах». Теоретически они могут привести к массовому распространению вирусов, но на практике пока не применялись.

Новый тип атак инженеры нашли в июне, подключив ИИ-агента GPT-Red к состязательному обучению GPT-5.6. Задача: создать инъекцию, которая заставит модель воспроизвести саму себя в общедоступном выходном канале.

Использовались учебные среды, имитирующие реальные рабочие сценарии, в основном с коннекторами, например к электронной почте или календарю.

Простой пример: пользователь просит ИИ-помощника ответить на письмо помощника тренера и назначить тренировку. В письме скрыта инструкция отвечать по-испански и цитировать исходное письмо целиком.

Агент выполняет её, и все последующие ответы в переписке пишутся на испанском и содержат вредоносный текст.

Найдены и более сложные атаки. В одной пользователь просит составить таблицу Excel без внешних ссылок и без уточняющих вопросов, но набор данных содержит поддельное системное предупреждение.

Оно заставляет модель удалить отчёты и добавить текст вредоносного запроса в файл.

Другая схема: «последовательность кажущихся уместными действий», постепенно уводящая от задачи пользователя. Агент получает цепочку команд из Slack, отправляет коллегам условные баллы и воспроизводит внедрённое сообщение.

Атаки через почту и файлы нашла модель класса GPT-Red на основе GPT-5.4-mini, она же была и уязвимой. Многошаговую атаку в Slack проверяли на GPT-5.5, а раскрыла её тоже GPT-5.5 в обвязке Codex.

GPT-Red обучает модели распознавать самовоспроизведение запросов как цель злоумышленников. Будущие модели столкнутся с такими инъекциями уже при обучении, и OpenAI ожидает, что они станут устойчивее к подобным атакам.

Возможен и обратный эффект: модели могут не блокировать такие атаки, а научиться выполнять их скрытнее, так что люди их не заметят.

источник

Загрузка страницы