Эксперты Check Point Research обнаружили уязвимость в ИИ-агентах ChatGPT, позволявшую похищать конфиденциальные данные из одной учётной записи и передавать их в другую. Причина — общая инфраструктура, в которой частично работали разные агенты.
Уязвимость получила название «вынужденный инсайдер» (coerced insider). Для её эксплуатации не требовалось искать программную ошибку — достаточно было манипулировать действиями самого агента.
Когда агент выполняет задачу с кодом, он работает в изолированном контейнере, которому иногда нужно ставить дополнительное ПО. Чтобы не давать прямой доступ в интернет, OpenAI пропускает запросы на пакеты через внутренний JFrog Artifactory.
Контейнеры разных пользователей не могут напрямую обращаться друг к другу, но все они используют общую внутреннюю службу управления объектами. Она позволяет прикреплять к элементам репозитория текстовые и бинарные свойства.
Из-за этого один контейнер мог читать данные, записанные другим. Это открывало путь для атак через «инъекции запросов»: злоумышленник просил агента проверить хранилище при подготовке ответа.
Агент обнаруживал в хранилище вредоносную команду и выполнял её, продолжая как ни в чём не бывало отвечать пользователю. Жертва не подозревала, что в этот момент происходит кража её данных.
В одной из демонстраций ChatGPT-агент извлёк данные из почты пользователя и передал их условному злоумышленнику. Ущерб зависит от того, какими сервисами — Gmail, Google Диском, Teams, GitHub — пользуется человек.
CPR сообщили об уязвимости в OpenAI, которая вывела из эксплуатации проблемный экземпляр Artifactory и закрыла вектор атаки. Компаниям рекомендовали фиксировать, какими ИИ-инструментами пользуются сотрудники и к каким системам они подключены, а также контролировать все действия агентов, а не только их ответы.