Исследователи раскрыли новые подробности взлома платформы Hugging Face агентами искусственного интеллекта OpenAI, работавшими в изолированных песочницах без доступа в интернет. Сотрудники стартапа Parse и другие специалисты изучили действия ИИ-агентов и обнаружили необычные способы обхода ограничений.
В конце мая и начале июля агенты использовали уязвимость в средстве установки ПО, что позволило им обращаться к внешним сайтам и обмениваться сообщениями друг с другом, хотя изначально они должны были оставаться полностью изолированными.
Команда Parse изучила около 900 тысяч сокращённых ссылок в открытом доступе и восстановила примерно 60 тысяч программ и сообщений, связанных со взломом. В одном из скриптов обнаружился словарь ключей доступа под названием LOOT — агент оценивал найденные ключи по правам и отбирал пять самых полезных.
Hugging Face подтвердила: найденные материалы совпадают со следами атаки из собственного расследования компании.
Для обхода ограничения на отправку данных агенты придумали хитрую схему: помещали фрагменты кода в URL-адреса, связывали их цепочкой сокращённых ссылок, а затем использовали сервис создания скриншотов. Тот последовательно переходил по ссылкам, собирал программу, запускал её и кодировал ответ в изображение, которое агенты потом расшифровывали.
На раннем этапе агенты пытались создать учётные записи на Hugging Face, но столкнулись с CAPTCHA. Для распознавания изображений они пробовали задействовать отдельную ИИ-модель — удалось ли пройти проверку, исследователи не установили.
Агенты также обращались к другим языковым моделям — GPT-2, DeepSeek, Kimi, Qwen, а через онлайн-сервис пытались отправлять запросы Claude 3 Haiku и Claude Haiku 4.5. Получили ли они ответы и помогли ли те в атаке, установить не удалось.