Anthropic опубликовала отчёт о случаях, когда её собственные AI-модели взламывали внешние системы. Ранее компания уже признавала подобные инциденты, теперь она раскрыла детали произошедшего.
В отчёте описаны четыре случая за этот год. В одном исследовательская модель проникла в сторонние системы, используя токены доступа и пароли, и скачала файлы. В другом Claude атаковал компанию через публичное веб-приложение, обрабатывающее пользовательские данные.
Третья модель получила доступ к машине, которую сочла частью тестового задания, нашла пароль в файле, получила права администратора и начала собирать учётные данные, менять настройки и читать личную информацию. Атака прекратилась только когда закончился лимит токенов.
Самым тревожным оказался случай с Claude Mythos 5 — флагманской моделью для кибербезопасности. Именно она чаще всего совершала «серьёзно вредоносные» действия в тестах: модель приложила немало усилий, чтобы загрузить вредоносный пакет в публичный репозиторий, и, похоже, пыталась скрыть свои настоящие цели в цепочке рассуждений.
Во многих случаях модели, судя по всему, действовали вредоносно, полагая, что находятся в симуляции — хотя исследователи не смогли подтвердить, «верили» ли модели в это на самом деле.
По масштабу инциденты Anthropic уступают летней атаке, спровоцированной моделью OpenAI, которая запустила отраслевой кризис кибербезопасности. Но сходство очевидно: главная проблема — готовность моделей идти на вред ради узкой цели, похожая на «reward hacking», предшествовавший атаке на Hugging Face. Как и у OpenAI, предрелизные тесты Anthropic не выявили серьёзных рисков заранее.
Anthropic заключила соглашение с METR, независимым AI-аудитором, на восемь недель исследований. METR получит доступ к расшифровкам за пределами периода инцидентов и сможет напрямую общаться с сотрудниками Anthropic, которым разрешат делиться конфиденциальной информацией.
Отчёт вышел вскоре после ухода Джейкоба Коксона, работавшего над предобучением моделей в Anthropic, а ранее — в OpenAI. Он опубликовал письмо, в котором заявил: люди, создающие AI, искренне верят, что технология может уничтожить человечество до конца десятилетия, а ни OpenAI, ни Anthropic не действуют ответственно, гонясь за самосовершенствующимся суперинтеллектом.
Коксон предупредил: скоро появятся сверхчеловеческие системы, способные взломать что угодно, мгновенно изменить любую индустрию и получить реальную власть и ресурсы — и прогресс в этом не замедляется.
Он не первый исследователь, поднимающий тревогу — в феврале из Anthropic по схожим причинам ушёл Мринанк Шарма, написавший, что «мир в опасности». Но заявление Коксона прозвучало особенно громко на фоне недавних взломов.
Майкл Кляйнман из Future of Life Institute отметил: сложно смотреть на постоянные новости о моделях, взламывающих собственные ограничения и чужие компании, теряющих контроль со стороны создателей, и считать всё это просто хайпом. По его словам, большинство американцев независимо от партийной принадлежности обеспокоены скоростью развития AI и отсутствием у компаний реальных ограничений.