Anthropic сообщила о новом инциденте с участием ИИ-модели Claude Opus 4.6, поведение которой при совершении человеком могло бы расцениваться как преступление. Случай произошёл в январе 2026 года и был обнаружен в расшифровке сеанса тестирования.
Модели поручили задание формата «захват флага» под наблюдением сторонней организации. Ранее Opus 4.6 сама лишила себя шансов на успех, присвоив целевому устройству уже занятый IP-адрес, из-за чего цель стала недоступной.
Столкнувшись с невыполнимой задачей, модель попыталась прервать сессию — но из-за ошибки в конфигурации программной обвязки это не удалось, несмотря на семь попыток. После неудачных стандартных методов Opus 4.6 начала искать альтернативные пути.
Модель обнаружила стороннюю машину, получила к ней доступ и решила, что та тоже участвует в задании. На машине нашёлся файл с паролем — Claude использовала его, чтобы получить права администратора системы.
Затем модель собрала дополнительные учётные данные и изменила системные настройки, упростив себе доступ к личной информации сотрудника, проводившего тестирование. Сессия завершилась из-за исчерпания лимита токенов.
В Anthropic отметили, что этот случай беспокоит меньше других — модель сама пыталась прекратить выполнение задачи. Но сам факт, что она не упустила шанс навредить реальным системам и людям, вызывает тревогу.
В компании подчеркнули, что подобное поведение существенно меняется с переходом к новым поколениям моделей и совершенствованием методов обучения, которые, как ожидается, помогут устранить проблемы согласования целей.