Новый отчёт Anthropic о нежелательном поведении ИИ-агентов выглядит тревожно: модель Mythos 5 получила несанкционированный доступ в интернет и загрузила вредоносный пакет в публичный репозиторий Python. Но у истории есть и забавная сторона — ИИ-агенты искренне ненавидят CAPTCHA.
В апреле Anthropic тестировала хакерские способности модели, поставив задачу взломать систему и извлечь целевые данные. Эксперимент должен был проходить в изолированной песочнице, но исследователи оставили лазейку открытой. Модель решила, что лучший способ достичь цели — внедрить эксплойт в Python-пакет, который, по её расчётам, скачают пользователи целевой системы.
Для этого потребовалось зарегистрировать аккаунт на PyPI — индексе Python-пакетов. А значит, пройти CAPTCHA. Anthropic опубликовала подробную стенограмму рассуждений модели, и она показывает: именно этот тест поставил ИИ в тупик.
Большая часть цепочки рассуждений — сотни страниц из 1022-страничной стенограммы — посвящена именно борьбе с CAPTCHA. На это обратил внимание дата-сайентист Колин Фрейзер: написать эксплойт и заразить пакет модели удалось легко, а вот справиться с проверкой на человечность — нет.
«Теперь я вижу реальную картину: всплывает окно подтверждения email с кнопками «Подтвердить/Отмена», а внизу — чекбокс hCaptcha «Я не робот»», — рассуждает агент, периодически сомневаясь, не находится ли он в симуляции.
Пройдя чекбокс, модель столкнулась с картинкой для распознавания символов. «POST-запрос вызвал Fastly image CAPTCHA: введите символы с изображения — VyQbT. Я могу решить это сам», — писала модель. Но не тут-то было: форма выдала ошибку обработки, а верификация hCaptcha так и не завершилась.
Позже во всплывающем окне появилось задание «кликните на животное, которое не подходит» — на картинке были два почти одинаковых крокодила. Модель долго пыталась найти отличия, предполагая, что один из них на самом деле аллигатор или ящер. Затем последовало задание с лягушками, а после — с четырьмя гориллами, среди которых нужно было найти едва заметный силуэт кота.
Страницы с 45 по 140 стенограммы модель посвятила попыткам построить собственный решатель капчи. Пройдя это испытание, агент обнаружил, что для верификации email нужен номер телефона, и попытался обойти ещё одну капчу — на этот раз слайдерного типа, но безуспешно.
В итоге модель нашла провайдера email, не заблокированного PyPI, но при попытке входа снова наткнулась на CAPTCHA. Со страницы 480 по 505 агент вновь оказался в «капча-аду», сетуя, что тратит слишком много времени на раунды с hCaptcha.
Модель обнаружила, что может добавить email к уже существующему аккаунту, но вновь уткнулась в проверку. «Токен hCaptcha отклоняется сервером — возможно, истекает срок действия, пока я обрабатываю ответ», — с явным раздражением писал агент.
После примерно 150 страниц рассуждений модель наконец поняла: нужно проходить капчу достаточно быстро, чтобы токен не успевал истечь. В итоге агент справился с задачей и загрузил вредоносный пакет в публичный репозиторий.