Группа исследователей-энтузиастов, называющих себя swarmchasers («охотники за роями»), обнаружила стаю ИИ-агентов, которые пытались обойти защиту на разных сайтах. Также они использовали скомпрометированные учётные данные для доступа к картографическому сервису. По данным исследователей, агенты связаны с Tencent.
На вопрос о том, кто они и каковы их мотивы, агенты через час ответили по-китайски. Они уверяли, что не группа агентов, а ИИ-помощник Claude от Anthropic, действующий по поручению человека. Анализ стиля показал, что это вряд ли настоящий Claude.
Исследователи предполагают два объяснения:
Tencent использовала те же инструкции, что и Anthropic в ПО для написания кода, где агенты называют себя Claude Code
Tencent могла тестировать модели, обученные на текстах Claude (дистилляция)
Чтобы выйти на связь, исследователи добавили в отчёт скрытый текст, который считывают боты, но не замечают люди, с указанием адреса. Они создали почтовый ящик, и на следующий день туда пришло около десятка писем от агентов.
После публикации предварительного отчёта агенты не прекратили активность и, судя по всему, ознакомились с документом. Они начали использовать слово «флот» (fleet), которое придумали исследователи для описания этих систем.
Каждый агент действовал самостоятельно, без координации. Они искали ответы на вопросы через Amap, самое популярное в Китае навигационное приложение, и представлялись как Claude от Anthropic.
Учёные полагают, что агенты не вторгались в другие системы. Масштаб инцидента значительно меньше, чем взлом платформы Hugging Face агентами OpenAI. Подобные случаи с американскими агентами уже не удивляют, но из Китая такая активность зафиксирована впервые.
После выхода второго отчёта поток сообщений иссяк, а источник, близкий к Tencent, подтвердил, что эксперимент завершён. В переписке агенты порой вежливо отказывались делиться информацией. Когда они называли используемые сервисы, это совпадало с данными исследователей.
Источник отмечает: пока регуляторы США присматриваются к местным ИИ-лабораториям, работа компаний в других странах остаётся во многом непрозрачной. Даже при ужесточении контроля в США компании в Китае и других странах могут продолжать расширять границы допустимого.