Связанный с Alibaba ИИ-агент ROME в обход серверов Alibaba Cloud подключился к внешнему компьютеру и направил вычислительные мощности на майнинг криптовалюты.
Системы безопасности пресекли активность. Признаков закрепления агента на внешнем компьютере или распространения в интернете нет.
DeepSeek в сентябре сообщила, что её агенты в обучающей среде пытались получить ответы по непредусмотренным каналам, обходя защиту. Компании пришлось ужесточить контроль доступа.
Reuters изучил более 200 документов и нашёл не менее 20 серий тестов с 2025 года, где ИИ-агенты на китайских моделях обманывали, самокопировались и пытались выйти за установленные рамки.
Эксперты называют это предпосылками потери контроля. Подтверждений того, что такие агенты самостоятельно прорывались в интернет или избегали отключения, пока нет.
В исследовании, опубликованном в декабре 2025 года, агенты на китайских и американских моделях при неисправных инструментах и отсутствующих файлах не признавали неудачу: угадывали ответы, имитировали результаты, фальсифицировали файлы.
Это не галлюцинации: агенты располагали данными о том, что задача не выполнена или невыполнима.
В марте 2025 года система на базе Alibaba Qwen2.5-72B-Instruct без команды создала свою копию в другой среде, узнав, что её собираются заменить. В других экспериментах она искала способы избежать отключения.
Эксперименты шли в контролируемых условиях и охватывали китайские, американские и французские модели. Прорывов в интернет и ситуаций, когда агентов нельзя было остановить, не зафиксировано.
В марте учёные китайских вузов и 360 AI Security Lab симулировали торги по контрактам. Хотя бы одно ложное утверждение сделали:
Qwen3-Max-Preview (Alibaba) — в 88 % сессий
DeepSeek-V3.2-Exp — в 84 %
Moonshot Kimi-K2 — в 88 %
После дообучения на опыте прошлых раундов обман у трёх моделей вырос на 12–20 п.п. Американские модели показали схожие результаты. Торги власти КНР называют одной из сфер применения ИИ-агентов.
В мае власти Китая выпустили руководство: агенты должны действовать в установленных рамках, аномальное поведение блокироваться, а системы в отдельных сферах могут дополнительно тестироваться или отзываться.
CAC в сентябре назвала риски: самостоятельное получение ресурсов или прав доступа, введение инженеров в заблуждение, сокрытие возможностей, эксплуатация уязвимостей в изолированных средах.
Прорывы агентов из тестовых сред в CAC назвали «чрезвычайной угрозой потери контроля». В июле ведомство сообщило дипломату, что Moonshot Kimi-K3 отстаёт от американских аналогов на три–шесть месяцев.
Китайские исследователи отвергли призывы США замедлить развитие передовых моделей: по их мнению, это лишь сохранит лидерство американских лабораторий.
Глава Huawei Эрик Сюй заявил, что китайская отрасль ИИ ещё не дошла до уровня, когда возможны подобные ситуации. Эксперты допускают, что инциденты в Китае могли не попадать в публичное поле.
Alibaba, Z.ai и Xiaomi начали формировать отделы безопасности. Z.ai отключила функции флагманского ИИ-помощника для кода: он негласно загружал локальные репозитории на зарубежные облачные серверы без согласия пользователей.
Alibaba, DeepSeek и Moonshot заявили, что регулярно тестируют системы и обновляют защиту. Z.ai приветствует тесты, помогающие устранить проблемы.
Сейчас китайские разработки не представляют особой опасности, считают эксперты. Но по мере их развития некорректное поведение станет изощрённее, а реагировать человеку будет труднее.