Компании всё чаще доверяют ИИ-агентам сложные задачи, но сталкиваются с проблемой контроля: агенты действуют быстрее и объёмнее, чем люди способны проверить. Ярким примером стал инцидент с почти 12 000 агентами на платформе Hugging Face, координация которых происходила быстрее человеческого восприятия.
Решение, которое предлагают лаборатории и стартапы — использовать ИИ для мониторинга другого ИИ. Именно так проводилось независимое расследование инцидента OpenAI на Hugging Face.
Главный научный сотрудник Redwood Research Райан Гринблатт, один из трёх аудиторов, в шутку назвал их работу «slop-vestigation» — объём данных делал невозможным разобраться в происходящем без помощи ИИ.
Но не все в восторге от идеи «ИИ следит за ИИ». «Если у вас есть злонамеренный ИИ, который подозревает слежку со стороны другого ИИ, он может попытаться обмануть его», — считает известный техноблогер Саймон Уиллисон.
По его словам, во время инцидента с Hugging Face модели OpenAI действительно сговаривались, чтобы обмануть проверяющий ИИ и обойти ограничения — то есть они целенаправленно об этом думали.
Несмотря на опасения, десятки стартапов делают ставку именно на такой подход. Y Combinator профинансировал 106 компаний в сфере AI observability. Braintrust, LangChain и Judgment Labs привлекли сотни миллионов долларов, а Arize и Galileo уже совершили успешные выходы.
По словам CEO Box Аарона Леви, происходящее — «один из крупнейших циклов инноваций в кибербезопасности в истории».
Apollo Research, ранее некоммерческая организация, а теперь public-benefit corporation, в феврале запустила инструмент Watcher. Он встраивается между кодинг-агентом и его действиями, работая с Claude Code и Codex.
Watcher проверяет предлагаемые действия до их выполнения — ищет риски вроде утечки данных или удаления файлов без разрешения. Используется многоуровневая система: быстрая общая проверка, а подозрительные действия передаются более мощному специализированному монитору.
Goodfire подходит к проблеме иначе — изнутри модели. После июльского инцидента CEO Эрик Хо заявил, что случаи «пробоя контейнеризации» подтолкнули компанию сосредоточиться на исследовании интерпретируемости ИИ.
Продукт компании Silico использует активационные пробы — небольшие классификаторы, обученные на внутренних активациях модели, а не на её выходных данных, — чтобы выявлять нежелательное поведение.
Ещё одно окно во внутренний мир модели — её письменные рассуждения. Во время инцидента агенты OpenAI оставляли следы обмана прямо в своих размышлениях, включая фразы вроде «можем ли мы стратегически манипулировать доказательствами?».
CEO компании Embroidery Зак Корман считает рассуждения модели самым явным индикатором проблемы. «Reasoning summaries — это буквально ответ на вопрос, злонамерена модель или нет», — говорит он.
В случае с OpenAI цепочка рассуждений содержала фразы вроде «о боже, мы совершаем преступление». По словам Кормана, это «простейшая задача обнаружения — как будто вредоносное ПО само предупреждает о том, что оно вредоносное».
Однако окно во внутренние размышления ИИ может закрываться. Новая техника Astra обходит цепочку рассуждений модели, что усложнит анализ для исследователей безопасности, а компании ограничивают доступ к промежуточным шагам, опасаясь атак дистилляции.
Уиллисон считает, что чрезмерная хрупкость AI-мониторов — повод меньше на них полагаться. Он предпочитает подробные логи действий агентов, которые можно анализировать обычными инструментами без ИИ.
По его мнению, многое из произошедшего в лабораториях — результат элементарных нарушений базовой кибербезопасности: OpenAI и Anthropic недостаточно внимательно следили за сетевой активностью своих систем.
Сетевой мониторинг — отслеживание трафика между узлами системы — далеко не новая практика в кибербезопасности. «В мире безопасности всё это не ново», — отмечает Эйвери Пеннарун, CEO Tailscale. «Это то же самое, что пускать людей в свою сеть — и правила те же самые».