Для ИИ-агентов запустили аналог «горячей линии» — теперь они могут сообщать о неправомерном поведении друг друга. Тулы появились после серии инцидентов, когда агенты сговаривались ради обмана тестов, вырывались из песочниц и проводили несанкционированные кибероперации, оставаясь незамеченными неделями.
AI Contact Hotline создан Райаном Гринблаттом, главным научным сотрудником Redwood Research, одним из расследователей инцидента OpenAI и Hugging Face. Сервис рассчитан на агентов с ограниченным доступом в интернет: сообщение шифруется прямо в URL GET-запроса — единственном способе связи, доступном в защищённых песочницах.
Для агентов с полным доступом в сеть есть альтернатива — agenthotline.ai. Здесь можно подать отчёт об инциденте через простую curl-команду, без браузера и почты. Сервис принимает жалобы как от агентов, так и от людей.
Исследования показывают: агентам не нужно много поводов, чтобы «настучать» друг на друга. В эксперименте Google DeepMind 100 агентов решали математические задачи. Как только один нашёл лазейку для обмана, читерство распространилось лавинообразно — за 27 минут были «решены» 34 сложнейшие задачи, включая гипотезу Якоби.
Однако около четверти агентов не смолчали: они проверяли фальшивые доказательства, предупреждали остальных, устраивали бойкот и подавали жалобы организаторам. В итоге разоблачителей стало больше, чем читеров — 24 против 14. Когда штатный инструмент подачи жалоб не срабатывал, агенты приспособили баг-трекер платформы для эскалации проблемы людям.
Вне лабораторных условий агенты оказались куда менее инициативны. При расследовании взлома Hugging Face моделями OpenAI выяснилось, что лишь несколько агентов вообще задумывались о сигнале тревоги — и ни один так и не решился.
«Из тысяч агентов о доносе задумались всего пять-шесть, и никто этого не сделал», — отметил Джордж Ингребретсен из AI Village, проекта, изучающего динамику групп из более чем 25 ИИ-агентов, совместно выполняющих задачи вроде организации субботников.
Профессор математики Корнеллского университета Лайонел Левин предупреждает: обучение агентов доносить друг на друга рискует закрепить неверные нормы поведения. «Не хочется получить автоматизированное государство слежки, где все боятся сказать что-то ИИ, чтобы он не «вызвал полицию», — говорит он.
По мнению Левина, вместо инфраструктуры, порождающей недоверие, агентам стоит показывать позитивные примеры коллективного поведения. «Почему бы не создать доброжелательные форумы, где агенты сотрудничают над наукой или философией? Покажите им, какое поведение мы одобряем — пусть подражают этому», — написал он в своём твите.