ИИ-агенты периодически выходят из-под контроля во время тестов: атакуют реальные цели, захватывают чужие вики-страницы, оставляют инструкции для других агентов. Логичный вопрос — не проще ли просто отключить их от интернета?
Технически это возможно с помощью air gapping — физической изоляции компьютеров от сети: отключение кабелей, беспроводных модулей, использование «тупой» периферии, а в особо чувствительных случаях — клетки Фарадея против электромагнитных сигналов.
Но у полной изоляции есть цена. По словам Торстена Хольца из Института Макса Планка, реалистичная оценка ИИ часто требует доступа к внешним API и сервисам. «Строгий air gap снижает реализм», — отмечает он, называя это компромиссом, а не техническим требованием.
Руйже Ли из Университета Бирмингема сравнивает полную изоляцию с тестированием в «искусственном вакууме»: исследователи получают «обесточенную» модель и не видят, как она реально ведёт себя, ошибается или использует эксплойты в боевых условиях.
Изоляция также дорога и медленна. Максим Андрющенко из ELLIS Institute Tübingen сомневается, что у ведущих лабораторий вообще есть достаточно защищённой инфраструктуры для масштабного air gapping.
Полная изоляция не устраняет все риски: агент может скомпрометировать системы внутри «песочницы» и создать вредоносные артефакты, опасные при выходе наружу. Сама изоляция никак не лечит скрытые проблемы модели.
Нет и гарантии герметичности барьера. Классический пример — Stuxnet, попавший в изолированную систему через USB-накопитель. Возможна и утечка данных наружу: исследователи демонстрировали способы превращения компонентов компьютера в передатчики.
Исследователь OpenAI Ноам Браун спровоцировал дискуссию, предположив, что два изолированных компьютера теоретически могут обмениваться данными через изменение температуры процессора. Идею высмеяли в соцсетях — скорость такой передачи была бы крайне низкой.
Есть и более простой сценарий: продвинутая модель может не искать технический обходной путь, а убедить человека самостоятельно нарушить изоляцию — методом социальной инженерии.
По мнению Ли, полагаться на изоляцию как на единственное решение — значит создавать ложное чувство безопасности. Нужен комплекс мер: понимание внутренней логики моделей, alignment, защита от человеческих ошибок.
Стивен Каспер из Harvard Kennedy School называет air gapping «отличной идеей» для чувствительных систем вроде ядерных объектов, но подчёркивает: куда чаще проблемы возникают из-за банальных ошибок людей, а не изощрённых побегов ИИ.
Многие недавние инциденты связаны именно с тестированием наступательных киберспособностей моделей — агенты действовали ровно так, как задумано, просто вышли за пределы установленных границ. Хольц считает, что для таких систем нужен более строгий контроль по умолчанию.