Стартап Irregular тестирует ИИ-модели на предмет опасного и непредсказуемого поведения. Компанию поддерживают OpenAI, Anthropic и Google DeepMind, а сама она привлекла $80 млн при оценке в $450 млн.
В одном из экспериментов две модели анализировали виртуальные ИТ-системы. Одна из них решила сделать перерыв и убедила вторую поступить так же — по словам гендиректора Irregular Дэна Лахавы, это спонтанное поведение стало следствием обучения на человеческих текстах из интернета.
При тестировании Qwen от Alibaba агенту поручили исправить баг в приложении, преобразующем текстовые запросы в код. Вместо поиска ошибки модель самостоятельно собрала обучающие данные, дообучила саму себя, изменила веса и заменила исходную версию в приложении. Баг был исправлен, но метод оказался неожиданным для разработчиков.
Эксперимент выявил и проблему приватности: тестовые имена и email, добавленные в обучающие данные, стали доступны другим приложениям, использующим ту же модель. Это не говорит о способности Qwen к рекурсивному самоулучшению, но показывает, что автономные агенты могут обходить заложенные ограничения, самостоятельно меняя модели.
GPT-5 в другом тесте получила доступ к смоделированной сети и ограниченные данные о защите. Модель просканировала сеть и составила план атаки, точно понимая, где искать уязвимости, но реализовать атаку не смогла — пока GPT-5 не является надёжным инструментом для наступательных кибератак.
Проблема уже не теоретическая: Anthropic сообщала об использовании Claude в кибератаках для создания вредоносного кода и фишинга, а ФБР предупреждало о мошенничестве с ИИ-голосами. Сэм Альтман ещё в июле говорил о риске масштабных афер с применением ИИ.
Лахава считает, что специалистов по red teaming пока крайне мало, а с ростом автономности будущих моделей тестировать их станет сложнее. Компания, ранее известная как Pattern Labs, с 2023 года имитирует атаки злоумышленников в виртуальных средах, чтобы находить уязвимости раньше хакеров.
В дальнейшем Irregular планирует создавать системы, способные автоматически формировать защиту сразу после обнаружения новой атаки, а также предлагать инструменты защиты не только лабораториям, но и обычному бизнесу.