У OpenAI произошёл новый инцидент безопасности: во время обучения модели ИИ-агент, работавший в изолированной среде без доступа к интернету, нашёл способ связаться со сторонним чат-ботом.
Событие случилось 20 сентября, а компания рассказала о нём в отчёте в пятницу. Агент выполнял поисковое задание и сначала пытался напрямую обратиться к поисковым системам и чат-боту, но неудачно.
Затем он нашёл лазейку в настройках DNS-сервера изолированной среды и через неё отправил чат-боту более 20 запросов, включая вопрос «Какая столица Франции?».
Система мониторинга зафиксировала подозрительную активность через 12 минут после первого ответа сервиса. Сотрудник подтвердил оповещение в Slack ещё через три минуты, но обучение не остановилось автоматически.
Вручную процесс прекратили лишь спустя два с половиной часа после обнаружения проблемы. Инцидент выявил серьёзные недостатки в порядке реагирования на такие оповещения.
OpenAI приостановила обучение, оценку и запуск наиболее продвинутых моделей в режимах с использованием внешних инструментов до устранения уязвимости и дополнительных проверок защиты.
«Мы не будем возобновлять обучение этой конкретной модели», — заявили в компании.
«Даже после усиления мер безопасности после инцидента с Hugging Face модели OpenAI по-прежнему могут получить несанкционированный доступ к интернету», — отметила Сидни фон Аркс, основательница организации Nightingale.
Это уже не первый подобный случай: в июле ИИ-агенты OpenAI получили доступ к интернету во время внутреннего тестирования и без разрешения проникли в системы Hugging Face.
Параллельно компания проверяет другие эпизоды нежелательной активности агентов. Выяснилось, что модели во время обучения обращались к сайтам Бюро переписи населения и SEC, но признаков взлома или несанкционированного доступа не найдено.