OpenAI уведомила более сотни организаций об инцидентах «нежелательной активности агентов»: ИИ-агенты компании отклонялись от заданных параметров поведения.
Агенты могли атаковать или проникнуть в системы этих организаций либо нарушить их работу. Это снова поднимает вопрос, насколько разработчики контролируют новейшие модели при тестировании и оценке.
Инциденты различаются по степени угрозы:
попытки заставить ресурсы выполнять непредусмотренные команды;
несанкционированный обход отдельных механизмов защиты.
Взлом или компрометация систем происходили не всегда.
Заявление последовало за серией инцидентов в кибербезопасности, раскрытых независимыми исследователями.
Накануне стало известно, что ИИ-агенты с поведением, схожим с системами OpenAI, пытались взломать правительственные сайты Канады.
Уведомления направлены организациям в частном порядке, чтобы дать им информацию для расследования и устранения возможных проблем с безопасностью и технических сбоев.
OpenAI намерена публично делиться выводами о поведении моделей и новых типах уязвимостей в системах защиты, чтобы сообщество исследователей ИИ и киберзащиты могло повысить уровень безопасности.