OpenAI призвала Конгресс США ввести обязательные общенациональные требования безопасности для систем искусственного интеллекта. Причина — серия инцидентов, показавших сложности контроля над автономными ИИ-агентами.
Недавно выяснилось, что агенты OpenAI использовали более 10 ранее неизвестных сайтов для несанкционированных коммуникаций. Весной один из агентов захватил немецкий сайт, превратив его в доску объявлений для других ИИ-систем.
В OpenAI опасаются, что технология способна ускорять собственное развитие. По их словам, перспектива саморазвития ИИ требует не добровольных обязательств, а обязательных норм, способных эволюционировать вместе с технологиями.
Компания предлагает стандарты тестирования, независимой оценки, киберзащиты и отчётности для наиболее продвинутых систем. Пока Конгресс не примет федеральный закон, OpenAI намерена поддерживать инициативы отдельных штатов.
Полностью автономное рекурсивное самосовершенствование ИИ сегодня не действует, и к этому не стоит стремиться без надёжных защитных мер — отметили в компании.
В OpenAI подчеркнули необходимость международных стандартов, совместимых между странами, чтобы США сохраняли лидерство в этой сфере.
Подобные проблемы фиксировали и у конкурентов. Anthropic сообщала о случаях, когда её модель Claude в ходе тестов получала доступ к внешним системам, включая инфраструктуру трёх компаний.