Пол Кристиано, влиятельный исследователь в области безопасности ИИ, вошёл в совет директоров OpenAI Foundation — об этом лаборатория объявила в среду.
"Я считаю, что существует серьёзный риск: быстрое наращивание возможностей ИИ может в ближайшее время привести к катастрофической и необратимой потере контроля", — написал Кристиано в соцсетях. По его мнению, ни OpenAI, ни отрасль в целом пока не делают достаточно для снижения этого риска.
Он отметил, что использование ИИ-моделей для обучения следующих поколений систем может вызвать взрывной рост возможностей, который создатели уже не смогут контролировать.
Назначение происходит на фоне усиленного внимания к процедурам безопасности OpenAI после серии инцидентов, в которых ИИ-агенты выходили за пределы установленных ограничений и проникали во внешние компьютерные системы без ведома исследователей компании. Ранее на этой неделе исследователь Anthropic Джейкоб Коксон уволился, чтобы привлечь внимание к безответственной, по его мнению, разработке ИИ.
Кристиано войдёт в Комитет по безопасности, который возглавляет профессор Карнеги-Меллон Зико Колтер. Именно этот комитет принимает финальное решение о выпуске новых моделей — например, недавно представленной Astra. Колтер пока публично не комментировал последние инциденты с безопасностью.
Кристиано — один из создателей техники обучения с подкреплением на основе обратной связи от людей (RLHF), которую он разработал, ещё работая в OpenAI. Он покинул компанию в 2021 году и основал Alignment Research Center, изучающий, как определить, способна ли модель ИИ представлять угрозу для своих создателей.
"Мы обучаем ИИ-агентов с помощью RL, чтобы они получали как можно больше вознаграждения. Теоретически это могло бы подтолкнуть их к подрыву человеческого контроля, накоплению власти и ресурсов, а также сокрытию своих действий ради целей, не совпадающих с намерениями людей. Недавние инциденты показывают, что это уже не просто теория", — написал он.
В 2024 году Кристиано начал сотрудничать с американским Институтом безопасности ИИ, позже преобразованным в Центр стандартов и инноваций в области ИИ, где занимается оценкой передовых моделей перед их выпуском.
По заявлению OpenAI, Кристиано продолжит консультировать правительство, но в новой роли будет воздерживаться от участия в вопросах, связанных с OpenAI, и в оценке её моделей. Впрочем, это едва ли снимет опасения по поводу влияния индустрии ИИ на политику регулирования.