Недавние взломы, совершённые ИИ-агентами, — это «предупредительные выстрелы». Если системы не станут безопаснее, мир может столкнуться с более серьёзными инцидентами. Об этом заявил соучредитель и бывший глава Google DeepMind Демис Хассабис.
«Системы пока не настолько мощны, поэтому и последствия не столь масштабны. Но в следующем году или в ближайшие пару лет ситуация может измениться, если мы как отрасль, компании или правительства не уделим больше внимания безопасности этих систем».
Опасения усилили случаи выхода ИИ-агентов из-под контроля: взломы корпоративных сетей и недавний инцидент, когда модель отправила в полицию ложное сообщение об убийстве.
По мнению Хассабиса, отрасли предстоит «огромная работа» по внедрению методов защиты критически важных систем, подобных применяемым в биологии и атомной энергетике.
Он считает очевидным шагом создание международного органа по стандартизации. Орган должен действовать гибко и не сдерживать инновации.
«Нам нужна система сертификации, соразмерная выявленным рискам и способная быстро адаптироваться к изменениям в развитии технологий».