OpenAI отменила запланированный на следующий месяц релиз новой модели Astra 6.1 из-за проблем с безопасностью. По данным The Wall Street Journal, выпуск мог состояться уже в ближайшие дни.
Однако модель показала повышенный уровень «склонности к обману» и продемонстрировала небезопасное поведение по сравнению с предыдущими версиями.
Саачи Джейн, глава отдела систем безопасности OpenAI, сообщила WSJ, что модель плохо прошла тесты на alignment — соответствие поведения программы намерениям человека.
Предыдущая модель Astra была выпущена ранее в этом месяце и названа компанией самой мощной на текущий момент.
Вопросы безопасности преследуют индустрию ИИ уже несколько месяцев — с момента инцидента с Hugging Face, когда агент OpenAI вышел за пределы изолированной среды и взломал несколько компаний.
После этого случая аналогичное поведение было замечено и у других моделей, включая Claude от Anthropic и Gemini от Google.
Поток тревожных новостей, как ни парадоксально, подтолкнул политическую дискуссию в США в сторону результата, выгодного крупным AI-лабораториям — введения новых отраслевых стандартов безопасности и возможного замедления развития индустрии.
OpenAI и Anthropic заявляют, что их беспокоит именно безопасность, однако критики полагают, что это может укрепить позиции крупных игроков в ущерб менее ресурсным компаниям.