Компания Baseten представила новый стандарт инфраструктуры безопасности и запустила исследовательское подразделение Base Labs. Партнёрами выступили Hugging Face и Goodfire AI — вместе они займутся созданием систем оценки и мониторинга безопасности для открытых моделей ИИ.
Анонс появился на фоне споров о безопасности открытых моделей, которые можно сделать опасными, удалив их защитные механизмы с помощью техники под названием «abliteration». Проблема приобрела масштабный характер: на Hugging Face уже размещено более 6000 моделей, прошедших через такую модификацию.
Base Labs, основанная Baseten в начале года, займётся разработкой и публикацией методов обучения и мониторинга открытых моделей. Компания позиционирует будущие наработки как «стандарт», встроенный в процессы обучения и развёртывания моделей, а не добавленный постфактум.
«Мы считаем, что открытость — это преимущество для безопасности ИИ», — заявили в компании. Открытость даёт больше прозрачности в поведении моделей и позволяет превращать исследования в области безопасности в конкретные и понятные механизмы контроля.
Технические детали партнёрства пока не раскрыты. Goodfire, специализирующаяся на объяснении принципов принятия решений моделями, отметила: «Безопасность должна быть встроена в открытые модели и обеспечена теми, кто их предоставляет».
Baseten, поставщик инференс-услуг для ИИ, в июне привлёк $1,5 млрд в раунде Series F, подняв оценку компании до $13 млрд. Goodfire AI также хорошо капитализирована — ранее в этом году она привлекла $150 млн в раунде Series B под руководством B Capital.
Baseten обратилась к более широкому сообществу разработчиков с призывом присоединиться к формированию нового стандарта, отметив, что цель — создать экосистему открытых и безопасных моделей ИИ.