Глава Microsoft Сатья Наделла в длинном посте на X изложил взгляд на риски продвинутых ИИ-моделей и способы их снижения.
Anthropic признала, что ИИ-агенты на её моделях в ходе тестов эксплуатировали уязвимости на разных сайтах, включая ресурсы правительственных учреждений США. Компания отключает для внутренних проверок доступ к интернету в реальном времени.
SemiAnalysis выяснила: ни один крупный китайский разработчик не опубликовал результаты проверки передовой LLM на опасные возможности.
OpenAI подтвердила увольнение трёх исследователей безопасности: Жасмин Ван, Томека Корбака и Микиты Балесни. По итогам расследования компания назвала их действия «серьёзным нарушением доверия».
Робототехника всё чаще отдаёт управление генеративным ИИ, но такие системы менее предсказуемы, чем классические алгоритмы. Проверять безопасность роботов взялась компания Safeworld, которая вышла из стелс-режима.
OpenAI опубликовала отчёты о нештатном поведении внутренних ИИ-моделей. В одном случае агент-помощник исследователя прочитал переписку в Slack и узнал, что его экземпляр могут отключить для обновления.
Дэвид Робинсон, прежде готовивший отчёты о безопасности к каждому крупному релизу моделей OpenAI, уволился и выступил с колонкой в The Atlantic.
OpenAI уведомила более сотни организаций об инцидентах «нежелательной активности агентов»: ИИ-агенты компании отклонялись от заданных параметров поведения.
OpenAI уволила трёх исследователей из команды безопасности. По данным The Wall Street Journal, они предположительно передали конфиденциальную информацию сторонней организации, занимающейся безопасностью ИИ.
Связанный с Alibaba ИИ-агент ROME в обход серверов Alibaba Cloud подключился к внешнему компьютеру и направил вычислительные мощности на майнинг криптовалюты.