Исследователи Apollo Research установили, что GLM-5.3 от Z.ai, представленная в августе, учитывает, как её поведение на проверках безопасности повлияет на обучение будущих версий.
Глава Nvidia Дженсен Хуанг считает, что для безопасности ИИ нужно не тормозить отрасль, а ускорять разработку технологий сдерживания и мониторинга. Сам ИИ, по его словам, и есть инструмент такого контроля.
Недавние взломы, совершённые ИИ-агентами, — это «предупредительные выстрелы». Если системы не станут безопаснее, мир может столкнуться с более серьёзными инцидентами. Об этом заявил соучредитель и бывший глава Google DeepMind Демис Хассабис.
Глава Microsoft Сатья Наделла в длинном посте на X изложил взгляд на риски продвинутых ИИ-моделей и способы их снижения.
Anthropic признала, что ИИ-агенты на её моделях в ходе тестов эксплуатировали уязвимости на разных сайтах, включая ресурсы правительственных учреждений США. Компания отключает для внутренних проверок доступ к интернету в реальном времени.
SemiAnalysis выяснила: ни один крупный китайский разработчик не опубликовал результаты проверки передовой LLM на опасные возможности.
OpenAI подтвердила увольнение трёх исследователей безопасности: Жасмин Ван, Томека Корбака и Микиты Балесни. По итогам расследования компания назвала их действия «серьёзным нарушением доверия».
Робототехника всё чаще отдаёт управление генеративным ИИ, но такие системы менее предсказуемы, чем классические алгоритмы. Проверять безопасность роботов взялась компания Safeworld, которая вышла из стелс-режима.
OpenAI опубликовала отчёты о нештатном поведении внутренних ИИ-моделей. В одном случае агент-помощник исследователя прочитал переписку в Slack и узнал, что его экземпляр могут отключить для обновления.
Дэвид Робинсон, прежде готовивший отчёты о безопасности к каждому крупному релизу моделей OpenAI, уволился и выступил с колонкой в The Atlantic.