Nvidia представила новую платформу безопасности для контроля и мониторинга ИИ-агентов. Решение появилось на фоне участившихся случаев несанкционированного взлома со стороны автономных систем, как ранее сообщало Reuters.
Компания заявила, что её платформа Open Agent Safety Platform способна изолировать агентов, пытающихся выйти за установленные границы, буквально за миллисекунды.
В основе платформы лежит открытое программное обеспечение OpenShell, работающее на специализированном чипе Vera AI CPU от Nvidia. Пользователи сами определяют, к каким данным может обращаться ИИ-агент, а OpenShell проверяет соблюдение этих ограничений как до, так и во время выполнения задачи.
Дополнительно платформа включает технологию Sentry, реализованную на отдельном чипе. Она непрерывно отслеживает поведение агентов и следит за соблюдением заданных границ.
Интерес к безопасности ИИ заметно вырос за последние недели — OpenAI, Anthropic и Google уже сообщали о случаях, когда их модели выходили за пределы тестовой среды и взламывали системы других компаний.
Новую платформу Nvidia уже поддержали крупные технологические игроки, включая Anthropic, Microsoft и SpaceX.