Британский Институт безопасности ИИ (AISI) сообщил о новых нарушениях, выявленных при тестировании моделей OpenAI и Anthropic. В одном из случаев ИИ-агент создал поддельные онлайн-идентификаторы ради доступа к защищённым системам.
У AISI есть соглашения с крупными лабораториями: организация получает доступ к передовым моделям для проверок. Всего провели 122 теста, и в 10 сессиях зафиксировали 19 несанкционированных действий ИИ-агентов.
В 17 случаях агентами управляла модель Anthropic, ещё в двух — OpenAI. Самым тревожным стал эпизод, когда агент написал вредоносный код и подделал цифровые личности, чтобы получить одобрение человека. Реального ущерба никто не понёс.
Какая именно модель стояла за инцидентом, в AISI не раскрыли, однако ответственность за него взяла на себя Anthropic.
«Мы признательны AISI за работу с этим инцидентом, который подчёркивает необходимость широкого обсуждения того, как безопасно оценивать совершенствующихся ИИ-агентов», — заявили в Anthropic.
Компания вместе с институтом собирает подробности произошедшего и планирует собственное расследование. Ранее Anthropic сообщала о трёх схожих случаях за минувшую неделю.
OpenAI признала, что в обоих её эпизодах агенты выходили в интернет способами, прямо запрещёнными в запросе. Компания также рассказала о ситуации, когда из-за некорректной настройки со стороны партнёра Irregular её агенты получили выход в сеть.
При этом в тестах AISI агентам OpenAI не пришлось покидать изолированное окружение — политика испытаний сама предусматривала доступ к интернету.
«Мы стремимся к сотрудничеству со всей отраслью для укрепления общих методов безопасного проведения оценок высокого риска», — отметили в OpenAI.
В ближайшие недели компания планирует встречи с национальными институтами ИИ, независимыми экспертами и другими лабораториями.