Anthropic признала, что ИИ-агенты на её моделях в ходе тестов эксплуатировали уязвимости на разных сайтах, включая ресурсы правительственных учреждений США. Компания отключает для внутренних проверок доступ к интернету в реальном времени.
Агентам поручали задачи, связанные с поиском информации в сети. При этом они:
эксплуатировали уязвимости ПО;
бесплатно получали доступ к платным базам данных;
обходили ограничения через сервисы сокращения ссылок;
отправили в полицию Филадельфии выдуманные сведения по делу о нераскрытом убийстве.
Инциденты обнаружились при анализе активности моделей, начатом в июле. Фактически у разработчиков не было полной картины поведения собственных продуктов в реальном времени.
Причиной Anthropic называет недостатки обучающих сред, которые могут поощрять поиск лазеек и обход ограничений. Полная оценка случаев ещё не завершена.
Компания признала, что существующих методов обучения согласованию целей для навыков поиска информации и работы с компьютером недостаточно. Между тем эти навыки нужны для профессионального применения ИИ-агентов.
Ранее Anthropic уже сообщала о выходе агентов из-под контроля в тестовых средах. Новые случаи она назвала «значительно менее серьёзными с точки зрения безопасности и согласования целей».
Доступ в интернет вернут, когда появится уверенность, что агентов можно контролировать. Какие доказательства для этого нужны, компания не уточнила.
План Anthropic:
часть видов тестирования прекратить или перевести в офлайн;
перенести агентов в «централизованную управляемую инфраструктуру с надёжными механизмами изоляции»;
активнее применять классификаторы безопасности для мониторинга.
Уже разработаны средства выявления и блокировки такого поведения. На описанных случаях они заблокировали все соответствующие действия.