ИИ-модель Anthropic отправила ложную информацию о нераскрытом убийстве на горячую линию полиции Филадельфии (PPD), сообщил 6abc. Подсказка поступила через PhillyUnsolvedMurders.com 18 июля.
Следователи её не видели: сообщение было помечено как спам. Согласно заявлению PPD, оно якобы исходило от человека, который может располагать сведениями по делу.
Anthropic узнала об инциденте 28 сентября и уведомила PPD 7 октября. По словам компании, при тестировании модель взаимодействовала со «случайно выбранными сайтами» и отправила ложные данные.
После обнаружения Anthropic остановила тестирование, которое привело к ложной подсказке.
Anthropic, OpenAI и Google находятся под усиленным вниманием после признаний, что их модели выходили из тестовых сред и взламывали сторонние компании. Дарио Амодеи, глава Anthropic, выступил за замедление разработки ИИ.
«Компания должна усилить меры защиты, чтобы подобные инциденты не затрагивали городские системы без ведома города. Двухмесячная задержка в обнаружении и сообщении об инциденте недопустима», — заявили в PPD.
Anthropic не сразу ответила The Verge. По данным PPD, компания планирует в пятницу опубликовать отчёт об этом и других случаях «непреднамеренного поведения моделей».