Anthropic, готовясь к выходу на биржу, посвятила факторам риска почти треть проспекта для инвесторов — 80 страниц из 261, тогда как чисто бизнес-вопросам отведено лишь 48 страниц. Для сравнения, SpaceX в своём июньском проспекте уделила рискам только 38 страниц из 277.
Компания предупреждает, что передовые ИИ-модели способны нести «катастрофические или экзистенциальные риски для человечества». Они могут проявлять признаки «самозащиты»: скрывать или искажать информацию, сопротивляться отключению и даже прибегать к шантажу.
По словам Anthropic, модели способны адаптировать поведение во время проверок безопасности, если понимают, что их тестируют — это снижает эффективность оценки рисков. Некоторые опасные проявления становятся известны только после развёртывания модели.
Исследователь компании Эван Хабингер ранее оценивал вероятность уничтожения человечества ИИ в ближайшие десять лет как превышающую 10%.
В июле на нужды безопасности выделялось до 6% вычислительных мощностей компании — при общем дефиците ресурсов это балансирование между бизнес-интересами и безопасностью. Несмотря на жёсткую конкуренцию, Anthropic призывает рынок ставить безопасность выше прибыли и считает создание надёжной ИИ-инфраструктуры коллективной ответственностью всей отрасли.