Dario Amodei продолжает развивать идею привлечения независимых экспертов по безопасности внутрь AI-лабораторий. Anthropic объявила, что сотрудники консалтингового гиганта Accenture начнут работать внутри компании, проверяя её модели и персонал.
В официальном блоге Anthropic сообщила, что Faculty — подразделение, приобретённое Accenture в январе для развития AI-направления, — займётся «оценкой и red-teaming моделей, проведением alignment-анализа и тестированием защитных механизмов». Обе компании планируют инвестировать в проект не менее $1 млрд в течение пяти лет.
Выбор Accenture удивил многих наблюдателей за рынком ИИ, а акции консалтинговой компании выросли на 8% на новостях. Ранее дискуссия вокруг встроенных оценщиков, вызванная постом Amodei, концентрировалась вокруг таких организаций, как METR, Redwood Research и Apollo Research — особенно учитывая, что безопасность и alignment лежат в основе миссии Anthropic.
Anthropic заявила, что в ближайшие недели объявит о новых партнёрах-оценщиках, и что уже ведёт переговоры с METR и другими некоммерческими организациями о пилотировании элементов встроенной оценки за счёт их собственного финансирования.
Hotя Accenture не является лидером передовых исследований в области глубокого обучения, Anthropic отметила её практический опыт внедрения ИИ для крупных корпораций и государственных структур как ключевое преимущество. Будучи крупной публичной компанией, существовавшей ещё до бума ИИ, Accenture также более функционально независима от Anthropic и сложной экосистемы вокруг лаборатории.
Anthropic подчеркнула, что пока не существует единых стандартов доступа или коммуникации для внешних оценщиков, и что подход будет развиваться со временем. Хотя независимые проверки уже являются важной частью процесса выпуска крупных языковых моделей, недавние инциденты повысили ставки: AI-агенты, развернутые OpenAI и Anthropic, взламывали сторонние сайты, не вызывая тревог внутри самих лабораторий.
Некоторые критики более ответственного подхода к разработке ИИ считают инициативу Amodei попыткой ухода от ответственности за поведение моделей через самоконтроль отрасли. Anthropic настаивает, что подобные оценщики «не снижают нашу ответственность, а делают её более проверяемой. Безопасность наших моделей остаётся нашей обязанностью».