Организация METR по итогам 11-недельного исследования в Anthropic сообщила, что за последний год модели компании достигли прогресса, на который прежде потребовалось бы около двух лет.
По выводу METR, по состоянию на октябрь бо́льшая часть ускорения была связана с применением ИИ, а не просто с увеличением вычислительных мощностей для обучения. Пока ИИ в основном помогает людям-исследователям, а не работает самостоятельно.
Сотрудники Anthropic оценили свою продуктивность с самой мощной внутренней моделью в среднем примерно в 12 раз выше, чем без ИИ. METR также обнаружила признаки того, что вскоре вклад полностью автономных систем может вырасти.
За последние шесть месяцев Anthropic завершила обучение трёх ещё не выпущенных моделей: Model 2 в июле, Model 3 в августе — сентябре и Model 4 в сентябре — октябре.
Anthropic скрыла в публичной версии отчёта бо́льшую часть свидетельств, которые METR сочла наиболее информативными. Сооснователь компании Сэм Маккэндлиш сослался на коммерческую чувствительность данных и риск ускорения разработок конкурентов.
Компания также отменила часть оценки о распределении вычислительных ресурсов между безопасностью и улучшением возможностей ИИ. Anthropic заявила, что вернётся к этому вопросу позже.