Бенчмарки давно стали инструментом PR для AI-компаний: хорошие результаты тестов означают хорошую рекламу. Но многие устаревшие системы оценки не поспевают за развитием современных моделей, и компании научились их обходить.
Стартап Vals, основанный в 2024 году, поставил цель исправить эту систему. За неполные два года компания привлекла seed-раунд от 8VC и Bloomberg Beta, а в прошлом месяце закрыла раунд A на $40 млн под руководством Andreessen Horowitz.
25-летний сооснователь Райан Кришнан, ранее стажировавшийся в Palantir и работавший в Microsoft и AI-лаборатории Стэнфорда, рассказывает, что идея Vals родилась из наблюдения: академические бенчмарки не успевают за прогрессом индустрии.
«Мы видели множество новых, очень способных моделей, выходящих на рынок, а академические бенчмарки не успевали за этим передовым развитием», — говорит Кришнан. По его мнению, бенчмарки должны подтверждать, что модели действительно умеют делать то, что заявляют компании.
В отличие от многих систем, где тестовые материалы публично доступны (что позволяет тренировать модель именно под тест), Vals не раскрывает содержание своих тестов. Вместо общих знаний компания оценивает способность моделей выполнять сложные задачи в конкретных отраслях — праве, финансах, программировании.
«Мы смотрим на то, какое реальное влияние оказывают модели. Могут ли они выполнять работу того же качества, что и человек, в любой сфере?» — поясняет Кришнан. Важно оценивать не только позитивные результаты, но и потенциальные риски применения ИИ в реальном мире.
Спектр тестов Vals расширяется: помимо традиционных отраслей, компания разрабатывает бенчмарки по рекурсивному самоулучшению моделей, ментальному здоровью, кибербезопасности, биобезопасности и даже применению Женевской конвенции в вооружённых конфликтах.
Компании платят Vals за тестирование своих моделей — подобно тому, как студент платит College Board за сдачу SAT. Такая оценка помогает выявлять слабые места и постепенно улучшать модели, а также становится важным фактором при выборе AI-решений.
Выручка стартапа выросла в восемь раз по сравнению с прошлым годом, а штат утроился — с 8 до 25 человек. Компания планирует переезд в больший офис и найм ещё 10–15 сотрудников, а также недавно запустила программу оценки моделей для федеральных агентств США.
Кришнан считает, что подход Vals станет основой того, как AI-компании будут выстраивать доверие и отчитываться перед инвесторами. «По мере того как AI-модели становятся частью экономики, наши оценки будут определять их использование и фигурировать в публичных отчётах компаний», — заключает он.