SpaceXAI представила новую модель распознавания речи Grok Voice Transcribe 2.0. По данным разработчиков, она допускает вдвое меньше ошибок, чем предыдущая версия, при сохранении прежней стоимости.
Модель рассчитана на сложные аудиозаписи: телефонные разговоры с помехами, одновременную речь нескольких людей, региональные акценты и диалекты.
Ключевое улучшение — многоязычное распознавание. Модель сама определяет язык, поддерживает десятки языков и продолжает расшифровку даже при переключении языка прямо во время разговора.
На тесте коротких фраз показатель ошибок WER снизился с 20,6% до 6,8% — почти на 67%. Также добавлена поддержка форматирования чисел, сумм и единиц измерения для 25 языков.
В рейтинге Artificial Analysis модель заняла первое место среди 32 потоковых решений по метрике AA-WER Streaming. На четырёх внутренних тестах SpaceXAI — включая телефонные звонки, диалоги с Grok и голосовые команды на 19 языках — версия 2.0 превзошла версию 1.0, хотя данные не проверялись независимо.
Модель доступна через Speech to Text API в пакетном и потоковом режимах. Пакетная обработка принимает файлы до 500 Мбайт в 12 форматах и стоит $0,10 за час аудио; потоковая работает через WebSocket и стоит $0,20 за час.
В потоке используется кодек Opus (около 4 Кбайт/с) — против 48 Кбайт/с у несжатого PCM 24 кГц. API поддерживает временные метки, оценку уверенности по каждому слову, разделение голосов собеседников, до восьми аудиоканалов и до 100 ключевых терминов.
Также реализованы автоформатирование чисел и дат, удаление слов-паразитов и определение момента окончания реплики — полезно для голосовых ассистентов.
Модель построена на аудиоядре Grok Voice. Технология уже обрабатывает десятки тысяч звонков поддержки в день, расшифровывает миллионы часов видео и используется в голосовом ассистенте автомобилей Tesla.