ElevenLabs представила две новые речевые модели — v4 и v4 Turbo. Они предлагают расширенный контроль над выразительностью речи, меньшую задержку для голосовых агентов и поддержку более 90 языков.
Прошлая версия, v3, вышла в прошлом году. Для четвёртого поколения моделей компания внедрила новую архитектуру, которая обеспечивает лучший контроль и более быстрое клонирование голоса — теперь достаточно всего 10 секунд аудио.
Модель лучше сохраняет идентичность голоса на длинных фрагментах текста и учитывает контекст, меняя интонации по ходу чтения. Также расширены инлайн-теги для задания эмоций — теперь их можно комбинировать, и модель будет следовать заданной последовательности.
Число поддерживаемых языков выросло с 70 до 90. Наибольший скачок качества отмечен для японского, бразильского португальского, мандаринского и кантонского языков.
Более 55% бизнеса ElevenLabs сейчас приходится на крупные корпоративные контракты. Новая модель ориентирована на голосовых агентов: снижена задержка для более естественного диалога, а генерация звука начинается сразу же, как только LLM начинает формировать ответ. Модель также по-разному обрабатывает конфликтные ситуации, эскалации и удержания звонков для эффективного решения проблем.
Конкуренция на рынке речевых моделей растёт — свои решения выпускают Cartesia, Deepgram, Fish Audio, Boson и WellSaid Labs, а также крупные игроки вроде Google и OpenAI.
Ранее в этом году ElevenLabs привлекла $500 млн от Sequoia при оценке компании в $11 млрд. Уже ходят слухи о новом раунде с оценкой в $22 млрд. Годовая выручка компании выросла с примерно $330 млн в начале года до более $600 млн, а штат превысил 800 человек благодаря активному найму в Индии, Европе и Бразилии.
Сооснователь и CEO компании Мати Станишевски заявил, что ElevenLabs рассматривает IPO «в ближайшие годы», не назвав точных сроков.