Sonata

LongCat-Video: модель генерации длинных видео на 13,6 млрд параметров

LongCat-Video — базовая модель генерации видео на 13,6 млрд параметров. Одна архитектура решает задачи Text-to-Video, Image-to-Video и Video-Continuation, а авторы называют её первым шагом к моделям мира.

Модель предобучена на продолжении видео, поэтому создаёт ролики длиной в минуты без дрейфа цвета и потери качества. Видео 720p при 30 fps генерируется за минуты благодаря подходу coarse-to-fine и Block Sparse Attention.

Обучение с multi-reward GRPO дало результаты на уровне ведущих открытых и коммерческих решений. Также вышли LongCat-Video-Avatar и Avatar-1.5 для видео по аудио: Whisper-Large, одно- и многопоточное аудио, инференс за 8 шагов.

GitHub ★ 8,593

Загрузка страницы