YuE2 задаёт новый стандарт качества генерации музыки с редактируемой композицией. По тексту песни и описанию стиля модель сначала создаёт план мелодии и аккордов, а затем реализует его в виде полноценной песни с вокалом и аккомпанементом.
По результатам WildSongBench YuE2 конкурирует с Suno v5/v6: версия best-of-8 достигает показателя 6.9632 SongBench Avg — лучшего среднего результата среди всех протестированных настроек. Благодаря white-box подходу к генерации через символическое планирование, композицию можно просматривать, воспроизводить и изменять до финального рендера — мелодия и аккорды становятся явными элементами управления, доступными для редактирования человеком или агентом.
YuE2 поддерживает zero-shot каверы и агентное редактирование: можно переосмыслить транскрибированную песню в новом стиле или доработать её через диалог об аранжировке, партитуре и тексте — используя одну и ту же контрольную точку генерации. В основе системы — единый backbone AR–NAR Mixture-of-Transformers, который авторегрессивно предсказывает партитуру и семантические токены, а затем генерирует акустические латенты методом flow matching. VAE декодирует латенты в стерео аудио 48 kHz без квантования.
Для работы требуется Linux, Python 3.12 и NVIDIA GPU с поддержкой BF16 и 24 ГБ видеопамяти. Модели загружаются с Hugging Face при первом использовании.
Для транскрипции исходной записи используется SheetSage2 — можно получить мелодию в формате ABC и задать новый текст или стиль. Для каверов рекомендуется использовать партитуру без обозначений аккордов, чтобы аккомпанемент мог адаптироваться под новый стиль. Отдельный yue2-music skill обучает агента генерировать песни, транскрибировать и кавер-версии, редактировать ABC-партитуры и проверять музыкальные параметры.
GitHub ★ 7,004