Alibaba представила мультимодальную модель Qwen3.8-Omni-Flash, которая обрабатывает текст, изображения, аудио и видео в единой архитектуре с контекстным окном на 1 млн токенов.
Модель хорошо справляется с монтажом видео, созданием музыкальных клипов, кинопроизводством, обобщением аудиовизуальных данных и диалогами в реальном времени.
Вместе с моделью обновлён набор плагинов Qwen-MM-Plugins: добавлены контекстный поиск по медиафайлам, подключение внешних инструментов и обработка длинных аудио- и видеозаписей. Поддерживаются среды OpenAI Codex, Claude Code, Qwen Code и Gemini CLI.
По качеству совместной обработки звука и видео система приблизилась к Google Gemini 3.8 Flash, а в задачах только со звуком превзошла её. Распознавание речи охватывает 74 языка и диалекта, генерация — 29 языков.
Alibaba также выпустила открытую среду Qwen-Live Harness для интерактивных приложений на базе API Qwen3.8-Omni-Flash-Realtime с поддержкой WebSocket и WebRTC. Заявлена первая в отрасли функция «звуковой локализации» — определение направления и расстояния до источника звука по пространственному аудио и видео.
Цена обработки аудио через API снизилась более чем на 98% по сравнению с предыдущей версией, аудио и видео — более чем на 93%. Средний результат по 29 бенчмаркам вырос свыше 25%.
В WildClawBench-MM модель набрала 71,0 балла (+36,5 к предшественнице), в UniClawBench — 69,6, в LongAudioSpan — 82,7, в OmniVideoBench — 63,4, в OmniCap-IF — 28,2, в AliMeeting — 89,7 балла.
Ключевая особенность — механизм «агентного понимания»: модель не смотрит запись целиком, а сама решает, куда смотреть и что слушать, постепенно сужая область поиска. Это подняло результат в OmniVideoBench до 67,8 балла и сократило расход токенов на 45,7%.
Модель умеет создавать клипы по музыке, переводить короткие сериалы с сохранением голоса, комментировать фильмы, готовить PDF-конспекты обучающих видео и осваивать навыки по видеодемонстрациям. Доступ открыт через платформу Alibaba Qianwen AI.
В отдельном эксперименте Qwen3.8-Omni-Flash за 12 часов самостоятельно улучшила распознавание сычуаньского диалекта у меньшей модели Qwen2.5-Omni-3B: отобрала тестовую выборку, создала 3413 обучающих примеров и снизила долю ошибок распознавания символов с 25,79 до 15,30% — на 40,7%.