Google представила EmbeddingGemma 2 — открытую модель для поиска по тексту, коду, изображениям, аудио и видео прямо на устройстве. Медиафайлы можно искать по текстовому описанию без отправки данных в облако.
Главное отличие от первой версии — работа с изображениями и звуком напрямую, без связки из распознавания речи, генерации подписей и отдельной поисковой модели. Для видео индексируются кадры и аудиофрагменты.
Модель превращает данные в векторы из 768 значений, отражающие содержание. Текстовый запрос сопоставляется с изображением или звуком по смыслу, даже если у файла нет названия и описания.
Архитектура модульная, всего 740 млн параметров:
только текст — 270 млн параметров;
мультимодальность и изображения — ещё 170 млн;
аудио — ещё 300 млн.
Благодаря Matryoshka Representation Learning (MRL) размерность векторов можно сократить с 768 до 512, 256 или 128. Объём памяти, занимаемый векторными базами данных, уменьшается до шести раз.
На Pixel 11 Pro квантованная текстовая версия занимает 191 Мбайт оперативной памяти для весов, мультимодальная — около 567 Мбайт. Локальная работа сохраняет конфиденциальность данных.
В бенчмарке MTEB Code результат вырос с 68,76 до 78,68 балла. Модель подходит для индексации кодовой базы и поиска информации для ИИ-агентов, пишущих код.
По заявлению Google, в MTEB и MAEB (аудио) модель показала лучшие результаты среди моделей до 1 млрд параметров и не уступает более крупным в задачах с текстом, изображениями и звуком.
Вместе с Gemma 4 она позволяет строить RAG-конвейеры на устройстве: у моделей общие токенизатор и аудиокодировщик, поэтому суммарное потребление памяти ниже. EmbeddingGemma 2 построена на архитектуре Gemma 4.
Веса доступны на Hugging Face и Kaggle, скоро появятся на Gemini Enterprise Agent Platform. Лицензия Apache 2.0 допускает коммерческое использование. Запуск возможен через transformers, llama.cpp, Ollama и LM Studio.