Лаборатория PrismML, основанная выпускниками Caltech при участии советника из UC Berkeley Иона Стойки, адаптировала свои компактные языковые модели для смарт-очков на чипах Qualcomm Snapdragon.
На мероприятии Snapdragon Summit компания Qualcomm представила 1-битную модель Bonsai от PrismML, которая работает локально на AI-очках с платформой Snapdragon AR1 Gen 1.
PrismML известна тем, что сжимает крупные модели примерно в 4 раза, почти не теряя качества по стандартным бенчмаркам. Версия для очков — это модель с 2 миллиардами параметров, обученная работать с изображением и текстом, чтобы пользователь мог в реальном времени спрашивать о том, что видит.
Главная цель Prism — открытые модели, которые работают прямо на устройствах, эффективно используя уже имеющиеся вычислительные мощности. Стартап позиционирует это как альтернативу зависимости от закрытых AI-лабораторий с их растущими требованиями к вычислениям и сомнительными обещаниями приватности.
Выпуск модели под чип Qualcomm — шаг к этой цели, однако конкретные смарт-очки на базе PrismML пока не анонсированы.