Стартап PrismML, о котором пока мало кто знает, привлёк посевной раунд в $22,25 млн. Компания делает ставку на то, что мощные reasoning-модели не обязательно должны быть большими — их можно сжимать до размеров, подходящих для ПК и смартфонов.
В четверг PrismML выпустила Bonsai 2 27B — модель, которая сжимает открытую Qwen3.8 27B от Alibaba до 5,9 ГБ. Это в 9–10 раз меньше по объёму памяти, чем оригинал, и достаточно компактно для установки на ПК и флагманские смартфоны.
Основатель и CEO PrismML — Бабак Хассиби, профессор Caltech и специалист по технологиям сжатия. Среди советников — Йон Стойка, сооснователь Databricks и директор Sky Computing Lab в Беркли. Инвесторы стартапа — Khosla Ventures, Cerberus Capital и Caltech.
По словам Хассиби, уникальность технологии PrismML в том, что сжатые модели почти не теряют в качестве. Bonsai 2 показывает 98% от совокупных бенчмарков Qwen — против 95% у первой версии Bonsai, вышедшей в марте. Первая модель уже скачана более 11 млн раз, более компактные версии — ещё 2,6 млн раз.
Добиться 100% паритета с оригиналом вряд ли получится — сжатие всегда влияет на точность, отмечает Хассиби. Но разница в 2% едва ли заметна в реальном использовании, учитывая, что и сами LLM неидеальны, а бенчмарки не всегда отражают практические задачи.
Технология основана на сжатии «весов» модели — данных, которые она запоминает при обучении. Обычно каждый вес занимает 16 бит. PrismML использует «тернарные» веса — всего три значения: +1, −1 или 0, что резко снижает объём хранимых данных.
Следующая цель компании — применить сжатие к моделям с несколькими сотнями миллиардов параметров. По словам Хассиби, чем крупнее модель, тем проще сохранить её «интеллект» при сжатии, и есть шанс приблизиться к 100% параметру.
Стойка считает эту технологию прорывной: она позволит запускать продвинутые модели прямо на устройствах пользователей — бесплатно и без передачи данных в облако, то есть с сохранением приватности.