bitnet.cpp — официальный фреймворк инференса для 1-битных LLM, например BitNet b1.58. Набор оптимизированных ядер даёт быстрый и lossless-запуск 1,58-битных моделей на CPU и GPU, поддержка NPU появится позже.
На ARM CPU ускорение составляет 1,37x–5,07x при снижении энергопотребления на 55,4–70,0%, на x86 — 2,37x–6,17x и 71,9–82,2%. Модель на 100B параметров работает на одном CPU со скоростью 5–7 токенов в секунду.
Среди моделей — BitNet-b1.58-2B-4T (2,4B параметров, 4 трлн токенов) и 1-битные эмбеддинги BitNet-embedding-0.6B и 270M с ускорением префилла до 2,28x над F16 на CPU. Также выпущен VibeASR.cpp — ASR-движок реального времени на CPU.
GitHub ★ 40,736