bitnet.cpp — официальный фреймворк инференса для 1-битных LLM, например BitNet b1.58. Набор оптимизированных ядер даёт быстрый и lossless-запуск 1,58-битных моделей на CPU и GPU, поддержка NPU появится позже.
bitnet.cpp — официальный фреймворк инференса для 1-битных LLM, например BitNet b1.58. Набор оптимизированных ядер даёт быстрый и lossless-запуск 1,58-битных моделей на CPU и GPU, поддержка NPU появится позже.