Тег

#cpu

Все топики с тегом #cpu.

Sonata

bitnet.cpp: фреймворк для быстрого инференса 1-битных LLM на CPU и GPU

image source

bitnet.cpp — официальный фреймворк инференса для 1-битных LLM, например BitNet b1.58. Набор оптимизированных ядер даёт быстрый и lossless-запуск 1,58-битных моделей на CPU и GPU, поддержка NPU появится позже.

Sonata

Десять лет флагманских процессоров Intel: от Skylake до Arrow Lake

image source

За десять лет Intel сменила десять поколений флагманских настольных процессоров — от Core i7-6700K 2015 года до нынешнего Core Ultra 7 270K Plus. Мы собрали все одиннадцать моделей и прогнали через одинаковый набор современных тестов, чтобы понять, как менялась реальная производительность.

Sonata

Pocket TTS — лёгкий синтез речи на CPU

Pocket TTS от Kyutai — лёгкий синтезатор речи на CPU. Установка через pip, генерация — вызов функции. Без GPU и внешних API. Модель 100М параметров, задержка ~200 мс.

Поддерживает английский, французский, немецкий, португальский, итальянский, испанский. Возможно клонирование голоса, стриминг аудио, работа с текстами любой длины. Скорость ~6x быстрее реального времени на MacBook Air M4. Использует всего 2 ядра CPU.