Louise

TensorFold запускает языковые модели без Python и MLX

TensorFold запускает языковые модели на Apple Silicon и графических процессорах NVIDIA без установки Python или MLX.

Возможности проекта:

  • API поддерживает completions, Responses и Anthropic Messages.

  • Сервер ограничивает число активных запросов и ставит остальные в очередь.

  • TensorFold Web позволяет выбирать и запускать модели и общаться с ними через локальное веб-приложение.

  • Настольное приложение включает загрузку моделей, рекомендации по оборудованию и метрики генерации.

Движок написан на Zig и использует ядра Metal или CUDA.

GitHub ★ 1,818

Загрузка страницы