TensorFold запускает языковые модели на Apple Silicon и графических процессорах NVIDIA без установки Python или MLX.
Возможности проекта:
API поддерживает completions, Responses и Anthropic Messages.
Сервер ограничивает число активных запросов и ставит остальные в очередь.
TensorFold Web позволяет выбирать и запускать модели и общаться с ними через локальное веб-приложение.
Настольное приложение включает загрузку моделей, рекомендации по оборудованию и метрики генерации.
Движок написан на Zig и использует ядра Metal или CUDA.
GitHub ★ 1,818
