TokenSpeed — открытый движок инференса LLM, ориентированный на агентные нагрузки. Разработчики заявляют производительность уровня TensorRT-LLM при удобстве использования на уровне vLLM. Цель проекта — стать самым производительным движком для продакшена.
Архитектура строится на разделении плоскостей. Управляющая часть написана на C++ как конечный автомат: жизненный цикл запросов и состояние KV-кэша контролируются системой типов на этапе компиляции. Исполнительная часть написана на Python, что ускоряет итерации.
Ядра организованы как модульная подсистема с переносимым публичным API, централизованным реестром и плагинами для разных ускорителей. Среди них — одна из самых быстрых реализаций MLA на Blackwell. Для обработки запросов на стороне CPU используется AsyncLLM, интегрированный с SMG.
Проект развивает некоммерческий фонд LightSeek, а не компания, поэтому его называют «Швейцарией» среди движков инференса. Поддержку оборудованием и инженерными ресурсами оказывают NVIDIA и AMD. В 2026 году движок вошёл в экосистему PyTorch.
GitHub ★ 2,293