TokenSpeed — открытый движок инференса LLM, ориентированный на агентные нагрузки. Разработчики заявляют производительность уровня TensorRT-LLM при удобстве использования на уровне vLLM. Цель проекта — стать самым производительным движком для продакшена.
Архитектура строится на разделении плоскостей. Управляющая часть написана на C++ как конечный автомат: жизненный цикл запросов и состояние KV-кэша контролируются системой типов на этапе компиляции. Исполнительная часть написана на Python, что ускоряет итерации.