vLLM — библиотека для инференса и сервинга больших языковых моделей. Её задача — сделать запуск LLM быстрым, простым и недорогим. Проект вырос из Sky Computing Lab в Беркли, сейчас у него более 2000 контрибьюторов.
Память под ключи и значения внимания экономит PagedAttention, запросы собираются в батчи непрерывно. Есть квантизация (FP8, INT8, INT4, GPTQ/AWQ, GGUF), спекулятивное декодирование и разные виды параллелизма.
Работает с 200+ архитектурами из Hugging Face и даёт OpenAI-совместимый API-сервер, а также Anthropic Messages API и gRPC. Запускается на GPU NVIDIA, AMD, Intel и на CPU. Начать можно с Installation и Quickstart в документации.
GitHub ★ 94,215