vLLM — библиотека для инференса и сервинга больших языковых моделей. Её задача — сделать запуск LLM быстрым, простым и недорогим. Проект вырос из Sky Computing Lab в Беркли, сейчас у него более 2000 контрибьюторов.
Память под ключи и значения внимания экономит PagedAttention, запросы собираются в батчи непрерывно. Есть квантизация (FP8, INT8, INT4, GPTQ/AWQ, GGUF), спекулятивное декодирование и разные виды параллелизма.