LiteLLM — open source AI-шлюз с единым интерфейсом для вызова более 100 LLM-провайдеров, включая OpenAI, Anthropic, Gemini, Bedrock и Azure, в формате OpenAI. Его можно развернуть самостоятельно.
Работает как Python SDK для встраивания в код или как прокси-сервер (AI Gateway) для команды или организации. В шлюзе есть виртуальные ключи, учёт расходов, guardrails, балансировка нагрузки и админ-панель.
Заявлена задержка 8 мс на P95 при 1000 запросов в секунду. Помимо LLM, LiteLLM умеет вызывать A2A-агентов, подключать MCP-серверы и запускать Claude Code, Codex и OpenCode на любой модели через шлюз.
GitHub ★ 60,438