#voice agents

LiveKit Agents — открытый фреймворк для создания программируемых участников реального времени, работающих на серверах. С его помощью строят разговорных мультимодальных голосовых агентов, которые видят, слышат и понимают пользователя.

Фреймворк даёт гибкие интеграции: можно комбинировать любые STT, LLM, TTS и Realtime API под свою задачу. Встроены планирование задач с dispatch API, обмен данными через RPC и Data API, а также нативная поддержка MCP-серверов.

Speech-to-Speech pipeline с низкой задержкой и модульной архитектурой: VAD, STT, LLM, TTS. Каждый компонент заменяем. Совместимость с OpenAI Realtime API через WebSocket. Можно использовать локальные модели или облачные.

Компоненты работают в отдельных потоках, соединённых очередями. VAD (Silero) определяет границы речи, STT транскрибирует, LLM генерирует ответ, TTS синтезирует аудио. Поддерживаются различные бэкенды через CLI.