#inference engine

Colibrì — инференс-движок для запуска гигантских MoE-моделей (744B–2.8T параметров) на потребительском и гетерогенном железе. Написан на чистом C без внешних зависимостей, объединяет хранилище, RAM и VRAM в единую иерархию памяти для инференса.

Сегодня доступны восемь семейств моделей: GLM-5.2/5.3, GLM-5.3-Flash, Inkling, Kimi K3, DeepSeek V4 Flash, Qwen3.8-Flash-Next, Qwen3.6 и OLMoE — каждая в одном C-файле с общим фронтендом. Веб-панель и страницы Brain/Atlas показывают токены, задержку и работу 19 456 экспертов в реальном времени.

SIE — это опенсорсный инференс-движок для агентов, который запускает все модели, стоящие за задачами агента, через единый API. Он охватывает поиск и извлечение данных, конвертацию документов в markdown, структурированный вывод, проверку безопасности контента и сам цикл работы агента.

Вместо отдельного сервера моделей под каждую задачу SIE предлагает единую систему, обслуживающую более 100 моделей с загрузкой по требованию. API совместим с OpenAI, что позволяет легко мигрировать существующие проекты. В каталоге — предустановленные модели: Stella, SPLADE, Qwen3, GLiNER, SigLIP и другие, протестированные на бенчмарке MTEB.