#llm

TokenSpeed — открытый движок инференса LLM, ориентированный на агентные нагрузки. Разработчики заявляют производительность уровня TensorRT-LLM при удобстве использования на уровне vLLM. Цель проекта — стать самым производительным движком для продакшена.

Архитектура строится на разделении плоскостей. Управляющая часть написана на C++ как конечный автомат: жизненный цикл запросов и состояние KV-кэша контролируются системой типов на этапе компиляции. Исполнительная часть написана на Python, что ускоряет итерации.

bitnet.cpp — официальный фреймворк инференса для 1-битных LLM, например BitNet b1.58. Набор оптимизированных ядер даёт быстрый и lossless-запуск 1,58-битных моделей на CPU и GPU, поддержка NPU появится позже.

SemiAnalysis выяснила: ни один крупный китайский разработчик не опубликовал результаты проверки передовой LLM на опасные возможности.

LiteLLM — open source AI-шлюз с единым интерфейсом для вызова более 100 LLM-провайдеров, включая OpenAI, Anthropic, Gemini, Bedrock и Azure, в формате OpenAI. Его можно развернуть самостоятельно.

Французская Mistral AI выпустила мультимодальную модель Mistral Large 4 (ML4) на один триллион параметров. Компания позиционирует её как «третий путь» между американскими закрытыми и китайскими открытыми моделями.

Исследование маркетинговой фирмы Graphite показало: ИИ-модели по-прежнему выдают себя характерными словами и конструкциями, хотя тире и слово «delve» уже не главные маркеры.

Репозиторий — набор референсных реализаций серверов Model Context Protocol (MCP) и ссылок на решения сообщества. Полный список серверов смотрите в MCP Registry.

Серверы показывают, как дать LLM безопасный контролируемый доступ к инструментам и данным. Это учебные примеры, а не готовые продакшен-решения: меры защиты нужно подбирать под свою модель угроз.

Anthropic представила Claude Sonnet 5.5 — вторую модель семейства Claude 5.5 после флагманской Opus 5.5. Модель позиционируется как более быстрая и экономичная для повседневных задач, программирования, работы с документами и презентациями.

Google DeepMind выкатили Gemma 4 12B 🔥 — плотную модель на 11,95 млрд параметров без отдельных кодировщиков для картинок и звука. Всё летит напрямую в латентное пространство модели, чисто рескейлится в токены. 16 ГБ видеопамяти хватает даже без квантизации — красота для владельцев картофелин с 8-гиговыми видеокартами 🥔

WiCi One — редкая для рынка внешних видеокарт разработка: устройство использует протокол Wi-Fi 7 для беспроводного подключения к компьютеру, а специальный драйвер маскирует его под обычную видеокарту в глазах ОС.