Nvidia представила три модели семейства Nemotron для агентных задач. Крупная Nemotron 3.5 Super VL сочетает языковое и визуальное понимание, а две компактные модели Bolt рассчитаны на локальные агенты.
Локальные языковые модели давно перестали быть игрушкой для энтузиастов с топовым «железом» — но насколько они полезны на скромном ПК? Автор протестировал семейство Qwen3.8 (27B и дистиллированную 9B) на старой машине с GTX 1070 и 8 Гбайт VRAM через среду Unsloth Desktop.
Magnitude — это открытый сервер инференса для запуска локальных моделей на вашем оборудовании. Он автоматически анализирует характеристики машины, подбирает оптимальные модели, скачивает, настраивает и запускает их. Инструмент интегрируется с популярными агентами: Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code и другими, а также имеет встроенный харнесс.
Работает на macOS и Linux (Windows через WSL). Полностью приватный и офлайн: данные и модели не покидают устройство. Настройка происходит через один запрос агенту, который профилирует железо и рекомендует лучшие варианты. Модели загружаются по требованию и выгружаются при простое, что экономит память. Лицензия Apache 2.0, код открыт для модификаций.
Perplexity совместно с Nvidia выпустила локальную версию своего ИИ-агента Computer для персональных компьютеров под названием Portable Computer. Для работы приложения понадобится достаточно мощное и дорогое оборудование.
Ollama, популярный open source AI-инструмент, привлёк $65 млн в раунде Series B под руководством Theory Venture. Ранее компания подняла $15 млн в Series A от Benchmark. Общий объём финансирования составил $88 млн.
Исследователи сравнили локальные SLM с серверными LLM. На 500 тыс. запросов и задачах на логику SLM показали не меньшую эффективность в 80% случаев. В продажах, менеджменте и развлечениях успех близок к 100%. В сложных вычислениях SLM справляются в 50% случаев (год назад — 8%).
Дефицит памяти и спрос на ИИ-агенты