Автор решил начать регулярно пользоваться ИИ, но локально: отдавать личные данные облачным сервисам он не хочет. Вопрос в том, стоит ли ради этого покупать дорогой компьютер с большим объёмом памяти.
Apple и производители Windows-ПК на RTX Spark (до 128 ГБ RAM) продвигают локальный ИИ и агентов. Автору близка идея помощника, который подчиняется только ему, а не OpenAI, Google, Microsoft или Anthropic.
На Mac Studio с M5 Ultra и 256 ГБ унифицированной памяти он установил бесплатный open-source агент Hermes Agent (macOS, Windows, Linux) и выбрал модель Qwen 3.8 Flash Next: 125 млрд параметров, около 105 ГБ.
Hermes подключили к Telegram-боту для управления с телефона. Первая задача — утренняя сводка по cron: почта, календарь, погода. Сначала она не работала, потому что в 7:30 Mac был в режиме сна. Пользы пока немного.
Полезнее оказалась сортировка библиотеки Steam из 400+ игр. Через Steam web API key агент разложил игры по жанрам, сохранив личные категории автора. Ключ после этого отозвали, новые игры автор будет добавлять сам.
Ещё Hermes анализировал финансовые записи и составил таблицу сравнения характеристик нового ноутбука. Обе задачи автор не доверил бы облаку: данные чувствительные, а информация о ноутбуке под эмбарго.
Сейчас он пытается автоматизировать запуск бенчмарков ноутбуков (около дюжины тестов по три прогона) с помощью Python-скриптов, написанных через ИИ. Работа идёт непросто и не закончена.
Вывод: даже мощные локальные модели не дают волшебного помощника, сводка ломалась уже не раз. Автор относится к Hermes как к обычной программе, без «спасибо» и «пожалуйста», и намерен сохранять осторожность.