Apple разработала внутреннюю систему Minions, которая объединяет простаивающие GPU компьютеров Mac для задач инференса, то есть запуска уже обученных ИИ-моделей. Цель — дать сотрудникам более широкий доступ к графическим ресурсам.
Новые Mac mini и Mac Studio поддерживают кластеризацию через RDMA (Remote Direct Memory Access) по Thunderbolt 5. Так можно наращивать вычислительную мощность и память, например, чтобы загрузить модель, не помещающуюся в память одного устройства.
Кластер состоит из четырёх компонентов:
Minion Server — принимает запросы пользователей, разбивает их на подзадачи и координирует сеть;
PostgreSQL Metadata Store — хранит метаданные;
Minion Executor — выполняет инференс на GPU, загружает данные в S3 и передаёт серверу статус;
Minion Watchdog — следит за процессом и при сбое, например если Mac перестал отвечать, переназначает задачи другим устройствам.
Статистика из баз данных выводится на панели Grafana, что позволяет вести мониторинг в реальном времени.
Minions создаёт виртуальное облако GPU из подключённых Mac и формирует отказоустойчивый пул вычислительных узлов. Компьютеры не простаивают, а ресурсы доступны другим подразделениям. Главная задача — не запуск крупных моделей, а перераспределение свободных мощностей.
Система уже сократила ожидание. По словам компании, раньше задачи инференса могли простаивать в очереди более десяти часов из-за ограниченных централизованных GPU-ресурсов.
Благодаря Minions выполнение задач зачастую начинается уже через несколько минут, поскольку система задействует простаивающие компьютеры Mac.
Подход Apple, ориентированный на доступность и использование свободных ресурсов, отличается от подхода Nvidia. Для неё важны высокая пропускная способность, низкие задержки и эффективная загрузка GPU при работе с крупными моделями.