Higgsfield — это открытый, отказоустойчивый и высокомасштабируемый инструмент оркестрации GPU, а также фреймворк для машинного обучения, созданный для тренировки моделей с миллиардами и триллионами параметров, включая большие языковые модели (LLM).
Higgsfield выполняет роль менеджера GPU-задач и объединяет несколько ключевых функций: распределение эксклюзивного и неэксклюзивного доступа к вычислительным узлам, поддержку ZeRO-3 DeepSpeed API и Fully Sharded Data Parallel API от PyTorch для эффективного шардинга моделей с триллионом параметров, а также запуск, выполнение и мониторинг тренировки больших нейросетей.
Система управляет очередью экспериментов при конкуренции за ресурсы и интегрируется с GitHub и GitHub Actions для непрерывной разработки. Для распределённой тренировки LLaMa достаточно установить необходимые инструменты (Docker, deploy-ключи, бинарник higgsfield) на сервер — после пуша в GitHub код автоматически деплоится на узлы, а через GitHub можно запускать эксперименты и сохранять чекпоинты.
Higgsfield придерживается стандартного workflow PyTorch, поэтому можно использовать любые сторонние инструменты или реализовать собственный шардинг с нуля. Больше не нужно держать разные версии PyTorch, драйверов NVIDIA и библиотек обработки данных — окружения экспериментов легко оркестрировать, документировать и версионировать для воспроизводимости.
Вместо сотен аргументов и YAML-конфигураций Higgsfield предлагает простой интерфейс для описания экспериментов. Для работы нужен Ubuntu с SSH-доступом и non-root пользователем с sudo-правами без пароля. По вопросам поддержки — GitHub Issues, Twitter и сайт команды Higgsfield.
GitHub ★ 4,670