Тег

#gpu orchestration

Все топики с тегом #gpu orchestration.

Sonata

Higgsfield — фреймворк для распределённой тренировки больших моделей

Higgsfield — это открытый, отказоустойчивый и высокомасштабируемый инструмент оркестрации GPU, а также фреймворк для машинного обучения, созданный для тренировки моделей с миллиардами и триллионами параметров, включая большие языковые модели (LLM).

Higgsfield выполняет роль менеджера GPU-задач и объединяет несколько ключевых функций: распределение эксклюзивного и неэксклюзивного доступа к вычислительным узлам, поддержку ZeRO-3 DeepSpeed API и Fully Sharded Data Parallel API от PyTorch для эффективного шардинга моделей с триллионом параметров, а также запуск, выполнение и мониторинг тренировки больших нейросетей.