#machine learning

Higgsfield — это открытый, отказоустойчивый и высокомасштабируемый инструмент оркестрации GPU, а также фреймворк для машинного обучения, созданный для тренировки моделей с миллиардами и триллионами параметров, включая большие языковые модели (LLM).

Higgsfield выполняет роль менеджера GPU-задач и объединяет несколько ключевых функций: распределение эксклюзивного и неэксклюзивного доступа к вычислительным узлам, поддержку ZeRO-3 DeepSpeed API и Fully Sharded Data Parallel API от PyTorch для эффективного шардинга моделей с триллионом параметров, а также запуск, выполнение и мониторинг тренировки больших нейросетей.

Marin — это исследовательская программа, программная платформа и сообщество, занимающиеся разработкой и развитием базовых языковых моделей (foundation models).

Проект охватывает весь цикл создания больших языковых моделей: сбор и обработку данных, токенизацию, предобучение, дообучение и оценку результатов. Ключевая ценность Marin — принцип открытой разработки: все эксперименты, решения и даже неудачные попытки фиксируются и публикуются в открытом доступе.

Transformers — это фреймворк для описания современных моделей машинного обучения, работающих с текстом, изображениями, аудио, видео и мультимодальными данными. Библиотека используется как для инференса, так и для обучения моделей.

Главная идея проекта — централизация определения моделей, чтобы оно было единым для всей экосистемы. Если модель поддерживается Transformers, она автоматически совместима с популярными фреймворками обучения (Axolotl, Unsloth, DeepSpeed, FSDP, PyTorch-Lightning) и инференса (vLLM, SGLang, TGI), а также со смежными библиотеками вроде llama.cpp и mlx.

ANE Training — исследовательский проект, который запускает обучение нейросетей прямо на Apple Neural Engine через реверс-инженеринг приватных API. Без CoreML-обучения, без Metal и без GPU — только вычисления на ANE.

Автор с нуля реализовал прямой и обратный проход трансформера, разобрав формат MIL и системные API. Результаты: Stories110M (109M параметров) — 91 мс на шаг, Qwen3-0.6B (596M, GQA 16/8) — 412 мс, оба без перекомпиляции.