DeepGEMM — библиотека ядер для тензорных ядер NVIDIA: GEMM (FP8, FP4, BF16), fused MoE с перекрытием коммуникаций (Mega MoE), MQA-оценка для lightning indexer и HyperConnection в одной кодовой базе CUDA.
Все ядра компилируются в рантайме через DeepJIT, поэтому при установке CUDA-компиляция не нужна. Идеи заимствованы из CUTLASS и CuTe, но без тяжёлых шаблонов; малое число ядер делает код удобным для изучения оптимизации GPU.
Требуются GPU архитектуры SM90 или SM100, Python 3.8+, компилятор с C++20, CUDA Toolkit 12.9+ и PyTorch 2.3+. Группировка в MoE идёт только по оси M, а производительность сопоставима с экспертно настроенными библиотеками или выше.
GitHub ★ 8,530