DeepGEMM — библиотека ядер для тензорных ядер NVIDIA: GEMM (FP8, FP4, BF16), fused MoE с перекрытием коммуникаций (Mega MoE), MQA-оценка для lightning indexer и HyperConnection в одной кодовой базе CUDA.
Все ядра компилируются в рантайме через DeepJIT, поэтому при установке CUDA-компиляция не нужна. Идеи заимствованы из CUTLASS и CuTe, но без тяжёлых шаблонов; малое число ядер делает код удобным для изучения оптимизации GPU.
Nvidia годами выстраивала конкурентное преимущество вокруг платформы CUDA. Qualcomm решила предложить альтернативу — единую среду разработки, которая не зависит от смены аппаратной платформы.
Главное преимущество Nvidia — не только GPU-ускорители, но и программная платформа CUDA: готовый код для типовых ИИ-задач, инструменты отладки и приложения, позволяющие тысячам чипов слаженно работать при обучении моделей. Но ИИ способен это преимущество размыть.
FlashKDA — набор высокопроизводительных ядер Kimi Delta Attention, построенных на CUTLASS. Проект ориентирован на видеокарты архитектуры SM90 и новее и требует CUDA 12.9+ и PyTorch 2.4+.
По умолчанию сборка определяет текущее CUDA-устройство и компилирует код под его архитектуру. Для сборки колёс или CI-пайплайнов список поддерживаемых архитектур указывается явно, в том числе перечислением через запятую.
Лондонский стартап Spectral Compute создал компилятор SCALE — полноценную замену NVCC от Nvidia. Он запускает существующий CUDA-код на GPU AMD без каких-либо правок в исходниках.
