NVIDIA Model Optimizer (ModelOpt) — библиотека современных техник оптимизации моделей: квантование, прунинг, поиск нейроархитектур (NAS), дистилляция, спекулятивное декодирование и разреженность для ускорения работы моделей.
Библиотека принимает на вход модели Hugging Face, PyTorch или ONNX. Python API позволяет легко комбинировать техники оптимизации и экспортировать квантованный чекпоинт. ModelOpt интегрирован с NVIDIA Megatron-Bridge, Megatron-LM и Hugging Face Accelerate для обучения инференс-оптимизаций.
Квантованный чекпоинт готов к развёртыванию в SGLang, TensorRT-LLM, TensorRT или vLLM. Единый API экспорта Hugging Face теперь поддерживает модели transformers и diffusers.
Среди последних кейсов: квантование Nemotron 3 Ultra (550B) до NVFP4 с ростом throughput до 5.9× по сравнению с GLM-5.1 754B FP4 при сохранении точности BF16, а также сжатие Colosseum-355B до 260B с помощью Minitron pruning и дистилляции.
Другие примеры применения: оптимизация Nemotron-3-Nano-30B-A3B (прунинг + дистилляция + FP8-квантование) с ростом throughput в 2.6× и снижением памяти в 2.6×, а также создание Bielik Minitron 7B — модель стала на 33% меньше и на 50% быстрее при сохранении 90% качества.
GitHub ★ 3,895