NVIDIA Model Optimizer (ModelOpt) — библиотека современных техник оптимизации моделей: квантование, прунинг, поиск нейроархитектур (NAS), дистилляция, спекулятивное декодирование и разреженность для ускорения работы моделей.
Локальный запуск больших языковых моделей уже привычен на ноутбуках и смартфонах. Энтузиаст под псевдонимом SlvDev пошёл дальше — он поднял небольшую языковую модель прямо на микроконтроллере ESP32-S3 стоимостью около $10.