Инженеры AMD представили метод покадровой генерации изображений на основе ИИ, заменяющий классическое глобальное освещение в реальном времени. Технология получила название «Временно стабильное генеративное освещение с помощью одношаговой модели диффузии».
Вместо ресурсоёмкой трассировки лучей система имитирует глобальное освещение через генерацию изображений. Разработку представил Джек Хуинь ранее в этом году в рамках набора технологий FSR Diamond, включающего нейронный рендеринг, масштабирование и регенерацию лучей.
По словам создателей, метод восстанавливает мягкие тени и отражённый свет без искажения геометрии, в отличие от аналогов, склонных к «галлюцинациям». На RTX 3090 модель обрабатывает кадр за 0,29 секунды — около 3,45 кадра в секунду при разрешении 512×512 и расходе 8–9 Гбайт видеопамяти.
Это лишь этап расчёта освещения, а не весь конвейер рендеринга, поэтому до практического применения технологии в играх ещё далеко.
Для согласованности используются сигналы освещения, яркости, материала и геометрии, а также временной VAE (TVAE), который выравнивает кадры по векторам движения и хранит историю предыдущих результатов, устраняя мерцание.
«Глобальное освещение делает сцену реалистичной и одновременно является самой затратной частью рендеринга», — пояснил разработчик Сунге Ким.
В качестве отправной точки модель использует кадр с прямым освещением, подавая его как подсказку для Stable Diffusion 2.1 Turbo. Обучение проводилось на 31 000 синтетических кадров интерьерных сцен с 1–30 источниками света, пройденных 50 раз на GPU AMD Instinct MI210.