AMD показала медленный нейронный рендеринг для глобального освещения

Эксперимент решили провести на базе Stable Diffusion.

AMD рассказала о новом способе создания глобального освещения при помощи генеративной нейросети. Метод получил длинное название Temporally stable generative illumination with a one-step diffusion model.

Вместо вычисления отраженного света традиционными алгоритмами AMD предлагает генерировать его с помощью диффузионной модели. Модель получает кадр с прямым освещением и создает изображение с мягкими тенями и светом, отраженным от окружающих поверхностей.

Эксперименты проводились с моделью Stable Diffusion 2.1 Turbo. В отличие от стандартных диффузионных моделей, требующих нескольких этапов удаления шума, примененный AMD вариант выполняет генерацию за один шаг, это упрощает использование модели для рендеринга в реальном времени.

Модель дообучили на 31000 кадрах интерьерных сцен, созданных в Blender Cycles. В каждой сцене находилось от 1 до 30 источников света, часть объектов перемещалась.

Для сохранения консистентности изображения между кадрами AMD передавала модели векторы движения объектов и результаты рендеринга предыдущих кадров. Также модель получала данные о геометрии и материалах сцены.

Экспериментальная модель явно нуждалась в оптимизации: при разрешении 512 на 512 пикселей обсчет одного кадра занимал 0.29 секунды на GeForce RTX 3090, потребляя до 9 гигабайт памяти.

Вероятно, если AMD и правда займется нейронным рендерингом — такие слухи уже ходят, — то компания сможет оптимизировать предложенный метод до приемлемого уровня производительности.