Открытую версию нейронного рендеринга DLSS 5 на Vulkan выложили на GitHub

На открытую версию апскейла можно не рассчитывать.

Разработчик MAAN выпустил OpenDLSS-NR — открытую реализацию нейросетевого рендеринга DLSS 5 на Vulkan. Именно на базе этого проекта MAAN сделал браузерную версию нейронного рендеринга.

Проект воспроизводит 71-блочную нейросеть из DLSS-NR runtime/DLL 310.8.0 и, по словам автора, дает побитово идентичные результаты с технологией Nvidia, включая промежуточные этапы вычислений.

При этом нынешняя версия OpenDLSS-NR не поддерживает апскейл из состава DLSS — работает только нейронный рендеринг. В OpenDLSS-NR используется архитектура U-Net, веса модели занимают около 140 мегабайт.

OpenDLSS-NR работает не только на видеокартах Nvidia — например, браузерная версия функционирует и на железе AMD, и на чипах Apple. Однако работа через WebGPU сильно просаживает производительность. Например, в разрешении 512p WebGPU обсчитывает один кадр в несколько десятков раз медленнее, чем оптимизированная версия для карт Nvidia.

Проект OpenDLSS-NR выложен в открытый доступ, изучить исходники можно здесь.