Nvidia показала сжатие текстур в 6 раз с помощью нейросетей

Аналогичный подход работает и с материалами.

На конференции GDC представители Nvidia рассказали об использовании нейронной компрессии текстур для экономии памяти. Компания показала демку, в которой нейрокомпрессия позволила уменьшить объем используемой памяти примерно в 6 раз.

Оригинальная сцена потребляла больше 6 гигабайт памяти, сцена с нейрокомпрессией потребовала всего 970 мегабайт. На глаз кажется, что сцены выглядят более-менее одинаково.

Технология Nvidia полагается на два ключевых момента: объединение нескольких текстур и их уровней детализации для ускорения доступа, а также использование небольшой специально оптимизированной нейросети.

Аналогичным образом компания оптимизирует и потребление памяти материалами: данные сжимаются, а затем декодируются с помощью специальной нейросети. В результате сцена рендерится заметно быстрее.

По всей видимости, пока нейронная компрессия не используется в реальных играх — мы видим ее только в демках Nvidia и ее партнеров.