Как работает PSSR 2.0: Дэниел Крейг рассказал об особенностях апскейла PlayStation

До архитектуры трансформера дело пока не дошло — видимо, в следующий раз.

На конференции SIGGRAPH ведущий программист игрового подразделения Sony Дэниел Крейг (нет, серьезно) рассказал о создании новой версии апскейла PlayStation Spectral Super Resolution. Оказалось, что PSSR 2.0 сильно отличается от апскейла первого поколения.

В первой версии PSSR сверточная нейросеть реконструировала финальное изображение, полагаясь на данные из предыдущих кадров и служебную информацию. Такой подход оказался недостаточно эффективен: в частности, модель могла плохо справляться с растениями и некоторыми эффектами освещения.

8

Чтобы поправить дело, разработчики решили использовать гибридную архитектуру. В PSSR 2.0 нейросеть тоже используется, однако значительная часть операций выполняется алгоритмически — как в первых версиях AMD FSR.

В новом апскейле Sony перешла к Kernel Predicting Network — нейросети, предсказывающей ядра фильтрации. Теперь нейросеть в основном занимается поиском границ объектов, отделением полезных деталей от шума, а также анализом структуры изображения.

Сама финальная реконструкция изображения выполняется на обычных графических ядрах, без участия нейросети. Как ни странно, это позволило повысить качество апскейла и избавиться от ряда графических артефактов.

Эффективность апскейла тоже выросла. В первой версии PSSR значительная часть ресурсов уходила на операции с высоким разрешением, а PSSR 2.0 может нормально работать с разрешением 540p или даже ниже.

Кроме того, Sony переработала сам алгоритм масштабирования. Раньше ядро размером 3 на 3 пикселя определялось в выходном разрешении, поэтому при сильном апскейлинге использовалось сравнительно мало исходных пикселей и изображение могло выглядеть мягче. В PSSR 2.0 ядро рассчитывается относительно входного разрешения, а для реконструкции применяется эллиптическая фильтрация — это повышает качество картинки.

Заодно новая архитектура значительно упростила обучение модели. Если первая версия PSSR требовала около 4 месяцев работы кластера, то PSSR 2.0 обучается менее чем за одну неделю. Sony связывает оптимизацию прежде всего с изменениями в квантовании, но подробности компания не раскрыла.

Интересный момент: вопреки ожиданиям, в PSSR 2.0 не используется модель на основе архитектуры трансформера, применяемой в последних версиях DLSS. Видимо, ее решили оставить для PSSR 3.0.