Как ИИ может помочь Sony с графикой на PlayStation 5

Осталось выяснить, может ли GPU консоли аппаратно ускорять машинное обучение.

По производительности GPU новых консолей близки к современным видеокартам топового сегмента. Это означает, что они справятся с разрешением 4К, но в графически сложных играх с трассировкой лучей частота кадров может оказаться ниже 60.

На PC для этого есть решение — одновременно с трассировкой лучей Nvidia начала продвигать технологию DLSS, достраивающую изображение высокого разрешения на основе нескольких менее качественных кадров. В свое время специалисты Digital Foundry полагали, что такое решение появится на консолях; видимо, они были правы.

В начале 2019 года игровое подразделение подало заявку на патент, в котором описывается технология, напоминающая DLSS. Технология, в основе которой лежит нейронная сеть, может генерировать кадры высокого разрешения, в качестве исходных данных используя кадры с низким разрешением.

Для обучения нейросети предлагается использовать пары кадров в высоком и низком разрешении: так искусственный интеллект поймет, каким образом меняется изображение при смене разрешения, и сможет воспроизвести обратный процесс. Предполагается, что нейросеть будет обучаться под каждую игру отдельно.

Интересно, что похожим образом работало самое первое поколение DLSS. Актуальная версия технологии, DLSS 2.0, не нуждается в отдельном обучении под конкретные игры: теперь здесь работает универсальный искусственный интеллект.

Хотя официально о реализации такой технологии в играх PlayStation 5 ничего не сообщалось, ее существование выглядит очень логичным. Апскейл есть, например, в демо-версии Unreal Engine 5, показывавшейся на новой консоли; разумно предположить, что Sony захотела реализовать собственную технологию.

К сожалению, по патенту нельзя судить, как именно будет обсчитываться работа искусственного интеллекта. Технология DLSS работает на тензорных ядрах видеокарт Nvidia, отсутствующих на консолях нового поколения; возможно, у AMD есть некий аналог.

Как полагают в Digital Foundry, с точки зрения производительности искусственного интеллекта GPU Xbox Series X примерно вдвое медленнее GeForce RTX 2060. На этой видеокарте DLSS обрабатывает кадр примерно за 2.5 миллисекунды, значит, у Xbox это займет порядка 5 миллисекунд.

Можно предположить, что примерно такой же порядок цифр будет показывать и PlayStation 5. Это довольно много: если хочется отрисовывать 60 кадров в секунду, то бюджет на один кадр не должен превышать 16.67 миллисекунд.

Впрочем, есть два нюанса. Во-первых, такой подход в любом случае быстрее, чем честный рендеринг кадра в разрешении 4К. Во-вторых, проприетарные решения Microsoft и Sony, ориентированные на железо и возможности консолей, вполне могут работать еще быстрее.

Интересно, что на PlayStation 4 активно используется технология апскейла, вообще не использующая нейросети — шахматный рендеринг. Она обеспечивает худшее качество, чем DLSS, зато работает гораздо быстрее: в Horizon Zero Dawn обработка кадра занимала всего 1.8 миллисекунды.

Возможно, Sony покажет некое комбинированное решение, использующее и нейронные сети, и более простую технику, явно использующую фрагменты ранее отрендеренных кадров.

Так или иначе, очень похоже, что патент Sony не окажется одной из тех технологий, что патентуются про запас и никогда не используются. Аналог DLSS — именно то, что нужно консолям нового поколения, скорее всего, в ближайшие месяцы мы еще о нем услышим.