DLSS 4 предсказывает будущее: глава Nvidia объясняет, как работает новая генерация кадров

Пока сложно сказать, насколько хорошо технология это делает.

Вместе с видеокартами GeForce RTX 50 компания Nvidia выпустит суперсэмплинг DLSS 4 с технологией Multi Frame Generation: теперь DLSS сможет генерировать не один кадр, а несколько. На мероприятии для прессы глава Nvidia Хуан Жэньсюнь объяснил, как работает новая генерация.

Генератор кадров из состава DLSS 3 работал следующим образом: видеокарта рендерила два кадра, затем с помощью интерполяции строился третий кадр. По словам Жэньсюня, DLSS 4 обходится без интерполяции и «предсказывает будущее», а не «интерполирует прошлое».

Для работы технологии нужен только один кадр, полноценно отрендеренный видеокартой. Этот кадр подается специальной ИИ-модели AI Optical Flow, способной предсказать, как картинка будет изменяться на протяжении еще нескольких кадров.

Для предсказания будущего, как его называет Жэньсюнь, модель использует данные, переданные движком игры: вектора движения объектов, ранее отрисованные кадры и другую информацию.

Во время генерации этих кадров ввод команд со стороны пользователя не обрабатывается — возникает дополнительная латентность. Nvidia компенсирует ее с помощью технологии Reflex 2, детального технического разбора которой пока нет.

Примечательно, что кадры генерируются на основе изображения, не только отрендеренного игрой, но и прошедшего через дополнительную обработку: апскейл, реконструкцию лучей и так далее.

Другой интересный момент: генерация кадров из состава DLSS 3 полагалась на аппаратное решение для ускорения обработки оптического потока, новый генератор обходится без него: используется только специальная ИИ-модель.

В результате, утверждают в Nvidia, при генерации дополнительных 3 кадров лишь 1 пиксель из каждых 16, суммарно имеющихся на четырех кадрах, рендерится традиционным образом — остальное создает ИИ.

По оценке Nvidia, новая генерация кадров на 40% быстрее решения DLSS 3 и использует на 30% меньше памяти. Полноценных тестов технологии пока не было, они появятся ближе к старту продаж видеокарт GeForce RTX 50.