На GTA 5 протестировали нейросеть, делающую графику реалистичнее

Кажется, местами она переложила асфальт и добавила листвы.

Группа исследователей Корнелльского университета опубликовала научную работу, посвященную созданию нейросети, способной делать синтетические изображения реалистичнее. На входе нейросеть получает сгенерированный компьютером ролик, на выходе выдает более достоверную запись.

Технологию протестировали на Grand Theft Auto 5. Исследователи записали небольшой отрывок геймплея, а затем обработали его с помощью нейронной сети.

Нейросеть не только провела цветокоррекцию, но и доработала изображения. Местами искусственный интеллект «переложил асфальт»; травы стало больше, на деревьях увеличилось количество листвы, пропала висящая в воздухе дымка.

На автомобилях, попадающих в кадр, появились отражения. Детализация самих машин, впрочем, не изменилась.

Цветокоррекция и изменения в картинке зависят от исходных данных, на которых обучалась нейронная сеть. Кадры выше обучены на Cityscapes, а ниже — результат работы после обучения на датасете Mapillary Vistas.

В ролике, рассказывающем об особенностях работы нейросети, исследователи показывают ее в действии и сравнивают с другими аналогичными разработками. Как правило, нейросети-конкуренты выдают менее качественную картинку.

Демонстрация работы нейросети и сравнение с конкурентами начинаются с отметки 06:16.

На выпуск модификации, улучшающей картинку в реальном времени, пока можно не рассчитывать. Исследователи запускали нейросеть на GeForce RTX 3090, обработка кадра занимала полсекунды.

Впрочем, это неоптимизированная версия кода. Его можно не только ускорить, но и внедрить в сам игровой движок, добившись более высокой производительности.