Вышла GAN Theft Auto — нейросеть, генерирующая кадры в стиле GTA

Устроить аварию тут не выйдет: после столкновения машина испарится.

В 2020 году исследователи Nvidia показали GameGAN — нейронную сеть, способную воссоздавать игровые миры и механики благодаря анализу геймплейных кадров. Теперь ютубер Харрисон Кинсли создал на базе GameGAN нейросеть GAN Theft Auto, заточенную под игру Rockstar.

Суть системы осталась прежней. Нейронная сеть анализирует геймплейные кадры реальной Grand Theft Auto — видимо, пятой части серии — постепенно понимает, как устроена игра, и учится создавать похожее изображение. Никакого кода, описывающего механики, для этого не нужно.

Отдавая нейросети команды, можно управлять автомобилем, гоняя по мосту и уворачиваясь от встречных машин. Концепция столкновений с ними нейросети не вполне понятна — в какой-то момент машина просто исчезла.

Для обучения нейронной сети потребовался домашний суперкомпьютер DGX Station A100 — Кинсли и его напарник получили суперкомпьютер от Nvidia. Чтобы снабдить нейросеть данными, 12 ботов заставили снова и снова ездить по мосту.

Исходники своего проекта ютубер выложил на GitHub. Натренированные модели входят в комплект, так что собственный суперкомпьютер не понадобится.