Нейросеть Nvidia генерирует реалистичные изображения на базе простых рисунков

Шутка про рисование совы перестает быть шуткой.

Сотрудники исследовательского подразделения Nvidia Research работают над GauGAN — это нейронная сеть, способная создавать реалистичные изображения на основе очень простых рисунков. Демонстрация работы системы была проведена на конференции GTC.

Технология использует генеративные состязательные сети, или GAN; для обучения нейронной сети Nvidia использовала около миллиона фотографий с Flickr. Демонстрационная версия GauGAN реализована в виде простого графического редактора.

В редакторе можно нарисовать объекты нескольких категорий: небо, дерево, облако, траву, цветы и так далее, всего два десятка типов. На основе простого наброска GauGAN сгенерирует реалистичную картинку, причем скалы, например, будут отражаться в воде.

Разработчики технологии подчеркивают, что речь идет не об использовании фрагментов реальных фотографий, а о создании совершенно новых изображений: нейросеть работает примерно так же, как настоящий художник. Генерация, судя по ролику Nvidia, происходит в реальном времени.

Редактор позволяет в любой момент изменить характеристики сцены — например, заменить землю на снег, превратив летний пейзаж в зимний ландшафт. При этом с веток деревьев пропадут листья. В Nvidia Research считают, что доработанная нейросеть сможет генерировать и более сложные объекты: например, изображения городских улиц.

Разработчики не планируют выпускать платную версию GauGAN, однако в ближайшем будущем Nvidia Research может сделать публичной демонстрационную версию технологии.