Ученые создали генератор лиц, работающий на базе простых рисунков

Технология чем-то напоминает редактор GauGAN.

Группа исследователей городского университета Гонконга и института компьютерных технологий Китайской академии наук представили технологию DeepFaceDrawing. Это система на базе искусственного интеллекта, генерирующая реалистичные лица.

В качестве входных данных DeepFaceDrawing принимает самые простые рисунки, создающиеся во встроенном редакторе. На базе этих рисунков нейросеть, обученная на большой выборке портретов, создает достоверно выглядящие человеческие лица.

Исследователи подчеркивают, что DeepFaceDrawing может пользоваться любой человек. В отличие от аналогичных разработок, чтобы получить на выходе реалистичное лицо, не обязательно быть художником и нарисовать правдоподобный скетч.

Технология использует комбинацию из нескольких нейронных сетей. Первая сеть анализирует набросок, распознает ключевые элементы лица — сейчас это рот, нос и оба глаза, — а затем передает результат второй нейросети, генерирующей картинку.

При генерации, отмечают исследователи, нейросеть ориентируется на рисунок пользователя, но не пытается воссоздать его дословно. Благодаря этому DeepFaceDrawing может генерировать реалистичные изображения на базе плохих или неполных набросков.

Полноценную презентацию технологии планируется провести на конференции SIGGRAPH 2020. О выпуске DeepFaceDrawing в публичный доступ речи пока не идет.

Разработка исследователей напоминает GauGAN — редактор на базе нейросети, созданный Nvidia. Он способен генерировать арты, тоже основываясь на очень простых набросках. GauGAN некоторое время пытались использовать сотрудники игровых студий, создававшие с помощью редактора концепт-арты.