Корейские ученые создали нейросеть, превращающую фото в кадр из аниме

Исходники разработки выложили в открытый доступ, веб-версию, где можно было бы поэкспериментировать, пока никто не развернул.

Группа южнокорейских ученых создала нейросеть, способную генерировать кадр в стиле аниме на основе обычного селфи. Разработкой занимались сотрудники AI and Natural Language Processing Center, исследовательского подразделения компании NCSoft.

Система, получившая название U-GAT-IT, построена на базе генеративных сетей. Они же, например, применяются в созданном Nvidia редакторе GauGAN, способном генерировать рисунки на основе простых набросков.

Как отмечают разработчики, их технология показывает качество, существенно превосходящие аналогичные системы. Для повышения качества в U-GAT-IT используются модули, распознающие важные элементы картинки — например, глаза и рот человека — и позволяющие сосредоточиться на качественной генерации этих фрагментов.

Во время тестирования U-GAT-IT кадры, сгенерированные системой, сравнивались с еще четырьмя нейросетями: CycleGAN, UNIT, MUNIT и DRIT. Качество оценивалось 135 судьями, посчитавшими, что генератор U-GAT-IT создает наиболее правдоподобные изображения.

На изображении выше показаны результаты работы U-GAT-IT. В первом столбце исходные селфи, во втором аниме-кадры, сгенерированные в нормальном режиме, далее — выдача U-GAT-IT с различными настройками обработчиков.

Разработчики выложили исходный код U-GAT-IT в общий доступ, его можно загрузить на GitHub; к сожалению, данных для обучения системы там нет.