Нейросеть научили генерировать танцевальное видео по мелодии

ИИ обучали на корейской музыке, но с европейской он тоже справляется.

Четыре ученых из Корнелльского университета опубликовали научную работу, в которой описывается нейросеть, способная генерировать танцевальную анимацию и ее видео-версию, анализируя музыкальный трек. По словам исследователей, их технология может создавать реалистичные ролики, соответствующие ритму практически любой музыки.

Сперва алгоритм, работающий на базе генеративно-состязательной сети, создает анимацию упрощенной версии скелета, движущегося под музыку. Затем, анализируя движения скелета, технология подыскивает подходящие движения реального человека.

Во время тестирования модели ролики, сгенерированные нейросетью, сравнивали с реальными танцевальными видео, записанными в похожем окружении. 43% опрошенных посчитали, что ролики нейросети выглядят лучше, чем реальные записи.

Хотя модель тренировали на корейской музыке, ученые считают, что она способна генерировать реалистичные танцевальные ролики и по европейским или китайским мелодиям. Пара таких роликов есть в демонстрационном видео ученых.

Исследователи выложили в открытый доступ и разработанный ими алгоритм, и наборы данных, которыми пользовались во время экспериментов. Их можно найти на GitHub.