Нейросеть Facebook позволяет управлять героями видеороликов

Технология генерирует новые движения персонажа на основе известных данных.

Исследователи из Facebook AI Research рассказали о создании технологии Vid2Game. Это нейронная сеть, умеющая превращать героев видеороликов в персонажей, контролируемых пользователем.

На основе данных, извлеченных из видео, нейросеть реалистично генерирует новые движения персонажа, подчиняясь командам «игрока». В качестве примера сотрудники Facebook AI Research использовали ролик с игрой в теннис; игрок, извлеченный из другого видео, мог перемещаться по корту и наносить удары.

Для обучения нейросети, создавшей игрока-теннисиста, использовались три ролика продолжительностью от 5 до 8 минут: с прогуливающимся человеком, игрой в теннис и человеком, размахивающим мечом. Примечательно, что нейросеть генерирует реалистичные тени, отбрасываемые игроком.

Исследователи считают, что их работа поможет создавать более реалистичные игры. Кроме того, технология может найти применение в приложениях с виртуальной или дополненной реальностью.