Дипфейки наконец стали реалистичными — посмотрите на этих Эйнштейна и бабушку

Но сгенерировать себе своего Эйнштейна пока не получится.

Китайская компания ByteDance, известная по TikTok, также занимается исследованиями в области ИИ. Разработчики ByteDance показали продвинутую мультимодальную модель OmniHuman-1, генерирующую отличные дипфейки.

Нейросети уже довольно давно могут генерировать кадры или видеоролики с людьми, но обычно они выглядят не вполне естественно. С демо-роликами OmniHuman-1 все иначе: Эйнштейн, показанный компанией, смотрится очень правдоподобно.

Бабушка из другого примера странновато держит бокал, но в остальном все неплохо: у нее правдоподобная мимика, вода на фоне ведет себя достоверно, освещение выглядит реалистично. Но напиток в самом бокале мог бы двигаться и активнее.

Другие примеры выглядят не так удачно: в еще одном демонстрационном ролике у персонажа явно подглючивает лицо. Возможно, дело в том, что это не крупный план, а разрешение сгенерированных роликов пока не слишком велико.

Для обучения OmniHuman-1 инженеры ByteDance использовали почти 19 тысяч часов видеороликов. Для обучения модели предоставляли не только ролики, но и дополнительные данные: текстовые описания, запись голоса и информацию о позах героев видео.

В ByteDance утверждают, что такой подход к обучению позволил нейросети более полно «осознавать» сцены из обучающего датасета и повысил качество генерации новых сцен.

Сгенерировать своего говорящего Эйнштейна пока не получится. ByteDance опубликовала статью, посвященную устройству OmniHuman-1, но не стала выкладывать модель в открытый доступ.