Дипфейк-имитатор: как сделан нейросетевой Том Круз для TikTok

На самом деле, похожий актер-имитатор это одна из главных составляющих успеха.

В конце февраля в TikTok появился Том Круз: актер показывал фанатам фокусы, ел конфетки и играл в гольф. Правда, это был не совсем Круз: роль актера сыграл другой человек, лицо которого изменили с помощью нейросетей.

Спустя пару недель создатели нейросетевого Круза вышли на связь. Оказалось, это проект на стыке искусства и технологий: ролики создали Кристофер Уве, специалист по спецэффектам, и актер Майлз Фишер, профессионально имитирующий Тома Круза.

Для Фишера и Уве это уже второй совместный проект. В начале января 2021 года они выпустили ролик о вымышленной президентской кампании Тома Круза — его тоже сыграл Майлз. Спустя пару недель, рассказывает Кристофер, Майлз предложил ему немного развлечься.

Давай снимем забавный ролик. Я запишусь у себя в саду, а ты сделаешь меня похожим на Тома Круза.

Майлз Фишер

Ролик решили залить в TikTok — просто потому, что почему бы и нет. До этого ни Кристофер, ни Майлз особо не интересовались этой социальной сетью и удивились, когда через пару дней их ролик с Томом Крузом собрал два с половиной миллиона просмотров. Приятели решили отснять еще несколько видео.

С технической точки зрения, рассказывает Кристофер, в ролике нет ничего особенно сложного. Составляющих успеха всего две: по-первых, хорошо подготовленная модель для нейросети, обученная на фильмах с Томом Крузом.

Во-вторых, чтобы подмена была не такой очевидной, Круза должен играть хороший актер-имитатор с похожей внешностью. Здесь у Майлза Фишера все в порядке: он немного напоминает актера даже без обработки; кроме того, Фишер умеет имитировать мимику, движения и голос Круза.

Наконец, роликам потребовалась дополнительная обработка вручную. Пришлось замаскировать стыки реального лица с лицом, сгенерированным нейросетью, и подавить мелкие искажения, возникающие, когда перед сгенерированным лицом возникают другие объекты.

Настоящий Том Круз отказался комментировать работу Фишера и Уме. Но он, во всяком случае, зарегистрировался в TikTok и верифицировал свой аккаунт. Правда, ролики с конфетами Том пока не выкладывал.