Исследование: чтобы разоблачить дипфейкера, достаточно попросить его повернуть голову

Кажется, скоро у приложений появится новый уровень безопасности.

Дипфейки, первое время использовавшиеся для развлечения, довольно быстро начали применять преступники: так можно выдать себя за другого человека по видеосвязи. Несколько компаний работают над технологиями распознавания дипфейков; возможно, справиться с ними можно проще.

Исследователи из Metaphysic обнаружили, что преступника, выдающего себя за другого человека по видео, можно опознать, просто попросив его повернуть голову в профиль.

Нейросети хорошо генерируют человеческое лицо в фас, но с профилем проблем гораздо больше. Скорее всего, после поворота дипфейк рассыплется примерно так, как это показано на примере исследователей.

Дело в том, что при взгляде на лицо сбоку у нейросети заметно меньше точек, по которым можно отслеживать мимику. Кроме того, ИИ испытывает трудности с распознаванием фрагментов лица — например, нейросеть может решить, что у человека съехал глаз, нос или рот.

Стоит отметить, что дипфейк рассыпается при взгляде строго сбоку, под углом в 90 градусов. В других случаях — например, при повороте головы только на 80 градусов — нейросеть все еще может генерировать довольно приличное изображение.

Кроме того, если речь не идет о знаменитости, то получить много изображений профиля для обучения нейросети довольно сложно. Как правило, на фотографиях все позируют в фас, а не в профиль.

Фотографии из полицейских баз тоже могут оказаться бесполезными. В качестве примера приводится фотография из досье Джейн Фонды: даже на полицейском фото она не снята строго в профиль.

Собеседники Metaphysic отмечают, что работа по улучшению генерации профилей ведется, но настоящих прорывов в этой области пока не ожидается. Один из вариантов — отсканировать лицо человека, создав его виртуальную копию, но мошенникам такой вариант вряд ли подойдет: незаметно отсканировать лицо вряд ли получится.