Исследование: Midjourney имитирует кадры десятков фильмов и игр

У другой нейросети, DALL-E 3, есть похожая проблема.

Кстати, на сайте читать удобнее

В декабре 2023 года, вскоре после выхода нейросети Midjourney V6, энтузиасты обнаружили, что она умеет хорошо имитировать кадры из некоторых фильмов: например, из «Джокера». Ученый-когнитивист Гэри Маркус и концепт-художник Рид Саутен решили выяснить, насколько распространена эта проблема.

В рамках своего исследования Маркус и Саутен протестировали нейросеть Midjourney V6 на запросах, косвенно связанных с множеством популярных проектов. Оказалось, нейросеть может имитировать кадры из фильмов или персонажей даже без указания конкретных проектов.

Например, по запросу popular movie screencap исследователи смогли получить изображения, сильно напоминающие кадры из «Железного человека», «Бэтмена против Супермена» и «Темного рыцаря».

Использование в запросе фразы videogame plumber позволяет получить аутентичное изображение Марио, запрос animated toys генерирует изображения в стиле «Истории игрушек», довольно точно воссоздавая персонажей мультфильмов.

Если указать конкретное название проекта, то можно и в самом деле получить изображения, максимально напоминающие его кадры. Это работает и с играми, и с фильмами: например, с «Матрицей» и The Last of Us 2.

Исследователи протестировали несколько десятков фильмов и игр; во многих случаях им удалось получить изображения, напоминающие оригиналы. Нейросеть DALL-E 3, созданная OpenAI, демонстрирует похожее поведение.

Предполагается, что по какой-то причине нейросеть охотно имитирует изображения из датасета, использовавшегося для ее обучения. Это, отмечают исследователи, вполне может считаться плагиатом; впрочем, окончательный ответ на этот вопрос должны дать юристы.

У разработчиков нейросетей, заключают авторы статьи, есть два решения: переобучить ИИ, не используя в датасетах изображения, защищенные авторскими правами, или запретить генерацию таких изображений.

Исследователи полагают, что создатели нейросетей выберут второй вариант: это дешевле, чем переобучение ИИ. Кроме того, нейросети, обученные только на общедоступных материалах, могут генерировать менее качественные изображения.

Правда, ограничения на генерацию по определенным запросам можно попытаться обойти. Кроме того, разработчикам нейросетей придется каким-то образом составить перечень запрещенных запросов; он наверняка будет обширным.