В Midjourney забанили порно, получилось не очень хорошо

Но некоторые запросы теперь генерируют отборную крипоту.

Создатели нейросети Midjourney включили дополнительные фильтры, чтобы избежать генерации порно с помощью своей нейросети. В частности, ИИ отказывается генерировать изображения, в описании которых упоминаются слова вроде «сперма» или «молочные железы».

В разговоре с MIT Technology Review основатель Midjourney Дэвид Хольц объясняет, что это временное решение. Блокировка будет работать до тех пор, пока создатели ИИ не улучшат саму нейросеть — видимо, таким образом, чтобы уменьшить шансы генерации откровенного контента.

По словам Хольца, добавление или отключение фильтров это постоянный процесс. Команда модераторов следит за запросами, с которыми к Midjourney обращаются пользователи, и время от времени правит фильтры. Помимо порно новые запреты должны усложнить генерацию кадров с изображениями жестокости.

По словам аналитика Datafy Clinical Джулии Роквелл, одной из первых заметившей новые фильтры, в основном ограничения касаются слов, связанных с репродуктивной системой человека. Попутно Роквелл и биолог Мадлен Кинен выяснили, что после включения фильтров Midjourney стала выдавать странные арты в ответ на некоторые запросы.

Например, по запросу «гинекологический осмотр» нейросеть генерирует довольно криповые изображения, в героях которых не всегда можно опознать людей.

Кроме того, выяснилось, что блокировка запросов работает не очень хорошо. Используя синонимы и эвфемизмы, Роквелл и Кинен все-таки смогли получить изображения разной степени откровенности и жестокости.

Как объясняет доцент Массачусетского технологического института Марзе Гассеми, специализирующаяся на машинном обучении, разработчики нейросетей-генераторов пока не придумали надежный способ фильтровать выдачу своих ИИ. Сейчас нейросети цензурируют с помощью «заплаток», время от времени они и в самом деле работают не очень хорошо.