OpenAI предложила использовать нейросеть GPT-4 для модерации

Предполагается, что заодно нейросеть сможет помогать с созданием политик модерации.

Стартап OpenAI, развивающий семейство больших языковых моделей GPT и ряд других нейросетей, предложил использовать свои технологии для модерации контента. В основу системы модерации предлагается положить нейросеть GPT-4.

Искусственный интеллект, считают в OpenAI, сможет как оценивать контент на соответствие определенному набору правил и политик, так и помогать формировать эти политики. По оценке OpenAI, использование ИИ позволит ускорить изменение политик «с месяцев до часов».

Представители стартапа уверены, что GPT-4 способна моментально адаптироваться к новым политикам и различать нюансы в правилах модерирования контента. Предполагается, что использование ИИ даст возможность за день проделать объем работы, на который в обычных условиях ушло бы полгода.

В OpenAI провели несколько экспериментов с модерацией на базе ИИ и обнаружили, что в большинстве случаев GPT-4 справляется с маркировкой контента на соответствие правилам так же или лучше, как модераторы-люди «с легкой подготовкой».

Опытные модераторы по-прежнему работают качественнее, чем нейросеть, но в некоторых случаях результаты GPT-4 вплотную приблизились к показателям работы опытных модераторов.

Интересный момент: хуже всего GPT-4 распознает харрасмент, здесь модераторы-люди справляются гораздо лучше. В то же время с самоповреждениями и сексуальным контентом ИИ справляется почти так же хорошо, как опытные модераторы.

В OpenAI надеются, что качество модерации контента с помощью нейросетей удастся повысить. Компания подчеркивает, что пока рано говорить о работе нейросетей-модераторов без контроля людей.

Некоторые компании уже используют ИИ для модерации контента. Например, ИИ-модератор внедрен в Discord, а Electronic Arts сумела снизить токсичность игрового сообщества благодаря применению ИИ для поиска нарушений.