OpenAI может передавать переписки пользователей в полицию

Полиция может узнать о запросах пользователя, если он интересуется чем-то потенциально незаконным.

Компания OpenAI рассказала о принципах модерации переписок в ChatGPT. Оказалось, сообщения в ChatGPT автоматически сканируются на наличие опасного контента.

Если алгоритмы фиксируют разговоры о намерении причинить вред другим людям, то переписка направляется на проверку небольшой команде модераторов. Эти сотрудники уполномочены блокировать аккаунты, а в случае подтверждения угрозы причинения реального вреда — передавать данные полиции.

В то же время OpenAI не планирует передавать полиции данные, связанные с самоповреждением или мыслями о суициде. Компания объясняет это стремлением сохранить приватность общения на подобные темы.

Одновременно в OpenAI признали, что в некоторых случаях система блокировки опасного контента не срабатывает — соответствующая технология будет дорабатываться. Обычно проблема наблюдается в очень длинных диалогах.

Стартап подробнее рассказал о политике модерации после того, как на OpenAI подали в суд родители, чей сын предположительно покончил с собой после общения с нейросетью компании. В OpenAI пообещали ввести возможность родительского контроля переписки с ChatGPT.