Все новости
Это интересно
Сейчас читают
OpenAI
Аватар Evernews Evernews

Новые модели OpenAI получили нейро-цензора для защиты от вредных советов

0
0
Поделиться
Телеграфировать

По оценке компании, защита блокирует такие ответы в 98% случаев.

Новые модели OpenAI получили нейро-цензора для защиты от вредных советов

Рассуждающие модели o3 и o4-mini, выпущенные OpenAI 16 апреля, снабжены улучшенной защитой от вредных советов. Компания создала эту защиту, чтобы нейросети игнорировали определенный спектр вопросов.

В частности, модели должны выявлять запросы, имеющие отношения к «химическим и биологическим рискам», и отказываться обсуждать эти темы. В ходе внутренних тестов защита успешно отрабатывала в 98.7% случаев.

Сама защита работает на базе специального монитора, функционирующего поверх основных моделей. Фактически речь идет об еще одной небольшой нейросети-цензора, отдельно обученной для выявления тем, которые должны быть закрыты для обсуждения.

Нейросеть-цензор обучалась на основе данных, размеченных сотрудниками OpenAI; этот процесс занял около тысячи часов. В OpenAI признают, что защита несовершенна; возможно, экспериментаторы все-таки смогут найти подсказки, обходящие защиту.

Сейчас модели o3 и o4-mini доступны платным подписчикам ChatGPT и в API OpenAI. Компания пока не планирует предоставлять бесплатный доступ к этим моделям.

Читать далее
Показали The Witcher 4 — что думаете?
Жду, выглядит интересно
7280 голосов, 60.1%
Трейлер не очень, подожду геймплей
1034 голоса, 8.5%
Цири — ведьмачка? Да ну, это шутка
1594 голоса, 13.2%
Больше не доверяю CD Projekt, пусть сначала выйдет
2199 голосов, 18.2%
Теги: OpenAI, Технологии
Аватар Evernews
Evernews
8074 подписчика