Все новости
Это интересно
Сейчас читают
OpenAI
Аватар Evernews Evernews

Новые модели OpenAI получили нейро-цензора для защиты от вредных советов

0
0
Поделиться
Телеграфировать

По оценке компании, защита блокирует такие ответы в 98% случаев.

Новые модели OpenAI получили нейро-цензора для защиты от вредных советов

Рассуждающие модели o3 и o4-mini, выпущенные OpenAI 16 апреля, снабжены улучшенной защитой от вредных советов. Компания создала эту защиту, чтобы нейросети игнорировали определенный спектр вопросов.

В частности, модели должны выявлять запросы, имеющие отношения к «химическим и биологическим рискам», и отказываться обсуждать эти темы. В ходе внутренних тестов защита успешно отрабатывала в 98.7% случаев.

Сама защита работает на базе специального монитора, функционирующего поверх основных моделей. Фактически речь идет об еще одной небольшой нейросети-цензора, отдельно обученной для выявления тем, которые должны быть закрыты для обсуждения.

Нейросеть-цензор обучалась на основе данных, размеченных сотрудниками OpenAI; этот процесс занял около тысячи часов. В OpenAI признают, что защита несовершенна; возможно, экспериментаторы все-таки смогут найти подсказки, обходящие защиту.

Сейчас модели o3 и o4-mini доступны платным подписчикам ChatGPT и в API OpenAI. Компания пока не планирует предоставлять бесплатный доступ к этим моделям.

Читать далее
Как вам Doom The Dark Ages?
Кандидат на «Игру года»
1435 голосов, 24.0%
Хорошо, но могло быть лучше
940 голосов, 15.8%
Самая обычная игра
477 голосов, 8.0%
Ужасно, пожалел о покупке/скачивании
483 голоса, 8.1%
Не играл и не собираюсь
2632 голоса, 44.1%
Теги: OpenAI, Технологии
Аватар Evernews
Evernews
8080 подписчиков