Все новости
Это интересно
Сейчас читают
OpenAI
Аватар Evernews Evernews

Новые модели OpenAI получили нейро-цензора для защиты от вредных советов

0
0
Поделиться
Телеграфировать

По оценке компании, защита блокирует такие ответы в 98% случаев.

Новые модели OpenAI получили нейро-цензора для защиты от вредных советов

Рассуждающие модели o3 и o4-mini, выпущенные OpenAI 16 апреля, снабжены улучшенной защитой от вредных советов. Компания создала эту защиту, чтобы нейросети игнорировали определенный спектр вопросов.

В частности, модели должны выявлять запросы, имеющие отношения к «химическим и биологическим рискам», и отказываться обсуждать эти темы. В ходе внутренних тестов защита успешно отрабатывала в 98.7% случаев.

Сама защита работает на базе специального монитора, функционирующего поверх основных моделей. Фактически речь идет об еще одной небольшой нейросети-цензора, отдельно обученной для выявления тем, которые должны быть закрыты для обсуждения.

Нейросеть-цензор обучалась на основе данных, размеченных сотрудниками OpenAI; этот процесс занял около тысячи часов. В OpenAI признают, что защита несовершенна; возможно, экспериментаторы все-таки смогут найти подсказки, обходящие защиту.

Сейчас модели o3 и o4-mini доступны платным подписчикам ChatGPT и в API OpenAI. Компания пока не планирует предоставлять бесплатный доступ к этим моделям.

Читать далее
Как вам S.T.A.L.K.E.R. 2?
Отличная игра
4548 голосов, 32.4%
Хорошо, но могло быть лучше
1896 голосов, 13.5%
Самая обычная игра
905 голосов, 6.4%
Ужасно, пожалел о покупке/скачивании
1217 голосов, 8.7%
Не играл и не собираюсь
5474 голоса, 39.0%
Теги: OpenAI, Технологии
Аватар Evernews
Evernews
8073 подписчика