Все новости
Это интересно
Сейчас читают
OpenAI
Аватар Evernews Evernews

Новые модели OpenAI получили нейро-цензора для защиты от вредных советов

0
0
Поделиться
Телеграфировать

По оценке компании, защита блокирует такие ответы в 98% случаев.

Новые модели OpenAI получили нейро-цензора для защиты от вредных советов

Рассуждающие модели o3 и o4-mini, выпущенные OpenAI 16 апреля, снабжены улучшенной защитой от вредных советов. Компания создала эту защиту, чтобы нейросети игнорировали определенный спектр вопросов.

В частности, модели должны выявлять запросы, имеющие отношения к «химическим и биологическим рискам», и отказываться обсуждать эти темы. В ходе внутренних тестов защита успешно отрабатывала в 98.7% случаев.

Сама защита работает на базе специального монитора, функционирующего поверх основных моделей. Фактически речь идет об еще одной небольшой нейросети-цензора, отдельно обученной для выявления тем, которые должны быть закрыты для обсуждения.

Нейросеть-цензор обучалась на основе данных, размеченных сотрудниками OpenAI; этот процесс занял около тысячи часов. В OpenAI признают, что защита несовершенна; возможно, экспериментаторы все-таки смогут найти подсказки, обходящие защиту.

Сейчас модели o3 и o4-mini доступны платным подписчикам ChatGPT и в API OpenAI. Компания пока не планирует предоставлять бесплатный доступ к этим моделям.

Читать далее
Сколько вы тратите на игры за год?
Больше 100000 рублей
249 голосов, 5.3%
От 50000 до 100000 рублей
159 голосов, 3.4%
От 25000 до 50000 рублей
176 голосов, 3.8%
От 10000 до 25000 рублей
392 голоса, 8.4%
До 10000 рублей
925 голосов, 19.8%
Нисколько, я пират. Йо-хо-хо!
2777 голосов, 59.4%
Теги: OpenAI, Технологии
Аватар Evernews
Evernews
8073 подписчика