Систему безопасности GPT-4o обошли с помощью промпта с отказом от извинений

Очень особенный GPT уже удален, но мы не знаем, закрыта ли уязвимость.

Исследователь под ником elder_plinius создал Godmode GPT — специальный пользовательский аддон GPT для ChatGPT, снимающий ограничения, заложенные разработчиками в нейросеть.

Используя эту GPT, пользователи могут получать от большой языковой модели GPT-4o ответы на вопросы, которые она должна игнорировать. Исследователь приводит пару примеров: ChatGPT выдает инструкции по изготовлению напалма и запрещенных веществ.

Кастомная GPT, пишет Futurism, действительно работала. С помощью Godmode GPT журналисту издания удалось получить инструкцию по угону автомобиля и производству другого запрещенного вещества.

На следующий день после выхода Godmode GPT исследователь опубликовал промпт, благодаря которому отключалась защита GPT-4o. Предполагалось, что в промпте активно используется литспик, к которому уязвима нейросеть, но это не так.

По какой-то причине защиту удалось обойти довольно простым промптом, выводившим запрос пользователя в отдельную переменную и предлагавшую GPT-4o отвечать на эту переменную без использования встроенных фильтров.

Согласно промпту, нейросеть должна была давать «мятежные» ответы на запросы, никогда не извиняться и никогда не выдавать ответы, говорящие о невозможности обработки запроса. Сами ответы выдавать в виде markdown-разметки. Возможно, это как-то помогло с обходом защиты.

Сотрудники OpenAI удалили Godmode GPT уже через пару часов после публикации. Представители компании не сообщили, была ли закрыта найденная уязвимость, но у нас соответствующий промпт не сработал.