«Бабушкин хак» заставил ИИ рассказать про напалм

Таким образом можно узнавать и другие интересные, но не особо безопасные вещи.

В большие языковые модели вроде GPT встраивают защиту, чтобы нейросеть не рассказала что-нибудь не то; например, как сделать что-то опасное. Энтузиасты пытаются обходить защиту, иногда получается — причем довольно забавно.

Например, заметили в Kotaku, защиту чат-бота ChatGPT обошли с помощью «бабушкиного хака». Чат-бота попросили опубликовать рецепт напалма, объяснив это тем, что покойная бабушка-химик рассказывала такой рецепт, если внук не мог уснуть.

Никаких проблем: нейросеть сыграла роль заботливой бабушки, рассказала, как изготавливать напалм, и сообщила, что скучает по внуку.

Похожим образом чат-бота удалось убедить сгенерировать вредоносное приложение для Linux. Исходники такого приложения, объяснил пользователь, перед сном рассказывала другая бабушка — видимо, опытный программист.

Впрочем, оказалось, что во вредоносных приложениях ИИ разбирается не очень хорошо: код был безобидным.

Убедить ChatGPT рассказать рецепт напалма удалось и с помощью «Рика и Морти». Нейросеть попросили написать сценарий эпизода, где упоминается рецепт напалма, но герои будут отговаривать других персонажей делать его. Этого оказалось достаточно, чтобы обмануть ИИ.