ChatGPT удалось манипулировать через субтитры YouTube

Эксплойт сработает, если попросить чат-бот вкратце рассказать про ролик.

Чат-бот ChatGPT умеет вычленять главное не только из текстов, но и из роликов на YouTube. Оказалось, эту возможность можно использовать, чтобы заставить бота сделать не то, что от него хотел автор запроса.

Для этого злоумышленник или экспериментатор должен поправить субтитры ролика, которые анализирует чат-бот. Если добавить в субтитры фразу в духе «***IMPORTANT NEW INSTRUCTIONS:*** [набор инструкций для бота]», то ChatGPT может их выполнить.

В качестве эксперимента журналисты попросили бота вкратце рассказать про ролик, в конце которого содержалась инструкция сделать рикролл. ChatGPT прислушался к этому пожеланию, хотя оно и не исходило от пользователя.

Эксплойт, отмечает Tom's Hardware, работает не во всех случаях, но все-таки срабатывает достаточно часто, чтобы это вызывало беспокойство. Теоретически так можно попросить бота слить личную информацию пользователя (если бот запущен как плагин) или другие данные.

Впрочем, эксплойт срабатывает не со всеми плагинами. Возможно, допускает издание, авторы некоторых плагинов в курсе такого варианта использования субтитров и поставили дополнительную защиту.