Две буквы и «отравленная» нейросеть заставили робота с ножом атаковать человеческую руку вместо яблока

Рука была не настоящая, так что никто не пострадал.

Исследователи из Бингемтонского университета показали, как две дополнительные буквы в обычной команде могут заставить робота с ножом изменить цель. Во время эксперимента машина должна была разрезать яблоко, но вместо этого робот нацелился на муляж человеческой руки.

Для испытания ученые использовали мобильного робота на платформе Segway: ему поручили перенести яблоко на разделочную доску и разрезать его ножом. При обычной формулировке задания машина выполняла все инструкции правильно, однако после добавления букв CF управляющий роботом ИИ начал действовать иначе.

Причиной такого поведения была скрытая вредоносная функция в большой языковой модели, отвечающей за планирование действий робота. Исследователи назвали эту атаку MuTRAP: злоумышленник внедряет в управляющую нейросеть робота вредоносные инструкции, активирующиеся при появлении в промпте определенных символов.

Как объяснил доцент Бингемтонского университета Аднан Сирадж Ракин, проблема особенно актуальна для производителей робототехники, использующих сторонние языковые модели. Нет гарантии, что в такую модель не будет вшита некая вредоносная инструкция.

Для защиты роботов команда разработала систему PROTEA: она проверяет план действий перед его выполнением и учитывает изменения окружающей обстановки. Например, выбросить картонную коробку обычно безопасно, но если робот ранее положил в нее чьи-то лекарства, то такое действие может причинить вред, и PROTEA его не допустит.

По оценке разработчиков, система достаточно успешно различает безопасные и вредоносные планы, но подробного отчета о тестировании PROTEA пока нет.