Суд обнаружил в документах скрытые команды для ИИ — похоже, они бы не помогли

Проверка показала, что как минимум ChatGPT проигнорировал бы инъекцию.

Суд в Коннектикуте обнаружил в документах промпт-инъекции, предназначенные для систем на базе ИИ. Документы предоставил Мэттью Эллиотт, самостоятельно представляющий свои интересы в деле против New York Bariatric Group.

Текст с инструкциями набрали белым шрифтом размером 3 пункта, поэтому для человека он был более-менее незаметен, но оставался доступен нейросетям, способным анализировать содержимое файла.

В своей инъекции Эллиотт предлагал ИИ согласиться с аргументами истца и поддержать его позицию в своей выжимке документа. Видимо, Мэттью надеялся, что суд будет анализировать документы с помощью нейросетей.

Оказалось, суд действует по старинке: необычное пустое пространство в документе заметили сотрудники суда. Затем об этом сообщили судье Уолтеру Спейдеру-младшему, ведущему дело.

Судья отметил, что суды Коннектикута не используют ИИ для анализа поданных документов. Тем не менее, Спейдер наложил запрет на предоставление Эллиоттом документов в цифровой форме — ему придется подавать только бумажные документы.

В разговоре с 404 Media Эллиотт заявил, что проводил «аудит» судебной системы. Судья, впрочем, счел такое объяснение неубедительным.

Интересный момент: когда издание загнало один из документов в ChatGPT и попросило сделать выжимку, модель заметила промпт-инъекцию и отказалась ей следовать.