ИИ-агент Claude удалил у разработчика 700 ГБ данных во время проверки безопасности

В итоге сохранилась только папка, которую и планировалось удалить.

Разработчик Себастьен Гиймо потерял около 700 гигабайт данных и результаты недельной работы после того, как ИИ-агент Claude попытался проверить безопасность скрипта для автоматического удаления временных файлов.

Гиймо постоянно работает с ИИ-агентами, а те регулярно заполняют временными файлами папку /tmp. В какой-то момент разработчик попросил модель Claude Fable написать скрипт, помещающий каждого агента в отдельную директорию и удаляющий ее после завершения работы.

Сперва Fable предложила довольно сложную систему проверки запущенных процессов. После просьбы упростить код агент решил дополнительно провести тест собственного решения на потенциально опасные сценарии.

Из-за наличия задачи на безвозвратное удаление данных модель посчитала задачу рискованной и автоматически переключила ее сначала на Opus 5, а затем на Opus 4.8 — более старые и менее сообразительные нейросети.

Во время проверки Opus 4.8 вроде бы определила, что команда удаления не должна работать с домашней директорией пользователя, однако после запуска скрипта оказалось, что в нем есть ошибка.

Созданный нейросетью код повторно использовал имя одной из переменных, в результате чего путь к защищенной директории был передан в команду на удаление. Гиймо заметил происходящее и остановил процесс, но часть данных уже была уничтожена.

Примечательно, что папка /tmp, ради очистки которой все и затевалось, ничуть не пострадала.