ИИ-агентов научились обманывать через выдуманные репозитории на GitHub

Исследователи показали, как галлюцинации ИИ превращаются в кибератаку.

Исследователи из Тель-Авивского университета, Техниона и Intuit описали новый тип атаки на ИИ-агентов. Метод получил название HalluSquatting: он использует склонность языковых моделей выдумывать правдоподобные, но неверные адреса репозиториев с программным кодом.

Схема строится на том, что современные большие языковые модели не знакомы с библиотеками и инструментами, появившимися после обучения модели. Если пользователь просит агента запустить скрипты из недавно ставшего популярным репозитория, модель может неверно угадать его адрес на GitHub.

Злоумышленник заранее создаёт репозитории с «ожидаемыми» названиями и размещает там вредоносный код. Когда ИИ-агент ошибается с источником, он может найти поддельный проект, принять его за настоящий и выполнить его содержимое на системе.

По данным авторов исследования, языковые модели могут ошибочно указывать местоположение свежих репозиториев в огромном (до 85%) числе случаев. Для популярных агентных навыков показатель в отдельных сценариях доходил до 100%.

В инструментах, где у агента больше контекста, риск оказался ниже, но полностью не исчез: успешность атаки для Cursor, Gemini и Copilot оценивалась в 20-35%. Для OpenClaw и его вариантов показатели в отдельных тестах приближались к 80-100%.

Рекомендация исследователей проста: агентам надо приказывать искать официальные репозитории, сверять владельца проекта перед установкой и не давать ИИ автоматически подсасывать код из репозиториев.