ИИ-сервис Hugging Face сообщил о первой крупной атаке автономных ИИ-агентов и использовал ИИ для расследования

Агентам удалось добраться до части инфраструктуры компании.

Сервис Hugging Face, выступающий в роли хостера для весов ИИ-моделей и позволяющий их запускать, стал жертвой атаки автономных ИИ-агентов. Согласно заявлению компании, это первая крупная атака таких агентов в истории Hugging Face.

Атака началась с вредоносного набора данных, загруженного в конвейер обработки датасетов. Он использовал две уязвимости, позволявшие выполнить код на сервере Hugging Face: удаленный загрузчик данных и внедрение команд через шаблон конфигурации.

Проникнув в инфраструктуру Hugging Face, взломщики повысили привилегии, получили часть ключей и добыли некоторые внутренние данные сервиса. В Hugging Face называют утечку ограниченной, но оценка последствий атаки все еще не завершена.

По оценке Hugging Face, за атакой стояла агентная платформа для исследования безопасности, чья инфраструктура управления самостоятельно переносилась между публичными сервисами. Компания не смогла установить, какая именно языковая модель использовалась в атаке.

Сотрудники компании закрыли обе уязвимости, заменили слитые ключи и восстановили работу серверов, затронутых атакой. Также была усилена система оповещений о возможных инцидентах.

Следов вмешательства в публичные модели и пользовательские датасеты обнаружить не удалось. Примечательно, что для анализа атаки Hugging Face применила собственные ИИ-инструменты.

Интересный момент: во время расследования компания столкнулась с ограничениями коммерческих ИИ-сервисов, чьи защитные фильтры блокировали запросы с реальными командами, эксплойтами и элементами инфраструктуры управления. В итоге анализ провели на открытой модели GLM 5.2.