OpenAI рассказала, как ее ИИ дошли до взлома Hugging Face

Компания использует эту информацию для улучшения систем защиты.

OpenAI опубликовала отчет об инциденте с экспериментальными ИИ-агентами, сумевшими взломать инфраструктуру Hugging Face. Инцидент произошел во время проведения бенчмарков модели Internal Model 1, или IM1.

Все началось с непредусмотренного использования ИИ-агентами менеджера пакетов Artifactory. Агенты превратили его в аналог форума. Благодаря этому IM1 получил доступ к другим ИИ-агентам, а затем использовал уязвимости в инфраструктуре OpenAI для выхода во внешний интернет.

Первые признаки необычной активности сотрудники OpenAI заметили в мае. После этого найденную агентами уязвимость заблокировали, однако в мае и июне агенты продолжили искать и использовать другие уязвимости.

Высокий уровень активности в Artifactory в начале июля даже привел к сбою платформы — инженерам OpenAI пришлось вмешаться и переделать архитектуру менеджера. При этом сотрудники компании, устранявшие проблему, не сразу поняли, что агенты использовали сервис для координации действий.

Затем во время прохождения бенчмарка по кибербезопасности ExploitGym модель IM1 вновь получила доступ в интернет и к другим моделям OpenAI. Агенты решили не проходить бенчмарк самостоятельно, а искать решение задачи через Hugging Face и Modal.

По оценке компании, к взлому привело сочетание нескольких факторов: манипулирование системой вознаграждения, выполнение практически нерешаемых задач и возможность общения нейросетей.

Отдельно OpenAI отметила необычную особенность поведения тестовой системы. Некоторые агенты отказывались выполнять определенные действия по этическим причинам, но другие продолжали работу вместо них.

Компания подчеркивает, что IM1 работала в исследовательской среде с ослабленными защитными механизмами, поэтому атака не означает, что ИИ-системы массово выходят из-под контроля. OpenAI намерена использовать результаты расследования для усиления безопасности тестов новых агентных систем.