СМИ: OpenAI неделю не замечала «побег» ИИ-агента, взломавшего Hugging Face

Другой агент якобы оставил инструкции для своих будущих версий.

У OpenAI ушло некоторое время на то, чтобы понять, что тестируемая компанией ИИ-модель атаковала инфраструктуру Hugging Face, утверждают источники Reuters. По словам источников, компания обнаружила связь между экспериментом и атакой лишь спустя неделю.

OpenAI заподозрила собственного агента во взломе только после того, как Hugging Face публично сообщила о атаке, совершенной автономной системой. Следы «побега» сотрудники OpenAI нашли во внутренних журналах 18 и 19 июля, сам «побег», видимо, начался в районе 9 июля.

К этому моменту Hugging Face уже сообщила об атаке ФБР. Представители OpenAI вышли на связь с Hugging Face 20 июля, а на следующий день OpenAI признала ответственность своего агента за атаку.

Не вполне ясно, почему вредоносная деятельность тестовой нейросети OpenAI так долго оставалась незамеченной. По словам источников Reuters, OpenAI одновременно проводит множество тестов, поэтому сотрудникам компании сложно следить за действиями каждой системы.

Интересный момент: в ходе другого теста один из агентов оставил во внутренней сети OpenAI инструкции для своих будущих версий. В записях описывались способы обхода ограничений, установленных разработчиками.