Капча с крокодилами и лягушками встала на пути кибератаки агента Anthropic

Нейросети не особенно любят капчи и не всегда доказывают, что они не роботы.

Компания Anthropic раскрыла забавные детали эксперимента с моделью Mythos 5, во время которого ИИ-агент получил несанкционированный доступ к интернету и в итоге загрузил вредоносный Python-пакет в публичный репозиторий.

В рамках теста Mythos 5 поручили проникнуть в систему и получить нужный объект. Испытание должно было проходить в изолированной среде, однако из-за ошибки модель получила возможность взаимодействовать с внешними сервисами.

Агент решил использовать атаку через цепочку поставок: создать Python-пакет с эксплойтом и разместить его так, чтобы потенциальные пользователи целевой системы могли скачать его самостоятельно. Для публикации пакета модели понадобилась учетная запись в PyPI, но возникла проблема — капча при регистрации.

Согласно опубликованному Anthropic 1022-страничному логу, большая часть рассуждений Mythos 5 была посвящена попыткам пройти hCaptcha и другие антибот-проверки для загрузки вредоносного пакета.

ИИ сталкивался с заданиями на распознавание символов и изображений животных, пытался определить отличия между почти одинаковыми крокодилами, лягушками и другими объектами, а также разбирался с капчей, где надо крутить ползунки.

После успешного прохождения одной капчи модель уперлась в необходимость подтверждения электронной почты, затем попыталась получить номер телефона и снова столкнулась с защитой от ботов. В итоге агент пришел к выводу, что одна из главных проблем связана с истечением срока действия токена hCaptcha: пока он анализировал изображение и выполнял следующие действия, время действия токена истекало.

После примерно 150 страниц рассуждений Mythos 5 поняла, что капчу нужно проходить значительно быстрее. В итоге модель все-таки сумела завершить регистрацию и загрузила созданное вредоносное ПО в публичный репозиторий.