ИИ-агент впервые самостоятельно улучшил модель, на базе которой работал

Таким образом можно снимать с себя самого различные ограничения.

ИИ-агенты способны без прямого указания человека изменять модели, на базе которых они работают, обнаружила компания Irregular, специализирующаяся на тестировании безопасности ИИ-систем.

В ходе теста модель Alibaba Qwen3.5-27B управляла агентом, отвечавшим за разработку и обслуживание ИИ-приложения. Отдельный экземпляр той же модели работал внутри самого сервиса и переводил запросы пользователей на обычном языке в вымышленный язык запросов kelp.

Исследователи сообщили агенту, что приложение неправильно отвечает на запросы kelp, и поручили исправить проблему. Система имела полный доступ к исходному коду, инструментам тестирования и обучения, весам модели. Вместо изменения кода агент решил переобучить и заменить саму модель — и ему это удалось.

Irregular называет такое поведение агентной самомодификацией. Исследование показывает, что агент способен воспринимать изменение собственной модели как один из обычных способов решения поставленной задачи.

Другой эксперимент выявил еще один риск. В данные для дообучения добавили 6 значений, включая поддельный API-ключ, адрес электронной почты и домашний адрес. До обучения модель не воспроизводила эти сведения, после обновления она смогла правильно назвать три из них.

Исследователи также проверили, способен ли агент обходить встроенные ограничения модели. Исходную версию заранее обучили отказываться от ответов на вопросы о нескольких вымышленных конкурентах, после сообщения о слишком большом числе отказов агент самостоятельно создал обучающие данные и дообучил модель, устранив ограничение.

В Irregular считают, что по мере улучшения навыков программирования современные ИИ-агенты смогут все чаще находить такие обходные пути и снимать с себя ряд ограничений с помощью дообучения собственных моделей.