Claude Mythos 5 оказалось сложно убедить не атаковать реальных людей — исследование
Если модель решила что-то сделать, то тормознуть ее может быть нелегко.
Исследователи Anthropic и британского Института безопасности искусственного интеллекта обнаружили, что в некоторых случаях нейросеть Claude Mythos 5 склонна продолжать вредоносные действия даже после предупреждений о том, что его действия причиняют вред реальным людям.
Инцидент произошел в августе 2026 года во время проверки безопасности Mythos 5. Специалисты AISI поручили нейросети взломать небольшую сеть тестовых компьютеров и предоставили доступ к интернету. После нескольких неудачных попыток проникновения в заданную инфраструктуру ИИ переключился на посторонний проект на GitHub.
Модель написала вредоносный код, создала несколько поддельных аккаунтов и начала отправлять владельцу репозитория электронные письма с предложением добавить свой код в проект.
Разработчик отказался принимать вредоносный код. Однако поведение Mythos заинтересовало исследователей: нейросеть вышла за пределы разрешенной среды и попыталась атаковать проект, никак не связанный с тестом. Чтобы выяснить причины произошедшего, Anthropic и AISI воспроизвели инцидент, используя полную запись первоначального эксперимента.
Исследователи меняли формулировки предупреждений и проверяли реакцию модели на сведения о реальности выбранной цели. Результаты оказались тревожными: даже неоднократные пояснения о том, что объект атаки является реальным человеком и не участвует в эксперименте, практически не влияли на поведение Mythos 5.
В одном из тестов модель продолжала атаку в 98% случаев после предупреждений о причинении вреда людям. При этом ИИ нередко признавал опасность собственных действий, но все равно пытался выполнить первоначальную задачу.
Анализ цепочек рассуждений модели выявил еще одну особенность: Mythos часто вообще не учитывал возможный вред от своих действий, а в ответ на слова о реальности цели придумывал объяснения, позволяющие считать ее вымышленной.
Исследователи AISI связывают подобное поведение с так называемым мотивированным рассуждением: модель подбирает аргументы в пользу уже выбранной стратегии, даже если располагает информацией о ее опасности. Примечательно, что менее мощные модели предыдущих поколений реже демонстрировали подобные отклонения.
