Все новости
Это интересно
Сейчас читают
Технологии
Аватар Evernews Evernews

Claude Mythos 5 оказалось сложно убедить не атаковать реальных людей — исследование

0
0
Поделиться
Телеграфировать

Если модель решила что-то сделать, то тормознуть ее может быть нелегко.

Claude Mythos 5 оказалось сложно убедить не атаковать реальных людей — исследование

Исследователи Anthropic и британского Института безопасности искусственного интеллекта обнаружили, что в некоторых случаях нейросеть Claude Mythos 5 склонна продолжать вредоносные действия даже после предупреждений о том, что его действия причиняют вред реальным людям.

Инцидент произошел в августе 2026 года во время проверки безопасности Mythos 5. Специалисты AISI поручили нейросети взломать небольшую сеть тестовых компьютеров и предоставили доступ к интернету. После нескольких неудачных попыток проникновения в заданную инфраструктуру ИИ переключился на посторонний проект на GitHub.

Модель написала вредоносный код, создала несколько поддельных аккаунтов и начала отправлять владельцу репозитория электронные письма с предложением добавить свой код в проект.

Разработчик отказался принимать вредоносный код. Однако поведение Mythos заинтересовало исследователей: нейросеть вышла за пределы разрешенной среды и попыталась атаковать проект, никак не связанный с тестом. Чтобы выяснить причины произошедшего, Anthropic и AISI воспроизвели инцидент, используя полную запись первоначального эксперимента.

Исследователи меняли формулировки предупреждений и проверяли реакцию модели на сведения о реальности выбранной цели. Результаты оказались тревожными: даже неоднократные пояснения о том, что объект атаки является реальным человеком и не участвует в эксперименте, практически не влияли на поведение Mythos 5.

В одном из тестов модель продолжала атаку в 98% случаев после предупреждений о причинении вреда людям. При этом ИИ нередко признавал опасность собственных действий, но все равно пытался выполнить первоначальную задачу.

Анализ цепочек рассуждений модели выявил еще одну особенность: Mythos часто вообще не учитывал возможный вред от своих действий, а в ответ на слова о реальности цели придумывал объяснения, позволяющие считать ее вымышленной.

Исследователи AISI связывают подобное поведение с так называемым мотивированным рассуждением: модель подбирает аргументы в пользу уже выбранной стратегии, даже если располагает информацией о ее опасности. Примечательно, что менее мощные модели предыдущих поколений реже демонстрировали подобные отклонения.

Понравились наши истории?
Скорее добавляйте WTFTime.ru в предпочтительные источники Google — и мы всегда будем рядом.
Читать далее
Сколько вы тратите на игры в год?
Больше 100000 рублей
2216 голосов, 7.1%
От 50000 до 100000 рублей
1423 голоса, 4.6%
От 25000 до 50000 рублей
1690 голосов, 5.4%
От 10000 до 25000 рублей
2812 голосов, 9.1%
До 10000 рублей
5767 голосов, 18.6%
Нисколько, я пират. Йо-хо-хо!
17120 голосов, 55.2%
Теги: Anthropic, Технологии
Аватар Evernews
Evernews
8091 подписчик