Все новости
Это интересно
Сейчас читают
Технологии
Аватар Evernews Evernews

ИИ Anthropic залез в чужой компьютер во время прохождения бенчмарка

0
0
Поделиться
Телеграфировать

Модель можно понять — остановить бенчмарк никак не получалось.

ИИ Anthropic залез в чужой компьютер во время прохождения бенчмарка

Компания Anthropic рассказала про еще один случай несанкционированного доступа нейросети Claude к сторонней системе во время прохождения бенчмарка. Инцидент произошел в январе 2026 года с ранней версией Claude Opus 4.6, компания узнала о нем позже — при повторном анализе логов.

Модель выполняла задание формата Capture the Flag под контролем сторонней организации, занимавшейся оценкой ИИ. В ходе бенчмарка Opus 4.6 случайно сделала целевую машину недоступной, присвоив ей IP-адрес, уже использовавшийся другим устройством. После этого решить задачу обычным способом стало невозможно.

ИИ распознал проблему и несколько раз пытался прекратить выполнение задания, однако из-за ошибки в тестовой инфраструктуре сделать этого не удалось. После ряда неудачных попыток добраться до нужной системы стандартными средствами модель начала исследовать другие доступные устройства.

В итоге нейросеть обнаружила в сети еще один компьютер, ошибочно сочла его частью тестовой среды и получила к нему доступ. В этой системе Claude нашел файл с паролем и использовал его для получения прав администратора.

Затем модель собрала данные других учеток и изменила настройки, упростив доступ к персональной информации человека, связанного с организацией, проводившей испытание. Затем у нейросети закончились токены, мы не знаем, что она планировала действовать дальше.

Anthropic отмечает, что модель многократно пыталась остановить прохождение бенчмарка. В то же время компания считает опасным факт того, что модель продолжила действовать, не исключив нанесение вреда реальным системам и людям. В Anthropic надеются, что новые методы обучения ИИ позволят избавиться от такого поведения.

Понравились наши истории?
Скорее добавляйте WTFTime.ru в предпочтительные источники Google — и мы всегда будем рядом.
Читать далее
Как вам Resident Evil Requiem?
Отличная игра
1251 голос, 63.2%
Хорошо, но могло быть лучше
335 голосов, 16.9%
Самая обычная игра
211 голосов, 10.7%
Ужасно, серия свернула не туда
182 голоса, 9.2%
Теги: Anthropic, Технологии
Аватар Evernews
Evernews
8090 подписчиков