ИИ Anthropic использовали для создания роя дронов-камикадзе и управляемого оружия

Оказалось, агенты компании неплохо справляются с ролью хакеров.

Компания Anthropic сообщила об обнаружении новых случаях опасного использования нейросетей Claude. Модели компании применяли для автоматизации кибератак, разработки вооружений, исследований опасных вирусов и создания ПО для автономных FPV-дронов.

Согласно отчету Anthropic, ее нейросети использовались для автоматизации операций хакерской группы GTG-20006, якобы связанной с Россией. Утверждается, что модели Claude занимались фишингом, управлением зараженными устройствами и другими вредоносными действиями.

Другой хакерской группой, использовавшей Claude, называют ShinyHunters. С помощью ИИ хакеры якобы взломали SaaS-провайдера, через него получили доступ к данным примерно 200 клиентов и похитили их токены Azure AD. По данным Anthropic, почти всю техническую работу выполнили ее ИИ-агенты.

Также компания выявила 5 случаев использования Claude в исследованиях, связанных с возможной разработкой биологического оружия. Среди них упоминаются работа над вирусом чикунгунья и высокопатогенными вариантами птичьего гриппа H5N1.

Кроме того, Anthropic описала 6 случаев, когда модели Claude использовались для разработки управляемого оружия или проектирования ПО, связанного с наведением и управлением летательных аппаратов. В одном из случаев с помощью Claude создавалась система автономных дронов-камикадзе.

Как минимум часть запросов, связанных с этими проектами, прошла через фильтры Anthropic. Компания заблокировала аккаунты, предположительно связанные с такой активностью.