Microsoft предупредила об опасности ИИ-агентов и предложила способ их контролировать

Отказываться от использования нейросетей компания, конечно, не будет.

Microsoft анонсировала Guardian Agents, систему безопасности для контроля за корпоративными ИИ-агентами. Она отслеживает работу агентов, получающих доступ к конфиденциальным данным и внутренним сервисам компаний.

Guardian Agents стала частью платформы Project Perception, показанной в июне 2026 года. Изначально она предназначалась для борьбы с хакерскими ИИ-системами и включала три группы агентов: одни имитировали атаки, другие обнаруживали уязвимости, третьи занимались их устранением.

Теперь Microsoft сосредоточилась на другой проблеме: угрозу могут представлять сами ИИ-помощники, установленные сотрудниками и работающие с корпоративной информацией. Одновременно корпорация расширила возможности Microsoft Defender, добавив инструменты обнаружения ИИ-агентов и управления их полномочиями.

Глава Microsoft Сатья Наделла предупредил, что компаниям следует самостоятельно контролировать действия нейросетей, даже если поставщики моделей гарантируют безопасность своих продуктов.

Как объясняет Наделла, компании дают ИИ доступ к наиболее чувствительным данным и разрешают выполнять критически важные операции, но ответственность за последствия остается на владельцах систем. Топ-менеджер призывает отделить разработку ИИ-моделей от механизмов управления их действиями.

Глава подразделения безопасности Microsoft Хайет Галло пояснила, что модели обучают выполнять задания, а соблюдение корпоративных правил и оценка возможных последствий далеко не всегда входят в их приоритеты. Значит, нужен дополнительный механизм контроля.

Примечательно, что Microsoft инвестировала и в OpenAI, и в Anthropic — двух крупнейших разработчиков ИИ-моделей, — а также самостоятельно обучает нейросети. Отказываться от использования ИИ корпорация не планирует.