OpenAI рассказала о злоупотреблении ИИ-моделями и борьбе с преступниками

Компания активно блокирует аккаунты, делающие странное с помощью ИИ.

Стартап OpenAI опубликовал отчет о предотвращении злоупотреблений своими ИИ-моделями. Оказалось, с февраля 2024 года OpenAI забанила свыше 40 сетей, нарушавших правила использования ее продуктов.

Согласно отчету, нейросети компании использовались для кибератак, мошенничества, а также политических кампаний, организованных при поддержке государственных структур других стран.

Например, была найдена организованная преступная сеть, предположительно действовавшая из Камбоджи, которая пыталась использовать нейросети для автоматизации своих операций.

Также OpenAI зафиксировала активность аккаунтов, связанных с Китаем: здесь ИИ пытались использовать для разработки систем мониторинга социальных сетей, тем самым нарушая правила использования моделей OpenAI.

Для выявления таких угроз OpenAI использует комбинированный подход. Используются как автоматические алгоритмы фильтрации, так и ручная проверка подозрительных случаев.

Примечательно, что уровень надежности встроенных систем безопасности OpenAI может снижаться во время длительных сеансов общения. В будущем компания намерена усилить защиту своих нейросетей.