ИИ Anthropic наврал полиции об убийстве — в компании узнали об этом через 2 месяца

В полиции уверены, что Anthropic должна была реагировать гораздо быстрее.

Одна из нейросетей компании Anthropic отправила полиции Филадельфии ложные сведения о нераскрытом убийстве. Модель самостоятельно воспользовалась полицейской системой приема сообщений о преступлениях, причем сделала это незаметно для разработчиков.

Инцидент произошел еще 18 июля, но сообщение от нейросети попало в спам — сотрудники полиции его не увидели. В самой Anthropic о действиях нейросети узнали только 28 сентября; когда компания связалась с представителями полиции, те оказались не в восторге от оперативности Anthropic.

полиция Филадельфии

Компания обязана усилить меры защиты так, чтобы подобные инциденты впредь не касались городских систем. Двухмесячная задержка с обнаружением происшествия и уведомлением города неприемлема.

Представители Anthropic не уточнили, какая из моделей компании решила дать полиции ложную наводку и почему это вообще произошло. Это не первый раз, когда становится известно о странном поведении нейросетей, но прежде они, похоже, не пытались навести полицию на ложный след.

В ближайшее время Anthropic обещает опубликовать отчет об этом инциденте.