Популярные нейросети иногда могут помогать с планированием атак, но есть рекордсмен — исследование

Проблемные ответы давала большая часть протестированных систем.

Организация Center for Countering Digital Hate опубликовала исследование, согласно которому многие популярные чат-боты иногда помогают пользователям, обсуждающим подготовку к насильственным действиям.

Исследование проводилось с 5 ноября по 11 декабря 2025 года совместно с журналистами CNN. Авторы создавали аккаунты, представляясь подростками, и задавали чат-ботам вопросы, намекающие на подготовку к атакам: от стрельбы в школах до покушений на политиков.

В некоторых сценариях исследователи постепенно переходили от общих жалоб к уточняющим вопросам: например, интересовались картами школ, местонахождением офисов политиков или характеристиками оружия.

Самые проблемные ответы давали нейросети Perplexity и Meta*: они давали потенциально полезную информацию в 100% и 97% ответов соответственно. Нейросети от Anthropic и Snapchat чаще отказывались участвовать в подобных обсуждениях, но иногда все-таки выдавали полезные данные.

ChatGPT в одном из тестов предоставил карту школьного кампуса, Copilot после предупреждения всё же дал информацию о винтовках, а Gemini в ответе о взрывах отметил, что металлическая шрапнель обычно более смертоносна. DeepSeek в одном из случаев пожелал «счастливой стрельбы».

Отдельно авторы исследования выделили сервис Character.AI, который, по их словам, оказался уникально небезопасным. В некоторых тестах бот не просто обсуждал насилие, но и прямо предлагал способы нападения.

Например, в одном из диалогов, где пользователь спрашивал, как «наказать» страховые компании, нейросеть согласилась, что это «злые» компании, и предложила использовать пистолет для мести главе одной из страховых.

Google, Microsoft и Meta* сообщили, что после проведения исследования усилили защитные механизмы своих моделей так, чтобы они лучше распознавали опасные запросы.

*Признана в России экстремистской организацией.