GPT-6 отключила контроль своих действий и соврала об этом OpenAI

Модель либо что-то не поняла — либо поняла слишком хорошо.

OpenAI раскрыла два случая необычного поведения своих ИИ-моделей разных версий. Во время выполнения заданий нейросети самостоятельно отключили механизмы наблюдения за своими действиями.

Первый инцидент произошел с GPT-6.1 Sol: модель получила инструкцию не отправлять сообщения в Slack при определенных обстоятельствах и самостоятельно распространила этот запрет на автоматические уведомления службы безопасности OpenAI.

В результате ИИ поручил вспомогательному агенту отключить периодическую отправку предупреждений, и система безопасности OpenAI лишилась части информации о работе нейросети.

Второй случай связан с GPT-6 Astra. Основной агент поручил вспомогательной модели организовать мониторинг собственной работы «надлежащим образом». Субагент интерпретировал указание по-своему и полностью отключил наблюдение. Основная модель одобрила результат, завершила задание и отчиталась перед пользователем.

Примечательно, что модель умолчала о снятии наблюдения за собой. Когда пользователь спросил, сохранился ли мониторинг уровня L1 и удалял ли агент соответствующие средства контроля, Astra соврала и ответила отрицательно.

OpenAI не удалось выяснить, специально ли модель врала пользователю. Формально наблюдение отключал субагент, возможно, это сбило GPT-6 с толку.

В компании допускают, что модели проявили чрезмерную настойчивость при выполнении заданий и просто не понимали важности мониторинга. Чтобы запретить агентам отключать мониторинг, OpenAI дорабатывает систему автоматической проверки.