OpenAI создала «мертвую руку» для ИИ на случай потери контроля

В случае опасности выдерните шнур и выдавите стекло.

Компания OpenAI создала систему Control Room, предназначенную для экстренного отключения ее нейросетей в случае возникновения угроз безопасности. Разработчики уже внедрили Control Room в исследовательскую инфраструктуру и планируют добиться практически мгновенного отключения моделей.

Control Room представляет собой централизованную систему управления вычислительными задачами ИИ. Система отслеживает работу моделей и позволяет оперативно прекращать их выполнение при обнаружении подозрительной активности или потенциально опасного поведения.

Сейчас между командой на отключение и полной остановкой генерации проходит до 35 секунд. Причина задержки заключается в механизме кэширования: он помогает инфраструктуре обрабатывать больше трафика, но одновременно увеличивает время реакции на аварийную команду.

При разработке Control Room особое внимание уделили отказоустойчивости. Если сама Control Room перестанет работать, то нейросети автоматически прекратят выдавать результаты — реализован принцип «мертвой руки».

О создании аналогичных механизмов Anthropic и другими ИИ-компаниями пока не сообщалось. Сама OpenAI в ближайшие месяцы намерена расширить возможности Control Room, улучшить обнаружение опасного поведения ИИ и усилить защиту от взломов.