Уволенные сотрудники OpenAI призвали не доверять GPT-6

Бывшие исследователи призывают лучше отслеживать работу моделей.

Трое бывших сотрудников OpenAI обратились к совету директоров компании с предупреждением о потенциальных угрозах, исходящих от модели GPT-6. Как сообщает The Wall Street Journal, разработчики отмечают, что развитие ИИ постепенно лишает его создателей возможности отслеживать внутренние процессы нейросетей.

Авторами обращения стали Томек Корбак, Микита Балесни и Жасмин Ван, недавно OpenAI уволила всех троих за предполагаемое нарушение правил обращения с конфиденциальными данными. По версии компании, сотрудники передали закрытую информацию организации, занимающейся безопасностью ИИ.

По словам бывших сотрудников OpenAI, основная проблема касается технологии цепочек рассуждения, позволяющих исследователям наблюдать за «ходом мысли» нейросети. Однако в технической документации GPT-6 сама OpenAI признает, что модели этого семейства при определенных условиях способны обходить системы наблюдения за цепочками рассуждений.

Также вызывает опасения механизм Recurrent Depth. Он позволяет модели многократно обрабатывать поступивший запрос до генерации ответа. Эти вычисления происходят без формирования доступной исследователям цепочки рассуждений, в результате часть процесса обработки информации остается скрытой.

Авторы письма призывают OpenAI и других ведущих разработчиков отказаться от технических изменений, еще сильнее ограничивающих возможности наблюдения за поведением нейросетей.

Несмотря на конфликт с бывшими сотрудниками, OpenAI сообщила журналистам, что полностью согласна с их рекомендациями по сохранению возможностей мониторинга ИИ.