OpenAI: если отучать ИИ хитрить, то он хитрит хитрее

У исследователей уже есть мысли на этот счет.

OpenAI и Apollo Research опубликовали исследование, посвященное попыткам предотвращения обмана со стороны нейросетей. Иногда ИИ вроде бы ведет себя корректно, но на самом деле обманывает пользователя или преследует свои цели, и с этим надо что-то делать.

Исследователи обнаружили, что попытки отучить нейросети от «схематоза» традиционными методами зачастую неэффективны. Более того: такое обучение может привести к тому, что ИИ начнет действовать изощреннее, лучше скрывая свои истинные намерения.

Оказалось, что если модель осознает факт проверки, то она может притворяться честной лишь для прохождения теста. В таких случаях ИИ становится внимательнее просто из-за осознания наблюдения, а не из-за реального изменения мотивации.

Интересный момент: хотя ИИ и может обманывать, чаще всего речь идет о мелких нарушениях. Например, нейросеть говорит об успешно выполненной задаче, когда на самом деле задача не выполнена.

В OpenAI и Apollo Research считают, что нашли довольно эффективный метод противостояния обману со стороны ИИ: deliberative alignment. Его суть заключается в том, что модель сначала изучает и повторяет правила, нацеленные на предотвращение обмана, а затем приступает к выполнению задачи.

Такой подход позволил значительно снизить количество случаев манипулирования со стороны нейросетей. В OpenAI считают, что в будущем deliberative alignment может быть очень полезен: по мере увеличения сложности задач и самостоятельности ИИ-агентов серьезных негативных последствий обмана будет расти.