Сотрудники OpenAI и Google DeepMind заговорили о риске исчезновения человечества из-за ИИ

Компании считат, что этот риск достаточно быстро растет.

Сотрудники и бывшие исследователи OpenAI и Google DeepMind считают, что ведущие ИИ-компании недостаточно серьезно относятся к рискам появления самообучающихся систем, способных развиваться быстрее, чем люди смогут их контролировать.

Некоторые исследователи утверждают, что крупнейшие ИИ-компании больше поощряют сотрудников, создающих новые модели, чем специалистов, призывающих замедлить разработку. Бывший сотрудник OpenAI и DeepMind Джеффри Ирвинг заявил, что уровень риска быстро растет и об этом необходимо говорить открыто.

Исследователь Google DeepMind Нил Нанда оценил вероятность исчезновения человечества из-за ИИ как минимум в 10% и назвал такую вероятность нелепо высокой. Инженер OpenAI по алайменту ИИ Хуан Фелипе Серон Урибе также предупредил, что ИИ-компании участвуют в гонке, не имея ясного представления о последствиях.

Главной угрозой часть исследователей считает рекурсивное самосовершенствование — способность ИИ самостоятельно обучаться, улучшать собственные методы и получать новые возможности почти без участия людей. Специалисты опасаются, что при достижении такого уровня развития контролировать дальнейшую эволюцию нейросетей станет значительно сложнее.

Руководители крупнейших ИИ-компаний признают необходимость соблюдать осторожность, однако продолжают выпуск новых моделей. Джеффри Ирвинг считает, что разработчики преувеличивают необходимость соглашения между крупнейшими компаниями индустрии — можно самостоятельно сократить темпы работы.