Исследователь Anthropic допустил гибель человечества из-за ИИ в ближайшие 10 лет

Сотрудник компании уволился из-за страха перед гонкой за сверхинтеллектом

Старший исследователь Anthropic по безопасности искусственного интеллекта Эван Хубингер заявил, что вероятность гибели всего человечества из-за ИИ в течение ближайшего десятилетия превышает 10%.

Такая оценка прозвучала после ухода из Anthropic Джейкоба Коксона, обвинившего крупнейшие ИИ-компании в слишком рискованной гонке за создание искусственного интеллекта сверхчеловеческого уровня.

Коксон занимался обучением ИИ в Anthropic, а до того - в OpenAI. Объявляя об увольнении, он заявил, что компании на всех парах несутся к самосовершенствующемуся сверхинтеллекту и играют нашими жизнями, хотя сами разработчики испытывают серьезные опасения насчет последствий появления такого ИИ.

Хубингер, возглавляющий одну из команд Anthropic по безопасности ИИ, согласился с опасениями Коксона. По его словам, развитие самосовершенствующихся систем происходит быстрее, чем ожидалось.

При этом у Anthropic, по словам Хубингера, пока нет плана, способного гарантировать безопасность передового ИИ и его соответствие человеческим ценностям. Работы по созданию такого плана, видимо, не ведутся.