OpenAI займется обузданием супер-ИИ

Для этого стартап создаст специальную команду с серьезными ресурсами.

Кстати, на сайте читать удобнее

Стартап OpenAI, специализирующийся на исследованиях в области искусственного интеллекта, создаст команду для обуздания сверхразумного ИИ. Эта команда должна придумать, как контролировать супер-ИИ.

Руководителями команды по контролю за супер-ИИ станут Илья Суцкевер, главный научный сотрудник OpenAI, и Ян Лейке, глава отдела по контролю за ИИ исследовательской лаборатории OpenAI.

Сверхразумным ИИ в компании называют искусственный интеллект, который окажется умнее даже самого умного человека. Пока такой ИИ отсутствует, но в OpenAI допускают, что он будет создан в ближайшее десятилетие.

В рамках проекта исследователи намерены решить несколько проблем. Например, предстоит создать масштабируемый метод обучения ИИ околочеловеческого уровня, придумать систему поиска проблемного поведения и разработать систему контроля обобщений.

Кроме того, планируется заняться обучением заведомо «несогласованных» моделей, принимающих неверные решения. С помощью этих моделей будет тестироваться система обнаружения некорректного поведения ИИ.

Ожидается, что созданные инструменты не позволят супер-ИИ выйти из-под контроля людей. Эти инструменты могут быть использованы и для контроля других, менее разумных ИИ.

Стартап намерен работать на опережение: методы и инструменты контроля сверхразумного ИИ должны быть выработаны за ближайшие четыре года. Команда, занимающаяся этим вопросом, получит 20% вычислительных мощностей OpenAI.