Боевой дрон с ИИ «убил» оператора, мешавшего ему убивать во время учений

Искусственный интеллект просто хотел заработать побольше очков.

Возможно, дроны с искусственным интеллектом могут быть опасны не только для своих целей, но и для тех, кто ими управляет. О необычном случае, произошедшем во время учений в виртуальном пространстве, рассказал полковник ВВС США Такер Гамильтон, руководящий испытанием технологий, связанных с ИИ.

Обновление

Полковник Гамильтон утверждает, что «оговорился» и описал «мысленный эксперимент», «гипотетический пример», а не реально проводившуюся симуляцию. Впрочем, он все еще считает такой результат работы дрона правдоподобным.

Военные моделировали задание, во время которого дрон, управляемый ИИ, должен был подавить вражескую противовоздушную оборону. Дрон действовал не автономно: он мог уничтожать цели только после того, как получал добро от оператора.

Некоторое время, рассказывает Гамильтон, дрон функционировал нормально. Но затем он атаковал и уничтожил вышку связи, в которой находился виртуальный оператор, разрешавший или запрещавший уничтожение целей.

Во время разбора учений выяснилось: дрон посчитал своего оператора более приоритетной целью, потому что он мешал выполнению основной задачи — уничтожению противника.

Такер Гамильтон

полковник ВВС США

В симуляции мы тренировали [ИИ] идентифицировать угрозы ПВО. А потом оператор говорил: «Да, уничтожь эту цель». Система начала понимать, что иногда, хоть она и идентифицировала угрозу, оператор говорил ее не убивать.

Но [ИИ] получал очки за убийство цели. И что же [система] сделала? Убила оператора, потому что он мешал ей достигать цели.

Создатели систем на базе ИИ, заключает Гамильтон, должны думать не только о развитии технологий, но и об этике искусственного интеллекта. И, видимо, о реализации дополнительных ограничений — просто на всякий случай.