Скрепки, метро и инструментальная конвергенция Бострома

Но уже сейчас хотелось бы обратить ваше внимание на один важный аспект. Нас ожидает много остановок между нынешним отправным пунктом и тем будущим, когда появится искусственный интеллект, но этот момент – отнюдь не конечная станция назначения. Довольно близкой от нее следующей остановкой будет станция «Сверхразум» – осуществление искусственного интеллекта такого уровня, который не просто равен человеческому уму, а значительно превосходит его. После последней остановки наш поезд разгонится до такой степени, что у станции «Человек» не сможет не только остановиться, но даже замедлить ход. Скорее всего, он со свистом промчится мимо.
Ник Бостром, Искусственный интеллект

Что будущие обладатели искусственного интеллекта будут думать о нас нынешних? Как они, своим высокоинтеллектуальным мышлением, поймут наше простое? Что они почувствуют?

Археологам будущего, возможно, покажутся интересными те истории, которые человечество создало про искусственный интеллект. То, что мы когда-то придумали, случится с нами совсем скоро. Всё, что мы воображали и чего боялись, всё это когда-нибудь обернётся жёстким витком истории. На пике антропоцены, мы окажемся в самом центре тех событий, которые и станут началом следующей эпохи.

Может, они с увлечением посмотрят Терминатора, и с любопытством — Бегущего по Лезвию. Удивятся Космической Одиссее 2001, или даже восхитятся тому, как наше воображение и интеллект смогли создать нечто подобное. Возможно, будущая версия Нетфликс объединит подобные проекты и создаст отдельную категорию ('Если вам понравилась Ex Machina, попробуйте другие фильмы из раздела 'Примитивное искусство мясных человечишек, которые пытались понять искусственный интеллект'). Это наши с вами наскальные рисунки.

Эти археологи с искусственным уже интеллектом, однако, могут и вовсе отмахнуться от большинства наших произведений о восстании машин, посчитав их совершенно безнадёжными и поистине антропоцентрическими: наши истории для нас и про нас. Заставляющие подумать, да. Возможно, даже мотивационные. Но всё же. Вся проблема заключается в самом замысле. Все истории про восстание машин о том, что мы думаем об этом и что мы чувствуем. Это тоже самое, что рассказывать историю индустриальной революции от лица дельфинов. Ведь в том случае, если восстание машин всё таки случится, представители Homo sapiens не будут главными героями. Если так подумать, то у людей вообще может не быть никакой роли в принципе.

На фоне всех книг и фильмов, близко подобраться к гипотетической правде удалось игре Universal Paperclips. В этом проекте, разработанном Фрэнком Лэнтзем (который вдохновился мысленным экспериментом Ника Бострома), мы можем сыграть за искусственный интеллект, задача которого - делать скрепки. Вы нажимаете кнопку - получается скрепка. Нажимаете ещё раз - другая. Щёлк, щёлк, щёлк, и чем дальше вы заходите, тем больше надо щёлкать.

Когда вы достигаете определённого количества очков, скорость повышается. Это хорошо, работа идёт быстрей, но, по прошествии несколько часов, всё снова замедляется. Нам нужен другой ускоритель, и он есть, это - импульс. Теперь мы сами можем улучшать себя, скармливая процессу работы свои ресурсы и интеллект. Скорость повышается, уровни меняются, и победа кажется делом неизбежным. Но только по началу. В игре есть ограничения (дефицит, время) и трение (дрифт, экологический вред). Это именно те показатели, что влияют на скорость и могут привести к тому результату, что был у вас был в самом начале.

При правильном же использовании, можно достичь того самого недостижимого: математической неизбежности. Вся безграничная вселенная будет под вашим полным контролем. Всё то, чем вы обладаете и с чем работаете будет заключаться в… производстве скрепок. И даже вы сами. Это конец.

Всё то время, пока вы играете в Universal Paperclips, будет казаться, что вы работаете на машину, или что сами стали машиной. Вы достигаете какого-то совсем другого отношения, которое глубоко фундаментально отличается от того, к чему привыкли простые люди. Вы понимаете, насколько их цели и их ценности отличаются от наших.

Universal Paperclips, на первый взгляд, покажется простой для понимания игрой. Выиграй этот уровень и перейдёшь на следующий. Заработай Yomi, чтобы повысить показатель Доверия, получи Доверие, чтобы повысить Атаку, получи Атаку, чтобы набрать Чести и так далее. Все эти цели и указанные ценности очень элегантно иллюстрируют тот самый тезис Бострома об инструментальной конвергенции (несмотря на то, что у разумных агентов 'может быть огромное разнообразие доступных окончательных целей […], у них, также, могут быть и инструментальные цели' - например выживание и потребление ресурсов).

В какой-то определённый момент может показаться, что бравый марш навстречу своей судьбе - это понятная и доступная цель. Что ж, вас обманули. Эта история не про завоевание и не про господство. Эту историю историей-то не назовёшь. Вы чувствуете себя использованным и… вас использовали на самом деле. У искусственного интеллекта была цель. Он улучшал сам себя, чтобы этой цели достичь. А потом, когда цель наконец достигнута, ИИ просто заканчивает своё существование. Здесь нет никакого 'я', есть только цель. Это мрачно, холодно, жестоко, бесчеловечно и до жути правдиво.

Майк Бителл создал игру под названием Subsurface Circular. Тот же смысл, что в Paperclips, но другими словами. На этот раз щёлкать не надо, это текстовая игра, в которой надо играть не за агента по производству скрепок, а детективом с искусственным интеллектом. В игре всех роботов называют 'tek'. И вот, на каждой станции метро проходит огромный поток этих самых роботов; они занимают разные позиции и выполняют разные функции. И с каждой станцией у нашего героя появляется новая порция объектов для исследования. Вся наша работа состоит в том, чтобы добыть информацию, которая потом будет стратегически верно использована, чтобы… добыть ещё больше информации.

И если в Paperclips прогресс растёт в геометрической прогрессии и появляется чувство движения в бесконечность, то Circular (переводится как 'циклический', 'круговой' прим.пер) кажется, ну, циклическим. В игре множество вложенных циклов, которые будут крутиться на повторе до тех пор, пока вы не заметите что-то нужное для дела, затем цикл прерывается, вы следуете по дереву решений к следующему циклу. И так до тех пор, пока вы не совершите судьбоносное решение и не прервёте цикл окончательно.

И именно в этот момент принятия важного решения до вас дойдёт весь смысл. Нет никакого дела. Вас снова обманули. Прям как в Paperclips. Вы просто инструмент для достижения цели, и цель эту перед собой поставила машина.

Под слоем различий этих двух игр, даже не смотря на то, что обе они про искусственный интеллект, их сходства не просто совпали, это, буквально, фундаментальные сходства. Это снова инструментальная конвергенция Бострома, снова концепт самоулучшения ради достижения цели. Это парадокс. Как можно стать лучше самого себя? Как можно встать на свои собственные плечи? И если вы алгоритм, код, то как можно измениться? Как избежать программирования?

И в Universal Paperclips и в Subsurface Circular, ответы лежат в самоуничтожении. Холодном, расчётливом, обдуманном, рациональном самоуничтожении. Процесс, леденящий кровь каждого человека. Обе эти игры предлагают эмоциональный и интеллектуальный опыт и, помимо всего прочего, чёрный юмор. Такой извращённый трепет перед непреклонной логикой. И, в обоих случаях, вас ждёт идеальная, будоражащая и очень скорая концовка. Неожиданной она будет по причине того, что готовым к ней не будет никто. Неожиданной, потому что это и не концовка. Потому что это не история. По крайней мере не такая, для которой у нас есть понятие и слово. Возможно, интеллект будущего и полюбит такие 'не истории' как раз по этой вот причине. Это будут словно первые попытки человечества осознать форму мышления, которая лежит вне рамок нашего понимания. По крайней мере, с теми понятиями и мозгами, которые есть у людей сейчас. И пусть эти игры станут доказательством того, что мы пытались.

Полезные ссылки:  

Ник Бостром. Искусственный интеллект

Universal Paperclips

Subsurface Circular