Конец времен, общий искусственный интеллект в качестве Спасителя, его создатели в роли апостолов, возвещающих вечное блаженство оцифрованных душ в облачном раю, – новая старая апокалиптика опять на коне, владея умами верующих в то, что все экзистенциальные проблемы человечества, и в первую очередь смерть, можно преодолеть с помощью технологий. Правда, если Технобог окажется недобр, всё погрузится в ад, но готовых рискнуть достаточно. О том, почему этот известный нарратив вновь актуален, и нужен ли человечеству такой вариант спасения, рассуждает журналист Vox Сигал Самуэль.
То, что христианская эсхатология и энтузиазм обитателей Силиконовой долины по поводу спасительных (во всех смыслах) возможностей общего искусственного интеллекта (ОИИ) удивительно схожи, Самуэль, по ее собственным словам, заметила несколько лет назад, став регулярно посещать проводившиеся там конференции. Поначалу она предположила, что этому есть простое психологическое объяснение: «И то, и другое было ответом на основные человеческие тревоги: нашу смертность; сложность суждения о том, правильно мы поступаем или нет; непостижимость смысла нашей жизни и конечного места во вселенной – этой или следующей. Религиозные мыслители и философы ИИ просто нашли схожие ответы на вопросы, которые мучают всех нас».
Однако связь оказалась гораздо глубже. «Переплетение религии и технологий имеет многовековую историю, несмотря на то, что люди говорят вам, что наука нейтральна по отношению к ценностям и отделена от таких вещей, как религия, – говорит Роберт Джерачи, профессор религиоведения в Манхэттенском колледже и автор книги “Апокалиптический ИИ”. – Это неправда. И никогда правдой не было».
Если пунктиром наметить развитие концепции техноспасения, то отправной точкой, согласно историкам, можно считать раннее Средневековье, когда христианские мыслители выдвинули радикальную идею о том, что технологии могут вернуть человеку совершенство Адама до грехопадения, превратившего его в «жалкий мешок с мясом», подверженный страданиям и смерти. Так, влиятельный богослов Иоанн Скот Эриугена (IX век) настаивал на том, что исходное богоподобие Адама среди прочего предполагало его способность быть творцом и создателем, и соответственно на эти аспекты самого себя человеку необходимо было опираться для восстановления своей поврежденной грехом природы. Он писал, что «механические искусства» (иными словами, технологии) были «связями человека с Божественным, а их развитие – средством спасения».
Эта идея, по словам Самуэль, превратила некоторые средневековые монастыри в очаги инженерной мысли, а католическую церковь – в своеобразную Силиконовую долину Средневековья, ответственную за всё – «от металлургии, мельниц и нотной записи до широкомасштабного внедрения часов и печатного станка». При этом она отмечает, что это не были технологии ради технологий или ради прибыли: «Вместо этого технический прогресс стал синонимом прогресса морального. Восстановив первоначальное совершенство человечества, мы могли бы возвестить Царство Божье». Или, как пишет в своей книге «Религия технологий» историк Дэвид Ноубл, «технология стала отождествляться с трансцендентностью, как никогда прежде вовлеченной в христианскую идею искупления».
Подобное слияние технического и морального прогресса сформировало следующие поколения христианских мыслителей вплоть до современности. Так, Фрэнсис Бэкон (вт. п. XVI – н. XVII вв.) считал, что однажды мы будем использовать технологии, чтобы преодолеть нашу смертность «во славу Творца и для облегчения человеческого состояния». А через три века Пьер Тейяр де Шарден, французский священник-иезуит, высказал идею о том, что человеческая эволюция, подталкиваемая технологиями, на самом деле является средством достижения Царства Божьего и что слияние людей и машин приведет к «состоянию сверхсознания» («точка Омега»), в котором мы сольемся с божественным и станем новым видом. Его друг и популяризатор его идей – биолог-эволюционист Джулиан Хаксли – в середине ХХ столетия века назвал это «трансгуманизмом».
И спустя еще полвека – уже в наше время – футуролог Рэй Курцвейл, по сути, повторил предсказание о слиянии человеческого интеллекта с машинным (обозначив этот момент как «сингулярность»), что невероятно умножит возможности вида: «Человеческий вид вместе с созданными им вычислительными технологиями сможет решать извечные проблемы… и будет в состоянии изменить природу смертности в постбиологическом будущем» («Век духовных машин», 1999).
Понимание религиозных истоков современного нарратива о техноспасении очень важно по нескольким причинам. Во-первых, вопросы веры, как правило, являются сердцевиной личной и коллективной идентичности, что в худших случаях приводит к бескомпромиссности и фанатизму – способности на всё «во славу Божию». «Всякий раз, когда мы говорим о чем-то религиозном, в этом присутствует элемент священного. А его наличие может открывать дорогу злу, поскольку, если что-то священно, ради него возможно совершение самых страшных вещей, – поясняет Эльке Шварц, политолог из Лондонского университета королевы Марии и специалист по этике военного ИИ. – Мы должны быть осторожны с тем, в какие нарративы мы верим».
Во-вторых, знание истоков идей, например, «виртуальной загробной жизни как способа спасения или морального прогресса, понимаемого как прогресс технологический» позволяет, по мнению Самуэль, увидеть то, что «они не являются неизменными или неизбежными»: «Определенные люди придумали их в определенное время для достижения определенных целей, но есть и другие идеи, если мы захотим их рассмотреть. Нам не обязательно становиться заложниками опасностей единственного нарратива».
Кроме того, это важно еще и потому, что многие современные адепты создания ОИИ не осознают религиозной основы своего культа. И хотя, по словам Самуэль, есть отдельные прозрения, как в случае с Джеком Кларком, соучредителем занимающейся ИИ-безопасностью компании Anthropic, который отметил, что «большой энтузиазм по поводу ОИИ – это неуместные религиозные импульсы людей, выросших в светской культуре». В основном же сторонники техноэсхатологии – от Сэма Альтмана, генерального директора OpenAI, создателя ChatGPT, до Илона Маска, надеющегося связать человеческий мозг с компьютерами, – считают свои идеи исключительно светскими. «Они либо не осознают, либо не хотят признать, что образ будущего, который они продают, во многом черпает свою силу из связи с вековыми религиозными идеями», – говорит Самуэль.
Конечно, у концепции вечной жизни в цифровом формате и ОИИ как гипотетически разумной системе, способной решать на человеческом уровне подавляющее большинство проблем, судить с математической точностью, что хорошо, а что нет, и в итоге приводящей человечество либо к спасению (в лучшем случае) либо к гибели (в худшем), есть много критиков. В том числе среди инженеров-разработчиков, которые и указывают на то, что создание ОИИ может стать губительным для человечества. И тогда возникает вопрос, зачем его создавать, если такой риск есть? Не лучше ли ограничиться более «узким» ИИ, способным «творить чудеса» в отдельных сферах, например, в лечении болезней?
Объяснить, почему всё-таки ставка делается на столь рискованный ОИИ, могут, по словам Самуэль, доминирующие в Силиконовой долине три основные концепции – трансгуманизм, эффективный альтруизм и долгосрочность, – которые, несмотря на свою внешнюю светскость, по сути, являются религиозными идеями.
Так, о религиозных истоках трансгуманизма уже упоминалось. И хотя, например, оксфордский философ Ник Бостром акцентирует внимание на том, что трансгуманизм отличается от религии опорой на «критический разум и наши лучшие имеющиеся научные доказательства». Об обратном свидетельствуют не только идеи Курцвейла с новозаветными аллюзиями, но и фактически новые культы – от движения Terasem Мартины Ротблатт до Мормонской трансгуманистической ассоциации.
В этом смысле и эффективный альтруизм, стремящийся выяснить, как принести максимум пользы наибольшему количеству людей, и утверждающий, что опирается на светский разум и доказательства, тоже имеет явные черты религиозного движения, среди которых наличие эсхатологии. Она, по словам Самуэль, проявляется в «форме самой противоречивой идеи – долгосрочности», утверждающей, что «лучший способ помочь большинству людей – это сосредоточиться на обеспечении выживания человечества в далеком будущем (например, через миллионы лет), поскольку в будущем может существовать гораздо больше миллиардов людей, чем в настоящем, – но при условии, что наш вид не вымрет раньше».
При этом, отмечает Самуэль, если свести воедино основные идеи, с помощью которых эффективные альтруисты и приверженцы долгосрочности, намерены реализовать свою главную цель, получится «апокалиптическая логика», которая состоит в трех ключевых положениях: «У нас, возможно, не так много времени, пока жизнь, какой мы ее знаем, не закончится; поэтому нам нужно сделать ставку на то, что может нас спасти; поскольку ставки очень высоки, нам следует пойти ва-банк».
Проблема апокалиптической логики заключается в том, что она склонна порождать опасный фанатизм: выбор в рамках дихотомии «гибель или спасение», «рай или ад» заставляет людей идти на максимальный риск. И с этой позиции, ОИИ и есть тот самый вариант спасения, ради которого стоит рискнуть. «Трансгуманисты, эффективные альтруисты и сторонники долгосрочного подхода унаследовали точку зрения, что конец времен близок и что технологический прогресс – наш лучший шанс на моральный прогресс, – поясняет Самуэль. – Людям, действующим в рамках этой логики, кажется естественным заниматься искусственным интеллектом. Несмотря на то, что они рассматривают ОИИ как главный экзистенциальный риск, они считают, что мы не можем позволить себе не создать его, учитывая его потенциал».
Причем в оценке рисков и необходимости создания ОИИ этот подход опирается опять-таки не на разум и доказательства, а на подспудную убежденность в технологическом детерминизме с примесью геополитики – «если это изобретем не мы, то другие, так зачем себе мешать участвовать в этом» и «всё, что может быть изобретено, будет изобретено». Однако оснований полагать неизбежным и то и другое нет. Зато, говорит Самуэль, есть очень мощное экономическое, социальное и идеологическое давление: «В случае с лихорадкой ОИИ, охватившей Силиконовую долину, переработанные религиозные идеи – в облике трансгуманизма, эффективного альтруизма и долгосрочности – оказали социальное и идеологическое давление. Что касается экономического давления, направленного на получение прибыли, то в Силиконовой долине оно всегда актуально».
Примечательно, что лидер эффективных альтруистов Уильям Макаскилл, признавая, что в Силиконовой долине есть тип технарей, которые при 5-процентном риске гибели от ОИИ и 10-процентной вероятности спасения с его помощью готовы всё-таки рискнуть и поспешить с его созданием, сам не хотел бы видеть их в качестве создателей ОИИ. Однако обосновывает это он не тем, что к подобному риску их подталкивает логика его же собственных идей. «Они не реагируют на моральные вопросы, – пояснил он в интервью Самуэль. – Возможно, это означает, что нам придется отложить сингулярность, чтобы сделать ее более безопасной. Возможно, она случится не при моей жизни. И это будет большая жертва».
Так нужно ли человечеству такое техноспасение на самом деле? По мнению Илии Делио, сестры-францисканки, заведующей кафедрой теологии в Университете Вилланова, «технологии слепы и потенциально опасны» в том случае, если нет четкого понимания ценностей, лежащих в основе их создания и устанавливающих этические границы.
Не менее важно и четкое понимание того, кто имеет право принимать решения. Так, по словам Эльке Шварц, создатели ИИ, внушив обществу представление, что технологический прогресс без ИИ невозможен, стали фактически единственными экспертами в этом вопросе, получив влияние даже большее, чем у демократически избранных политиков. «Идея о том, что развитие ОИИ – это своего рода естественный закон, становится руководящим принципом, который является политическим, – поясняет она. – Это дает политическую власть одним и в гораздо меньшей степени большинству других. И мы уже находимся в той точке, когда власть консолидируется таким образом, что у нас даже нет возможности коллективно предложить не развивать ОИИ».
И такая ситуация, говорит Самуэль, возникла в результате того, что Запад стал заложником единственного нарратива, унаследованного от средневековых религиозных мыслителей и приравнивающего технический прогресс к моральному: «Этот нарратив вынудил нас подчиняться мнению инженеров (которые некогда являлись и духовными авторитетами) в вопросах ценностей и убеждений, заложенных в их продукт».
Поэтому сегодня, по словам Самуэль, очень важно ответить на вопрос: какого спасения мы хотим? «Если ИИ воодушевляет нас через идею преодоления наших земных ограничений и нашей смертности как “мешков с мясом”, это даст один вид социальных результатов, – поясняет она. – Но если мы возьмем на себя обязательство использовать технологии для улучшения благосостояния этого мира и этих тел, мы можем получить другой результат». Иначе говоря, по словам Дэвида Ноубла, нам стоит «начать направлять наши удивительные способности на более мирские и гуманные цели».
Сообщение Спаси нас, Технобоже: как Силиконовая долина стала заложницей тысячелетней идеи появились сначала на Идеономика – Умные о главном.
