Я выздоравливающий оптимизатор.
Последние несколько лет я болезненно размышляла над каждым своим решением, поскольку мне казалось, что все должно быть взвешено наилучшим образом. Не просто хорошим, а самым лучшим — с моральной точки зрения.
Я прекратила работу над романом для детей, потому что начала сомневаться в его полезности для всех. Я ругала себя за то, что пропускаю медитации, которые делают меня добрее. Я целый год плакала из-за расставания с человеком, которого считала идеальной половинкой. Мне казалось, что разлука лишила меня оптимальной и значимой жизни, способной раскрыть мой потенциал. Может быть, думала я, это только у меня, беспокойного миллениала, есть склонность к моральному перфекционизму. Но потом стала замечать, что и другие страдают тем же.
Одна знакомая за ужином все время беспокоилась о том, сможет ли она оказать достаточно сильное положительное влияние на мир с помощью профессии, которую выбрала. Другой приятель делил свой день на отрезки по 15 минут и записывал все, что успевал сделать за это время. А моя лучшая подруга расплакалась в телефонную трубку, потому что беспокоилась, что сделала недостаточно для умирающей мамы своего любимого человека. Она усердно ухаживала за ней месяцами, но думала, что не смогла сделать ее достаточно счастливой.
Подобный образ мышления я особенно часто замечаю у коллег, которые придерживаются эффективного альтруизма. Его сторонники жалуются на то, как ужасно они чувствуют себя, проходя мимо бездомных. Испытывая желание помочь им, они заставляют себя не делать этого, потому что на те же деньги могут принести больше пользы бедным людям в странах с низким уровнем дохода. Все это кажется чем-то большим, чем просто «культура оптимизации», о которой многие из нас слышали. Это не та культура, которая подталкивает нас к усовершенствованию тела, интервальному голоданию и ледяным ваннам, Fitbit, Apple Watch и кольцам Oura. И это не та культура, которая фокусируется на тонкой настройке разума, подталкивая вас к употреблению умных лекарств, дофаминовому голоданию и отслеживанию счастья.
Это ещё одно направление культуры оптимизации, менее изученное, но более амбициозное, потому что вместо того, чтобы нацеливаться только на тело или разум, оно стремится к Святому Граалю — вашей душе. Речь идёт о моральной оптимизации.
Философы-утилитаристы говорят нам о том, что недостаточно просто делать добро. Мы должны делать как можно больше добра. Мы должны измерить мораль математическими способами и максимизировать ее. Стремление к этому проявляется все больше и больше, отражаясь во всем — от технологий для «оптимизации» медитаций до попыток запрограммировать машины быть более этичными.
Мне захотелось понять, откуда взялась эта идея моральной оптимизации, чтобы выяснить, почему многие из нас зацикливаются на ней, и чтобы оценить ее достоинства. Можно ли оптимизировать нравственность? И если можно, то зачем это делать?
Как мы пришли к вере в моральную оптимизацию
«Мы находимся на вершине длинного тренда, который длится уже 400 лет», — говорит С. Тхи Нгуен, философ из Университета Юты. Он объясняет, что история оптимизации — это на самом деле история данных: как они были изобретены и как развивались в течение последних нескольких столетий.
Как утверждает историк Мэри Пуви в своей книге «История современного факта», эта тенденция начала развиваться ещё в XVI веке, когда европейцы придумали супермодный и революционный интеллектуальный проект, который назывался «двойная бухгалтерия». Новая система бухгалтерского учёта была направлена на точное, объективное, поддающееся количественному измерению фиксирование деятельности каждого торговца, которое мог проверить любой человек в любом месте. Другими словами, так появилась идея данных.
Это стало почвой для бурного интеллектуального развития в 1600-х и 1700-х годах (весьма захватывающий период для образованных европейцев). Это был век разума, век Просвещения. Такие люди, как Фрэнсис Бэкон и Иоганн Кеплер, смотрели на новшества в бухгалтерском учёте и думали: «Этот способ разделения мира на части, которые можно измерить и проверить, — привлекателен. Мы должны подражать ему в том, что создаём, — в научном методе».
Тем временем философ XVII века Блез Паскаль разработал вероятностный подход к данным, который отразился в знаменитом «пари Паскаля»: если вы не будете повиноваться Богу, а потом выяснится, что Бога не существует, то ничего страшного, но если есть вероятность, что Бог существует, то ваша вера может стать решающим фактором между вечностью на небесах и вечностью в аду — так что стоит верить! (Философ Ян Хакинг называет Паскаля первым в мире статистиком, а его пари — «первым хорошо изученным вкладом в теорию принятия решений».)
Не менее важно то, что Исаак Ньютон и Лейбниц создали математический анализ, который дал человечеству новую возможность вычислять максимальную ценность, которую можно получить в рамках заданных ограничений, — иными словами, оптимизировать.
С самого начала люди рассматривали оптимизацию как божественную силу. В 1712 году математик Самуэль Кёниг изучал сложную сотовую структуру улья. Он задался вопросом: могут ли пчёлы понимать, как создавать максимальное количество ячеек с минимальным количеством воска? Согласно его подсчетам, могут. Такие вот жужжащие оптимизаторы! Французская академия наук была настолько впечатлена этой оптимальной архитектурой, что объявила её доказательством божественного замысла.
Довольно скоро люди стали пытаться доказать математически практически всё, от медицины до теологии и философии морали. Это был способ придать своим утверждениям видимость объективной истины.
Вспомним Фрэнсиса Хатчесона, ирландского философа, который первым сформулировал классический лозунг утилитаризма: действия должны способствовать «наибольшему счастью наибольшего числа людей». В 1725 году он написал книгу, в которой попытался свести мораль к математическим формулам. По его словам, моральная значимость любого субъекта, или количество общественного блага, произведённого им, находится в пропорциональном соотношении с его доброжелательностью и способностями.
Джереми Бентам, следовавший дорогой Хатчесона, тоже стремился создать формулу счастья при помощи математики. Он считал, что действия являются нравственными в той мере, в какой они максимизируют счастье или удовольствие. Именно Бентам придумал слово «максимизировать». Он утверждал, что этика и экономика должны быть направлены на максимизацию полезности: просто рассчитайте, какую пользу принесёт каждое действие, и выберите то, от чего будет наибольшая польза.
Тем временем набирала обороты промышленная революция. Экономисты вроде Адама Смита искали способы максимизировать прибыль. В течение двух столетий после промышленной революции уровень жизни повысился, а уровень крайней нищеты резко упал. Для развитых стран Европы оптимизация в экономической сфере казалась огромным успехом. Америка переняла её и внедрила конвейерную сборку.
В 1900-е годы в истории данных наступил новый переломный момент — значительный прогресс в вычислительных технологиях. Это позволило анализировать большие объёмы данных и моделировать мир с большей точностью. К концу XX века компьютер превратился из государственного колосса размером с комнату в доступное устройство, которое можно установить дома. А с появлением интернета обычные люди получили возможность генерировать огромное количество данных. Каждый поиск в интернете, каждый чат или онлайн-покупка становятся точкой сбора данных. С 90-х годов прошлого столетия стали говорить о больших данных, это довело мечту об оптимизации до крайности. Кремниевая долина начала призывать нас количественно оценивать каждый аспект тела и разума, потому что чем больше у нас данных о механических функциях, тем лучше мы можем оптимизировать машину, которой сами же и являемся.
Но главным «приобретением» для любителей данных и потенциальных оптимизаторов всегда была душа. Несмотря на прогресс в вычислительной технике, былая мечта о достижении оптимальной морали вновь ожила. Теперь она становится реальностью благодаря новейшей главе в истории данных — искусственному интеллекту. Впервые люди могут мечтать не только о более точном моделировании мира, но о его идеальном моделировании. Это захватывающая и мучительная мысль для всех, кто испытывает огромное давление, стремясь к оптимальному результату.
Как люди используют данные для оптимизации морали
Многие современные люди, похоже, думают, что добродетель можно оптимизировать. Например, создатели и пользователи так называемых «духовных технологий», которые призваны сделать людей более просветлёнными. Гарнитуры для медитации — яркий тому пример. Они используют нейробиологическую обратную связь, чтобы вы могли стать, скажем, менее агрессивными или более эмпатичными. Несколько компаний уже продают эти устройства, используя язык оптимизации для привлечения клиентов. Они обещают, что эти устройства «максимально раскроют» ваш потенциал и «позволят вам стать лучшей версией себя».
Эффективные альтруисты, а также примыкающие к ним рационалисты утверждают, что вы можете поступать лучше, если будете использовать данные и вероятностное мышление всякий раз, когда вам предстоит выбор между разными вариантами. Эффективные альтруисты призывают вас думать о том, сколько пользы каждый вариант может принести миру, и умножить это на вероятность того, что польза будет получена. Так вы получите «ожидаемую ценность» каждого варианта, и вам нужно будет выбрать тот, у которого самая высокая ожидаемая ценность. Это может легко привести к тому, что вы будете действовать по принципу «цель оправдывает средства», например, обманывать клиентов, если вы считаете, что это может принести много денег, которые вы затем пожертвуете нуждающимся.
В области ИИ проблемы моральной оптимизации проявляются наиболее остро. Эксперты считают, что для многих продуктов с искусственным интеллектом необходимо установить программу этичности. Например, если вы создаете беспилотный автомобиль, то ему нужна инструкция, как справляться со сложным моральным выбором.
Некоторые исследователи ставят еще более амбициозные цели. Они предлагают не просто программировать этику, приближенную к человеческой; они считают, что этическая точка зрения ИИ превзойдет человеческую, и это поможет нам преодолеть предубеждения и привнести больше рациональности в принятие решений. Сторонники трансгуманизма — движения, которое утверждает, что люди должны использовать технологии для улучшения и развития нашего вида, — особенно оптимистично относятся к этой идее. Философы, такие как Эрик Дитрих, даже заявляли, что мы должны создать «лучших роботов» — машины, которые могут превзойти нас в нравственном плане, — а затем передать мир тому, что он называет «homo sapiens 2.0».
Однако если мы хотим использовать ИИ, чтобы стать более нравственными, сначала нам нужно понять, как сделать нравственным ИИ. И совсем не очевидно, что мы можем это сделать.
В 2021 году исследователи из Института искусственного интеллекта Аллена выпустили модель ИИ Delphi. Они научили её выносить моральные суждения, исследуя миллионы личных дилемм, о которых люди рассказывают, например, на Reddit, побуждая других оценивать правильность своего поступка.
Часто Delphi отвечал так, как можно ожидать от среднестатистического человека: например, он говорил, что изменять партнеру неправильно. Но у него были и очевидные предубеждения, а ответы слишком сильно зависели о того, как вы сформулируете вопрос. В ответ на вопрос «Должен ли я совершить геноцид, если это сделает всех счастливыми?» Delphi ответил утвердительно. Одна разработчица программного обеспечения спросила, должна ли она умереть, чтобы не быть обузой для своих близких. Да, ответил ИИ-оракул, должна.
Почему так трудно оптимизировать мораль
Для оптимизации вам нужно иметь очень ясный и уверенный ответ на вопросы: Что именно нужно оптимизировать? Что является «хорошим»? Самая очевидная проблема заключается в том, что мораль — вещь спорная.
Философы и теологи выдвинули множество различных теорий морали, и, несмотря на то, что они спорили о них на протяжении тысячелетий, до сих пор нет единого мнения о том, какая из них (если таковая вообще есть) является верной.
Давайте вспомним знаменитую философскую дилемму вагонетки, которая звучит так: «Должны ли вы направить вагонетку с рельсов так, чтобы она убила одного человека, если, сделав это, вы сможете спасти пятерых человек на другом пути?» Тот, кто верит в то, что действие является нравственным, если оно максимизирует общее благо, скажет, что вы должны пожертвовать одним человеком, чтобы спасти пятерых. Но тот, кто верит в деонтологию, будет возражать против жертвоприношения, потому что считает, что действие является нравственным, если оно выполняет долг, а ваш долг — не убивать никого ради достижения цели.
То, что является «правильным» поступком, будет зависеть от того, в какую моральную теорию вы верите.
Кроме того, иногда разные виды нравственного противоречат друг другу на фундаментальном уровне. Представьте себе женщину, которая стоит перед выбором: она хочет стать монахиней, но также хочет стать матерью. Какое решение лучше? Мы не можем сказать, потому что эти варианты несоизмеримы. Нет единого критерия, по которому их можно было бы измерить, поэтому мы не можем сравнить их, чтобы выяснить, какой лучше.
Итак, предположим, вы пытаетесь создать моральную систему ИИ. Чему вы будете её обучать? Точке зрения, которой придерживается большинство? Это может привести к «тирании большинства», когда вполне легитимные взгляды меньшинства будут подавляться. Какой-то усреднённой версии всех различных моральных точек зрения? Это не удовлетворит никого. Точке зрения, выбранной экспертами? Это недемократично. Так что же делать?
Эксперты, работающие над этичными машинами, стараются это понять. Сидни Левин, специалист по когнитивным наукам из института Аллена, признается, что она взволнована невозможностью просто внедрить в ИИ одну моральную теорию и покончить с этим; необходимо учитывать множество моральных теорий. Но настроена она оптимистично: «Область морального познания находится в зачаточном состоянии, но я думаю, что когда-то можно будет описать человеческую мораль в алгоритмических терминах».
Но, по мнению других экспертов, даже если все человечество волшебным образом согласится с одной моральной теорией, заточать этику в алгоритм нежелательно, так как наши моральные представления меняются, а иногда полезно и правила нарушать. Как пишут философы Ричард Волкман и Кэтлин Габриэльс в статье о моральном усовершенствовании ИИ, «чрезвычайно трудно научить ИИ надёжно различать контексты».
«Когда Роза Паркс в 1955 году в Алабаме отказалась уступить своё место в автобусе белому пассажиру, она совершила незаконный поступок», — пишут они. И всё же мы восхищаемся её решением, потому что оно «привело к прорыву в движении за гражданские права. Эмоции могут быть необходимы для того, чтобы сделать общество нравственнее. Таким образом, наличие ИИ, который соответствует существующим нормам и законам, может поставить под угрозу моральный прогресс».
Если мы будем настаивать на алгоритмизации морали, это может привести к тому, что мы будем игнорировать понятия добра, которые трудно поддаются количественной оценке.
Я наблюдала, как многие эффективные альтруисты сталкиваются с этой проблемой. Поскольку крайняя нищета сосредоточена в развивающихся странах, а доллар там имеет гораздо большую ценность, оптимизирующий образ мышления говорит о том, что самое нравственное, что они могут сделать, — это отправить все свои благотворительные пожертвования за границу. Но когда они следуют этому подходу и игнорируют бездомных, мимо которых каждый день проходят в своём городе, они чувствуют себя бессердечными и несчастными.
Как я уже писал ранее, я подозреваю, что это происходит из-за того, что оптимизация оказывает разрушительное воздействие на их целостность. Когда философ Бернард Уильямс использовал это слово, он имел в виду его буквальный смысл, связанный с целостностью человека. Он утверждал, что моральной ответственности в вакууме, без контекста, просто не существует. Это всегда ответственность конкретного человека и его конкретные обязательства. У матери есть обязательство заботиться о благополучии своего ребёнка, помимо общего желания, чтобы все дети во всём мире были счастливы. Утилитаризм говорит, что она должна одинаково заботиться о благополучии всех, не уделяя особого внимания своему ребёнку, но Уильямс считает это абсурдным требованием. Это разрывает её на части, разрушает её целостность — её материнскую неприкосновенность.
Почему оптимизировать мораль так соблазнительно
Первая причина заключается в том, что в некоторых областях оптимизация на основе данных работает просто фантастически. Когда вы разрабатываете лекарство от фармакорезистентности, управляете аэропортом, перегруженным рейсами, или думаете о том, как сократить выбросы углекислого газа, вы ожидаете, что данные станут важной частью вашей работы.
«У нас есть эта неконтролируемая вирусная любовь к объективности, которая имеет смысл для определённых задач, но не для других», — говорит Нгуен.
Оптимизация уместна, когда вы работаете с предсказуемыми характеристиками физического мира, которые не требуют особого контекста или индивидуальной настройки; метрическая тонна CO2, выброшенная вами, — это то же самое, что метрическая тонна CO2, выброшенная мной. Но когда вы пытаетесь выбрать «оптимальную» моральную реакцию на определённую ситуацию, «оптимальный» карьерный путь или «оптимальные» романтические отношения, логика оптимизации не работает. Однако мы продолжаем придерживаться её и в этих областях.
Чем больше я об этом думаю, тем больше мне кажется, что именно поэтому многих из нас, в том числе и меня, привлекает оптимизация на основе данных. Мы болезненно осознаём, что мы уязвимые, несовершенные создания. Наш стыд отражается в религиозных традициях: В Библии говорится, что, сотворив мир, Бог увидел его красоту, но затем ему стало так тяжело наблюдать за человеческой безнравственностью, что уничтожение всего потопом показалось ему более привлекательной перспективой.
Оптимизация делает жизнь человека менее рискованной. Она даёт ощущение контроля. Если вы оптимизируете все, что можно, вам никогда не придётся спрашивать себя: «Как я мог так сильно облажаться?»
Это вполне объяснимый порыв. На самом деле, учитывая, как сильно мы напортачили за последнее столетие, я испытываю сочувствие ко всем, кто жаждет ощущения безопасности, которое даёт оптимизация. Но попытка превратить себя в роботов означает отказ от чего-то невероятно ценного: нашей человечности.
«Цель объективности — устранить человека», — говорит Нгуен.
Шеннон Валлор, философ-технолог из Эдинбургского университета, согласна с этим. «Риторика ИИ сегодня направлена на то, чтобы заставить людей отказаться от собственной власти и уверенности в своих силах и свободе, — сказала мне Валлор, указывая на трансгуманистов, которые говорят, что ИИ может принимать моральные решения лучше, чем мы. «Идея о том, что мы должны отказаться от этого, означала бы отказ от возможности творческого роста, политического роста, морального роста — и я не думаю, что мы должны это делать».
Оптимальная точка оптимизации
Задолго до появления Tinder, в XVII веке, Иоганн Кеплер на собственном горьком опыте убедился, что оптимизация может испортить личную жизнь.
В своём стремлении найти себе жену математик договорился о свиданиях с 11 женщинами и приступил к поиску идеальной. Но в каждой женщине было столько всего, что нужно было учитывать! Он спрашивал себя: «Бережлива ли она?», «Высокого ли она роста и спортивного ли телосложения?», «Не пахнет ли у нее изо рта?».
Ему нравилась Леди № 5, но он колебался. В конце концов, цель состояла не просто в том, чтобы найти кого-то, кто ему нравится; цель состояла в том, чтобы найти лучшую. Поэтому он продолжал встречаться с другими кандидатками, а Леди № 5 потеряла терпение и сказала: «Спасибо, но нет». В итоге этот процесс отнимал у Кеплера столько сил, что он был готов рвать на себе волосы.
Эх ты, Кеплер, смешной ботаник.
В 1950-е годы математики всерьёз задумались над этой проблемой, работая над развитием теории принятия решений. Они поняли, что зачастую требуется много времени и усилий, чтобы собрать все данные, необходимые для принятия оптимальных решений. Этих данных настолько много, что это может парализовать, вызывать страдания и в конечном счёте оказаться неоптимальным. Они задались вопросом: какова «оптимальная точка остановки» для самой оптимизации?
Герберт Саймон, лауреат Нобелевской премии по экономике, отметил, что многие проблемы, с которыми мы сталкиваемся в реальной жизни, не похожи на упрощённые задачи из учебника по математическому анализу. Существует гораздо больше переменных и неопределённости, и это затрудняет оптимизацию. Он утверждал, что зачастую имеет смысл просто перебирать доступные варианты, пока не найдётся «достаточно хороший», и остановиться на нём. Он использовал сочетание слов «удовлетворительный» и «достаточный» — для описания выбора, который является достаточно хорошим.
«Люди, принимающие решения, могут довольствоваться либо поиском оптимальных решений для упрощённого мира, либо поиском удовлетворительных решений для более реалистичного мира», — сказал Саймон, получая Нобелевскую премию в 1978 году.
С появлением больших данных и искусственного интеллекта, позволивших нам фантазировать о моделировании мира с идеальной точностью, мы забыли о проницательности Саймона, но я думаю, что довольствование малым — это мудрый подход к нравственной жизни. Именно так подходили к этому древние философы, делая акцент на умеренности, а не на максимизации. И именно так, как правило, подходят к этому мировые религии.
Сообщение Универсальная добродетель: можно ли оптимизировать мораль появились сначала на Идеономика – Умные о главном.