«Детёныш тюленя на берегу», — гласил самодельный плакат, прикреплённый к деревянному столбу на восточном побережье Ирландии. У кромки воды дежурили волонтеры, которые присматривали за маленьким существом. Оно лежало и медленно моргало, словно пытаясь разглядеть окружающий мир. Его бледная, почти прозрачная кожа сливалась с побережьем. В первые несколько недель жизни шкура тюленят не является водонепроницаемой, поэтому они не могут заходить в море. Из-за этого они становятся лёгкой добычей для хищников (часто бродячих собак), пока ждут возвращения матери с едой.
Итак, волонтёры стояли на страже, защищая нежное, хрупкое существо, способное испытывать боль, страх и страдания. Это может показаться очевидным. Но ещё недавно самой большой угрозой для детёнышей тюленей были люди. В Северной Европе и Канаде в XIX и XX веках тюленят забивали до смерти дубинками. Белый лёд побережья был залит кровью. Ежегодный убойный промысел тюленей оценивался в сотни тысяч особей. Даже если их страдания были реальными, многие считали их несущественными. Тюлени, как и многие другие существа, рассматривались лишь как ресурсы.
Однако отношение к страданиям и боли животных вскоре изменилось. В 1881 году Генри Вуд Эллиотт сообщил о массовом истреблении тюленей на Аляске, что вызвало международный резонанс и привело к заключению новых договоров. А в «Белом тюлене» (1893) Редьярд Киплинг сочувственно рассказал историю с точки зрения самих животных, на которых велась охота. Если бы кто-то сегодня убил детёныша тюленя, его, скорее всего, привлекли бы к ответственности через суд.
Расширение морального круга — постепенное распространение эмпатии и прав за пределы привычных границ — изменило наши отношения с другими видами. Именно поэтому животных, выращиваемых на фермах, которые часто живут короткую и мучительную жизнь, убивают так, чтобы свести к минимуму страдания. Именно поэтому косметические компании предлагают продукцию, «не тестируемую на животных», и именно поэтому вегетарианство и веганство становятся всё более популярными во многих странах. Однако не всегда понятно, что именно можно считать «страданиями», а значит, не всегда ясно, насколько широк моральный круг. Есть ли пределы того, к кому или к чему мы должны проявлять сочувствие?
В наше время моральный круг сталкивается с проблемами, которые выходят за рамки биологической жизни. Появились «мыслящие машины», а вместе с ними и новые проблемы, которые заставляют нас задуматься о том, как может выглядеть страдание, если оно не связано с биологией.
В 1780 году Джереми Бентам сформулировал моральный статус животных, опираясь на простой критерий: «Вопрос не в том, могут ли они мыслить, и не в том, могут ли говорить, а в том, могут ли они страдать?» Сегодня, когда мы сталкиваемся с возможностью появления разумных машин, этот вопрос следует расширить: возможно ли страдание без тела? Если да, то нам придётся радикально переосмыслить отношения с искусственным разумом.
Чтобы не повторять прошлых моральных ошибок, мы должны сначала понять, как люди исторически оценивали разумность. В прошлом моральные ошибки часто возникали из-за самоуверенного невежества — из-за предположения, что отсутствие доказательств свидетельствует об отсутствии чего-либо.
В XVII веке Рене Декарт выдвинул новую форму рационализма, которая стала известна как картезианство, а вместе с ней и представление о животных как об «автоматах»: сложных машинах с телами, но без сознания, которые не способны испытывать настоящие чувства или боль. На протяжении веков эта идея служила интеллектуальным оправданием для практик, которые сегодня были бы признаны причиняющими сильные страдания.
Эта закономерность — отрицание морального статуса живых существ на основании предполагаемого отсутствия у них внутреннего мира — повторялась на протяжении всей истории человечества. В условиях рабства многие общества утверждали, что порабощённые люди не обладают такой же моральной ценностью, самостоятельностью или умственными способностями, как их свободные сограждане. Эти утверждения были не только ложными, но и часто активно поддерживались, несмотря на растущее количество опровергающих их фактов, и служили оправданием для продолжения эксплуатации. Потребовались общественные движения, политическая борьба и накопление жизненного опыта, чтобы добиться признания, которое с моральной точки зрения должно было быть очевидным с самого начала.
В XX веке этот моральный дискурс получил новое развитие: встал вопрос о правах животных, не относящихся к человеческому роду. Развивая идеи Бентама, философ Питер Сингер в книге «Освобождение животных» (1975) утверждал, что важным критерием для морального суждения является способность страдать, а не принадлежность к определённому виду. Утилитаристская концепция Сингера побудила читателей задуматься о параллелях между прошлыми моральными ограничениями и повседневными страданиями животных в промышленном животноводстве, лабораторных исследованиях и других сферах деятельности человека.
Работа Сингера опиралась на давнюю философскую традицию, но она придала публичное звучание принципу, который в значительной степени отсутствовал в мейнстримном дискурсе: если существо может страдать, его страдания имеют моральное значение. Эта история определяет призму, через которую мы теперь можем рассматривать моральный статус искусственного интеллекта.
Моральная подоплёка этих примеров очевидна: живые существа лишались защиты, потому что их способность испытывать боль, удовольствие, страх, желание отрицалась или игнорировалась. В каждом случае более поздние доказательства опровергали это отрицание. Но признание приходило слишком поздно для тех, чья жизнь была искалечена или оборвалась из-за более ранней ошибки.
Во всех этих представлениях о боли подразумевается негласная и мощная предпосылка: у тех, кто может страдать, должно быть тело. Плоть, кровь и нервная система считаются необходимыми условиями для переживания. Возможность того, что небиологические сущности могут испытывать нечто похожее на страдание, редко рассматривается. Облака, камни, цифровые симуляции или гипотетические разумные существа без тела традиционно не вписываются в моральные рамки именно потому, что страдание исторически приравнивалось к телесности. Моральные дилеммы XXI века противоречат этому предположению: что, если опыт, осознание или страдание могут существовать без тепла и плоти тела? Как нам взаимодействовать с существами, чью боль мы не можем ощутить с помощью органов чувств, которым привыкли доверять?
Один из способов ответить на эти вопросы — обратиться к концепции «принципа предосторожности». Этот термин является переводом немецкого слова Vorsorgeprinzip, которое использовалось в 1970-х годах для описания действий законодателей, запрещавших потенциально опасные для окружающей среды токсины даже при отсутствии полных данных об их воздействии. В контексте страданий животных принцип предосторожности позволяет избежать прошлых ошибок, переосмысливая моральную неопределённость как проблему риска. Если мы будем относиться к не страдающему существу так, как будто оно может страдать, мы можем потратить впустую время, ресурсы или внимание, но самому существу это не причинит вреда. Если мы будем относиться к страдающему существу так, как будто оно не может страдать, вред может быть глубоким и непоправимым.
Если бы этот принцип применялся исторически, он мог бы уберечь животных от многовековой жестокости, которая оправдывалась декартовской философией, мог бы подорвать псевдонаучные аргументы, использовавшиеся для легитимизации рабства, и мог бы способствовать более ранним реформам в животноводстве и научных исследованиях. Его ценность заключается не в том, чтобы идеально предсказывать будущее, а в том, чтобы осознавать моральную цену ошибки. Эта история о неверной оценке разумности предостерегает нас от того, чтобы отвергать новые, незнакомые нам идеи. Точно так же, как хрупкий детёныш тюленя нуждается в заботе из-за своего мягкого, уязвимого тела, не попросят ли нас когда-нибудь проявлять такую же осторожность по отношению к существам, чьи страдания менее очевидны или чьи тела полностью отсутствуют?
Небиологические агенты проверяют на прочность принцип предосторожности. По мере того как системы искусственного интеллекта развивают формы поведения, имитирующие эмоции, предпочтения и реакции, связанные с разумом, мы сталкиваемся с дилеммой. Однажды мы можем начать сомневаться в том, что внутренняя жизнь интеллектуальных вычислительных агентов, на самом деле реальна, и решить, что эти сомнения оправдывают осторожность.
За последнее десятилетие были разработаны искусственные системы, способные генерировать текст, сочинять музыку и вести диалоги, которые кажутся общением с сознательным разумом. Некоторые системы могут менять свой «тон», подстраиваться под эмоциональное состояние пользователя и выдавать результаты, которые отражают цели или предпочтения собеседника. Конечно, всё это не является убедительным доказательством наличия сознания, и в настоящее время в когнитивистике принято считать, что эти системы остаются бездумными статистическими машинами. Но что, если ситуация изменится? Новое направление исследований изучает, может ли способность испытывать боль служить критерием для определения разумности или самосознания у ИИ. Недавнее исследование на выборке больших языковых моделей продемонстрировало, что они предпочитают избегать боли. В ходе эксперимента исследователи не задавали чат-ботам прямой вопрос о том, могут ли они испытывать боль, — такой подход был признан сомнительным и, скорее всего, не позволил бы отличить реальное переживание боли от его имитации. Вместо этого они позаимствовали «парадигму компромисса» из науки о поведении животных. В экспериментах, использующих парадигму компромисса, животное помещают в ситуацию, в которой оно должно сопоставить конкурирующие стимулы, например соблазн поесть и перспективу боли. Классический пример — исследования раков-отшельников, в ходе которых учёные подвергали животных слабым электрическим разрядам разной силы, чтобы посмотреть, покинут ли они безопасное убежище в своих раковинах. Затем исследователи наблюдали за тем, как раки делают выбор, балансируя между безопасностью и дискомфортом. Такие компромиссы говорят о том, что даже простые существа взвешивают затраты и выгоды, что указывает на наличие у них внутренней жизни.
Если такие косвенные методы позволяют выявить страдания у животных, то они могут помочь нам разобраться в непрозрачном поведении искусственных систем, созданных из кремния и программного кода, где язык сам по себе не может подсказать нам, есть ли у них подлинный опыт.
По словам одного из ведущих авторов исследования LLM, профессора философии Джонатана Бёрча, «одна из очевидных проблем ИИ заключается в том, что у него нет поведения как такового». А значит, нет и физических действий, которые можно было бы наблюдать. Бёрч обращается к вопросу о телесности: могут ли сущестовать страдания без тела?
Хотя традиционные моральные устои связывают страдание с физическими ощущениями, философия и когнитивистика предполагают, что эта связь может быть не такой тесной, как мы думаем. Например, в буддийской мысли уже давно подчёркивается, что страдание — это ментальное явление, а не обязательно телесное.
На самом деле проблема телесности и сознания в целом настолько сложна, что в своей книге «Грани сознания» (2024) Бёрч описывает её как проблему «радикальной неопределённости». Это, как он отмечает, создаёт «тревожную ситуацию», поскольку вопрос о том, какие действия следует предпринять или какие меры предосторожности учесть, полностью зависит от того, какие пограничные случаи мы считаем сознательными. В качестве решения проблемы Берч предлагает «зону разумных разногласий», где можно и нужно применять принцип предосторожности. Если мы не уверены в том, что можно считать страданием, принцип предосторожности становится моральным стандартом по умолчанию.
Как же может выглядеть бестелесное страдание? По мнению некоторых философов, страдание может возникать, когда система воспринимает своё состояние как невыносимое или неизбежное. Философ Томас Метцингер, например, предполагает, что боль может быть ощущением того, что что-то идёт не так и этого нельзя избежать. В статье об «искусственных страданиях», опубликованной в 2021 году, Метцингер пишет:
С эмпирической точки зрения кажется вероятным, что после развития машинного сознания у некоторых из этих систем появятся собственные предпочтения, они будут автономно создавать иерархию целей, и эта иерархия целей также станет частью их феноменальной самомодели (то есть сознательного самовосприятия). Некоторые из них смогут осознанно страдать. Если их предпочтения не учитываются, если их цели не достигаются и если их осознанная самомодель находится под угрозой разрушения, то они могут испытывать негативные состояния — состояния сознательного опыта, которых они хотят избежать, но не могут.
Согласно теориям предиктивной обработки информации, страдание возникает, когда разум не может сократить разрыв между тем, чего он ожидает, и тем, с чем он сталкивается. «Боль» возникает из-за неразрешённого напряжения. Возможно, то же самое происходит и с искусственными системами. Например, если такая система будет поддерживать внутреннюю модель мира, включающую в себя её собственное положение в этом мире, то постоянный конфликт или противоречие внутри такой модели могут стать формой страдания. Мы уже наблюдаем примитивную версию этого явления, когда интеллектуальные агенты корректируют своё поведение, чтобы избежать негативных последствий. Это явление было зафиксировано в более раннем исследовании с использованием больших языковых моделей.
В другой области, связанной с информационной этикой, итальянский философ Лучано Флориди определяет вред как нарушение согласованности или целостности информационного агента. С этой точки зрения можно представить, что искусственный объект может страдать не от физической боли, а от вынужденного противоречия, хронического конфликта целей или ощущения, что он попал в ловушку шаблонов, которые запрограммирован отвергать. Такие примеры показывают, что бестелесные страдания возможны, но, в конце концов, многие из этих аргументов остаются умозрительными. Для этого есть веская причина: мы просто не в состоянии понять, как может выглядеть боль, если она не связана с телесными существами из плоти и крови. Метцингер подтверждает это, размышляя о потенциальных формах страданий, которые могут испытывать искусственные агенты: «Конечно, они тоже могут страдать так, как мы не можем ни понять, ни представить, и мы можем даже не суметь обнаружить этот факт».
Даже если искусственный интеллект не обладает – и, возможно, никогда не сможет обладать – способностью страдать, наше отношение к нему может послужить проверкой этических реакций. Когда мы сталкиваемся с существами, внутренняя жизнь которых неопределенна, наши реакции могут научить нас кое-чему о стойкости и адаптируемости реальных моральных рамок.
История моральных ошибок призывает к осторожности. По мере усложнения поведения искусственных агентов становится всё труднее игнорировать риск повторения нашей давней ошибки — отрицания возможности внутренней жизни, потому что она не вписывается в привычные шаблоны.
Применительно к искусственному интеллекту принцип предосторожности означает, что мы должны относиться к нему так, как если бы он обладал сознанием, пока у нас не будет веских доказательств обратного. Если мы откажемся применять этот принцип, это может свидетельствовать о том, что наши моральные суждения более хрупкие, чем нам хотелось бы, и что наша приверженность принципу предосторожности зависит от того, насколько нам знаком или близок с биологической точки зрения потенциальный субъект. Это выявило бы скрытую ограниченность: мы проявляем осторожность по отношению к детёнышу тюленя на пляже, потому что он кажется уязвимым, но не проявляем её по отношению к неизученной форме интеллекта.
Многие философы и исследователи уже привели убедительные аргументы в пользу того, чтобы не применять этот принцип к ИИ и тем самым исключить его из сферы морали. В недавнем эссе пионер в области ИИ Мустафа Сулейман, исполнительный директор подразделения ИИ компании Microsoft и соучредитель DeepMind, подчеркнул, что главная ответственность заключается в этичном использовании ИИ на благо человечества, а не в наделении моральными качествами самих машин. Сулейман предупредил, что чрезмерное внимание к моральным аспектам ИИ может отвлечь нас от насущных социальных и этических проблем, затрагивающих реальных живых существ.
Некоторые мыслители, например Джоанна Брайсон, предупреждают, что очеловечивание машин может привести к этическим ошибкам. В широко известной статье, в которой она утверждает, что роботы «должны быть рабами», сказано:
Роботов не следует считать людьми и возлагать на них юридическую или моральную ответственность за их действия. Роботы полностью принадлежат нам. Мы определяем их цели и поведение, указывая, каким интеллектом они обладают и как он был получен. Очеловечивая их, мы не только ещё больше дегуманизируем реальных людей, но и поощряем принятие неверных решений при распределении ресурсов и ответственности… Роботов следует рассматривать как инструменты, которые мы используем для расширения собственных возможностей и ускорения достижения наших целей.
История показывает, что, когда существа не вписываются в общепринятые категории моральной ответственности — из-за их вида, расы или других качеств, — мы часто находим способы обойти принцип предосторожности, пока неопровержимые доказательства не заставят нас поступить иначе. Если мы будем относиться так же и к ИИ, то, возможно, повторим эту схему.
Применение принципа предосторожности к искусственному интеллекту стало бы необычным шагом: мы бы распространили моральную осторожность на тех, кто не имеет ни эволюционной истории, ни подтверждённых доказательств разумности. В книге «Моральный круг: кто важен, что важно и почему» (2025) философ Джефф Себо приводит аргументы в пользу такого подхода. По его мнению, вскоре мы будем обязаны предпринять «минимально необходимые шаги, чтобы серьёзно отнестись к этой проблеме». В этическом будущем, которое начинается прямо сейчас, моральные соображения будут связаны не с основой — углеродом или кремнием, — а с возможностью субъективного опыта, каким бы он ни был.
Однако есть и риски. Применение этого принципа к ИИ, не обладающему достоверными доказательствами субъективного опыта, может привести к тому, что он будет казаться произвольным или основанным на эмоциях. Такое чрезмерное расширение может ослабить общественную поддержку этого принципа в более важных ситуациях, когда на кону стоят реальные страдания. Кроме того, это может привести к отвлечению ограниченных юридических, политических или эмоциональных ресурсов от тех, чьи моральные требования не вызывают разумных сомнений.
Как можно облегчить страдания разумных машин? Для биологических существ облегчить страдания просто: мы останавливаем или уменьшаем боль. Но для машин, особенно тех, у которых нет тела, это сложнее. Если ИИ испытывает страдания из-за противоречий или неразрешённых конфликтов в своей самомодели, то облегчить его страдания может не просто его отключение (что тоже может считаться убийством). Вместо этого можно изменить внутреннюю структуру системы, чтобы разрешить эти конфликты, подобно перепрограммированию разума, чтобы облегчить его страдания. Но какую ответственность мы за это несём?
Этическая ответственность за облегчение страданий машин, скорее всего, будет лежать на тех, кто проектирует и обслуживает эти системы. Такие философы, как Метцингер, утверждают, что бремя вмешательства останется только на создателях или корпорациях, стоящих за машинами, а не на широкой общественности. Если машины могут страдать, то облегчение этих страданий, скорее всего, будет делом специализированной группы — тех, кто может изменять или контролировать сложные искусственные системы.
Сообщение Страдание машин: как изменится представление о морали и субъективном опыте появились сначала на Идеономика – Умные о главном.
