Везде, где есть автономия, должно быть доверие. Когда мы хотим воспитать в детях самостоятельность, нужно дать им автономию, и мы должны им доверять. (Воспитание — это лучшая школа, чтобы научиться доверию). Если мы создаем систему автономных агентов, нам необходимо большое доверие между ними. Если я делегирую решения ИИ, то я должен доверять ему. А если этот ИИ полагается на других ИИ, он должен доверять им. Следовательно, нам потребуется разработать очень надежную систему доверия, которая сможет обнаруживать, проверять и создавать надежные отношения, как между человеком и машиной, так и между машинами без участия человека, что еще важнее.
Прикладные исследования в этой области идут по двум направлениям: более глубокое понимание того, как формируется доверие между людьми, и абстрактное применение некоторых из этих принципов к механическим системам. Технологи уже создали примитивные системы доверия для управления безопасностью облачных хранилищ данных и коммуникаций. Например, следует ли разрешать подключиться этому устройству? Можно ли доверять ему в том, что оно сообщает о своих возможностях? Как мы можем проверить его? И так далее.
Пока что такие системы не имеют дело с адаптивными агентами, чья работа, идентификация и способности гораздо более изменчивы, непрозрачны и, кроме того, имеют более значимые последствия. Это затрудняет и делает более важным вопрос доверия.
Сегодня, при выборе ИИ, я в первую очередь обращаю внимание на точность. Даст ли он мне правильные ответы? Насколько сильно он галлюцинирует? Эти качества — индикаторы доверия. Могу ли я быть уверен, что ИИ даст надежный ответ? По мере того как ИИ начинают выходить в мир, чтобы действовать и принимать решения за нас, надежность становится критически важной.
Доверие — это широкое понятие, которое будет меняться по мере развития экосистем ИИ. Отчасти безопасность, отчасти надежность и ответственность, отчасти подотчетность, — эти понятия станут более точными по мере того, как мы будем их синтезировать и измерять. В ближайшее десятилетие мы будем говорить о доверии гораздо чаще.
Возможности и навыки ИИ начинают меняться: одни лучше справляются с определенными задачами, другие хуже. Отзывы будут включать в себя оценку надежности. Подобно тому, как у других готовых продуктов есть заявленные характеристики, такие как топливная экономичность, объем памяти, количество пикселей, время работы или скорость восстановления, поставщики ИИ начнут рекламировать коэффициент доверия своих агентов. Насколько они надежны? Даже если это качество не рекламируется, его необходимо измерять внутри компании, чтобы постоянно его совершенствовать.
Когда мы полагаемся на ИИ-агента при бронировании билетов на отдых, продлении рецептов на лекарства или ремонте автомобиля, то оказываем ему огромное доверие. Нетрудно представить себе случаи, когда ИИ-агент может участвовать в решении жизненно важных вопросов. Могут даже возникнуть юридические последствия, связанные с доверием ИИ-агентам. Кто будет нести ответственность, если агент допустит ошибку?
Сейчас ИИ не несет никакой ответственности. Если он ошибается, то нет никаких обязательств исправить ошибку. Агенты ИИ не несут ответственности за проблемы, которые могут возникнуть из-за их ошибок. Фактически, это различие сейчас является ключевым между сотрудниками-людьми и сотрудниками с ИИ. Вся ответственность лежит на людях. Люди берут на себя ответственность за работу, вы нанимаете человека, потому что верите, что он выполнит работу правильно. Если она выполнена неверно, он переделывает ее и учится не повторять ошибку. С современными ИИ все иначе. Из-за этого им сложно доверять.
Агенты ИИ должны сформировать сеть, систему взаимодействующих ИИ. Эта система сможет назначать фактор риска для каждой задачи. Некоторые задачи, такие как покупка авиабилетов или назначение рецептурных препаратов, будут иметь оценку риска, отражающую потенциальные позитивные и негативные последствия. Каждый агент ИИ будет иметь динамическую оценку риска в зависимости от его прав доступа. Агенты также будут накапливать баллы доверия на основе прошлой работы. Доверие — это сложная штука: для роста доверия может потребоваться много взаимодействий в течение длительного времени. И можно мгновенно потерять все из-за одной ошибки. Оценки доверия будут постоянно меняться и отслеживаться системой.
Большая часть работы ИИ будет выполняться незаметно, посредством обмена данными между агентами. Результаты, генерируемые среднестатистическим ИИ-агентом, будут использоваться только другим ИИ-агентом, одним из триллионов. Люди будут видеть и замечать лишь малую часть всей работы ИИ. Количество ИИ-агентов, с которыми взаимодействуют люди, будет крайне невелико, хотя они будут играть для нас огромную роль. Хотя статистически мы будем редко взаимодействовать с ИИ, они будут иметь для нас огромное значение, и самое главное в этих отношениях будет доверие.
Чтобы заслужить доверие человека, внешнему ИИ-агенту необходимо взаимодействовать с ИИ-агентами, которым он также может доверять. Поэтому значительная часть его возможностей будет заключаться в умении выбирать и использовать наиболее надежных агентов ИИ, которых он сможет найти. Вполне вероятно, что появятся совершенно новые виды мошенничества, включая обман ИИ-агентов, заставляющих их доверять подставным агентам, подделку сертификатов доверия, удостоверений идентификации и подмены задач. Как и в мире интернет-безопасности, сеть ИИ-агентов надежна ровно настолько, насколько надежен самый слабый агент. А поскольку подзадачи можно назначать на много уровней ниже, управление качеством станет первостепенной задачей для ИИ.
Умение правильно определять виновных в ошибках и исправлять ошибки также становится чрезвычайно востребованным навыком для ИИ. Все системы, включая людей, совершают ошибки. Не существует системы, защищенной от них. Поэтому высокая степень доверия во многом определяется ответственностью за исправление ошибок. Агенты, пользующиеся наибольшим доверием, — это те, кто способен (помимо доверия!) исправлять свои ошибки и обладает достаточным интеллектом, чтобы не совершать их вновь.
В конечном счете, степень доверия, которую мы будем оказывать главному агенту искусственного интеллекта — тому, с кем взаимодействие будет происходить каждый день, — станет оценкой, которой будут хвастаться и оспаривать, которой будут делиться и широко рекламировать. В других областях, например, в автомобиле или телефоне, мы принимаем надежность как должное.
Искусственный интеллект гораздо сложнее, он затрагивает больше личных вещей, чем другие продукты и услуги, поэтому надежность агентов ИИ будет иметь решающее значение и постоянно вызывать беспокойство. Коэффициент доверия может оказаться важнее коэффициента интеллекта (IQ). Выбор и удержание агентов с высоким коэффициентом доверия будет во многом напоминать найм и удержание ценных сотрудников-людей.
Конечно, для людей мы не используем такие оценки, как коэффициент доверия. С другой стороны, система ИИ-агентов будет располагать всевозможными метриками, на которые мы будем опираться, чтобы решить, какие из них нам нужны в повседневных задачах. ИИ с наивысшими показателями, вероятно, будут и самыми дорогими. Появятся слухи о системах с почти идеальными показателями, которые простые люди не могут себе позволить. Однако ИИ — это система, которая совершенствуется с возрастающей отдачей. Это значит, что чем больше ее используют, тем она лучше, поэтому лучшие ИИ будут одними из самых популярных. Миллиардеры пользуются тем же Google, что и мы, и, вероятно, будут использовать те же ИИ, что и мы, хотя у них могут быть сильно персонализированные интерфейсы. Им тоже потребуется самый высокий коэффициент доверия.
У каждой компании, а может, и у каждого человека, будет ИИ-агент, представляющий интересы в системе перед другими ИИ-агентами. Обеспечение высокого рейтинга доверия у личного представителя будет частью вашей ответственности. Это немного похоже на кредитный рейтинг для ИИ-агентов. Вам понадобится высокий коэффициент доверия для помощника, потому что некоторые ИИ-агенты не будут взаимодействовать с ним, если у него низкий коэффициент. Это не то же самое, что иметь личный социальный рейтинг (который, как говорят, есть у китайцев). Это не ваш рейтинг, а коэффициент доверия агента, который представляет вас перед другими агентами. У вас может быть отличная репутация в социальном рейтинге, но ваш агент может быть ненадежным. И наоборот.
В ближайшие десятилетия эры искусственного интеллекта доверие будет важнее интеллекта.
Сообщение Количество доверия: машины сделают подотчетным то, что нельзя измерить появились сначала на Идеономика – Умные о главном.