Алгоритмы являются неотъемлемой частью современной жизни. Полагаясь при обширном выборе на их рекомендации, люди находят лучшие фильмы, маршруты, информацию, продукты, инвестиции. Поскольку алгоритмы, использующиеся, к примеру, в электронной торговле и социальных сетях, тренируются на решениях людей, они усваивают и закрепляют человеческие предубеждения.
Рекомендации алгоритмов обнаруживают предвзятость, предлагая именно популярные варианты или вызывающую эмоции, в том числе идеологически ангажированную информацию. На уровне общества алгоритмическая предвзятость усиливает и закрепляет расовые предубеждения в судебной системе, гендерные – в процессе найма сотрудников, имущественные – при инвестициях в развитие городских территорий.
Но предвзятость алгоритмов способна и положительно влиять на ее проявление у людей. Например, обнаруживать скрытые системные предубеждения в организациях. В процессе исследования, результаты которого опубликованы в журнале Proceedings of the National Academy of Science, мы с коллегами установили, что предвзятость алгоритмов может помочь людям лучше распознавать и исправлять ее у себя.
Зеркало предвзятости
В девяти экспериментах Бегум Челиктутан, Ромен Кадарио и я просили участников исследования оценить у водителей Uber навыки вождения, а также надежность собственников, давших объявления на Airbnb, и вероятность аренды у них жилья. Мы предоставили участникам информацию, относящуюся к делу, например, количество поездок, описание недвижимости, рейтинг. А также информацию, не относящуюся к делу, но способную обнаружить предвзятость: фото водителя, показывающее его пол, возраст и привлекательность, а также имя владельцев жилья, позволяющее определить их расу.
После того как участники дали свои оценки, мы показали им один из двух рейтингов – оценки их собственные или обученного на них алгоритма. Мы рассказали о предвзятости, которая могла повлиять на эти рейтинги: например, что гости Airbnb с меньшей вероятностью будут арендовать жилье у хозяев с явно афроамериканскими именами, – а затем попросили участников оценить ее влияние.
Независимо от того, предвзятость в отношении чего – расы, возраста, пола, привлекательности – оценивали участники, они видели ее больше в решениях алгоритма, чем в своих собственных. И работал этот эффект зеркала одинаково для рейтингов, составленных действительно алгоритмами и якобы алгоритмами, а на самом деле участниками, которых исследователи намеренно ввели в заблуждение.
Он работал и в том случае, если участникам давали денежное вознаграждение за совпадение их собственных предвзятых суждений с суждениями других участников. И сохранялся, даже если они относили себя к маргинализованной группе – например, к женщинам или чернокожим.
Предвзятость алгоритмов, обученных на оценках участников, сами участники видели так же, как предвзятость в суждениях других людей. При этом считали, что расовые предубеждения на решения алгоритмов повлияли больше, чем на их собственные, а вот «защищающие» характеристики – например, высокие рейтинги, – повлияли одинаково.
Слепое пятно предвзятости
Предвзятость алгоритмов люди видят чаще, чем свою собственную, потому что алгоритмы устраняют слепые пятна человеческой предвзятости. В решениях других ее увидеть легче, чем у себя, поскольку для ее оценки вы используете разные доказательства.
Анализируя свои решения на предмет предвзятости, – независимо от того, думали ли вы при их принятии о расе, поле, возрасте, статусе или других, не относящихся к делу факторах, – вы ищете доказательства предвзятости сознательной. И оправдываете ее или игнорируете, потому что у вас нет доступа к ассоциативному механизму, управляющему вашими интуитивными решениями, где часто предвзятость и проявляется. Вы можете сказать себе: «Я не думал, какой они расы или пола. Я учитывал только их заслуги».
При анализе предвзятости других людей у вас нет доступа к процессам, использовавшимся при принятии решений. Эти решения вы рассматриваете тогда, когда предвзятость очевидна и ее сложнее оправдать. Например, вы можете заметить, что кто-то нанимает только белых мужчин.
Алгоритмы устраняют слепое пятно предвзятости, поскольку вы их видите скорее как других людей, а не как себя. Процессы принятия решений алгоритмами – это черный ящик: происходящее внутри него так же недоступно, как мысли других людей.
Участники нашего исследования, наиболее склонные к проявлению слепого пятна предвзятости, были так же склонны видеть ее больше в решениях алгоритмов, чем в своих собственных.
Люди вообще склонны признавать предвзятость алгоритмов, даже обученных на человеческих решениях. Видеть ее в алгоритмах менее опасно, чем видеть в себе. На них проще возложить вину и назвать это отражение предвзятости людей «алгоритмической предвзятостью».
Корректирующая линза
Наше исследование показывает: люди с большей вероятностью исправляют свои предубеждения, если они отражены в алгоритмах. В последнем эксперименте мы дали участникам возможность скорректировать сделанные оценки. Каждому из них мы показывали наш собственный рейтинг, но приписывали его либо самому участнику, либо обученному на его решениях алгоритму.
Участники с большей вероятностью исправляли оценки, которые были приписаны алгоритму, считая их более предвзятыми. В итоге окончательный рейтинг, если он был «от алгоритма», оказывался менее предвзятым.
Приводящие к пагубным последствиям варианты алгоритмической предвзятости хорошо описаны. Наши результаты показывают, что ее можно использовать и во благо. Первый шаг к устранению предвзятости – признание ее влияния. И алгоритмы как отражения человеческих предубеждений способны улучшить принимаемые нами решения.
Сообщение Бревно в чужом глазу: как использовать зеркало предвзятости появились сначала на Идеономика – Умные о главном.