Как победить дискриминацию
в интернете

В конце 1980-х два профессора права — Ян Эйерс и Питер Сигельман — решили посмотреть, меняют ли продавцы автомобилей свои цены в зависимости от пола и расы покупателей.

Среди 38 участников эксперимента были темнокожие мужчины и женщины и белые обоих полов. Все они вели переговоры о покупке, следуя одному предписанному сценарию, но результаты оказались разными: тот же самый автомобиль обходился афроамериканцам и женщинам дороже, чем белым мужчинам. Темнокожие покупательницы заплатили в среднем на $900 больше, чем белые мужчины (в выборку попало 153 дилера). Открытие мало кого удивило (и меньше всего афроамериканцев и женщин), но зато наглядно и с цифрами показало размер несправедливости.

Перенесемся на десяток лет вперед — время зарождения интернет-торговли. В онлайне стали торговать всем, в том числе автомобилями. Экономисты Фиона Скотт Мортон, Флориан Зеттельмейер и Хорхе Сильва-Риссо тогда же проанализировали новый способ продажи машин и отметили, что расовые и гендерные перекосы, свойственные реальным рынкам, ушли.

И впрямь, само устройство первых версий торговых платформ, в том числе eBay, Amazon и Priceline, исключало дискриминацию, потому что пользователи были практически анонимными. Покупатель мог вести переговоры о покупке, ничего о себе не сообщая, — как на известной карикатуре из The New Yorker: «В интернете никто не узнает, что вы собака».

Нынешние платформы отлично знают, белый вы или черный, мужчина или женщина, человек или собака. Интернет не только не покончил с дискриминацией, но сам стал ее источником. Сейчас, когда сведения о каждом найти проще простого, уязвимые демографические группы столкнулись с теми же проблемами, которые они издавна испытывают в реальном мире. Иногда ситуация даже хуже: потому что нет никаких сдерживающих правил и потому что, в отличие от живого общения, на фотографии мы зачастую видим не человека, а только его расу, возраст и пол. К тому же, если не смотришь партнеру в лицо, быть к нему несправедливым даже легче.Что же произошло и что можно предпринять?

Идея коротко

Проблема

По сравнению с реальными рынками на онлайновых площадках  — таких как eBay, Uber и Airbnb — расовая, гендерная и прочая дискриминация при сделках могла бы быть ниже. Однако недавние исследования свидетельствуют о том, что в реальности происходит нечто противоположное.

Причина

На раннем этапе интернет-платформы сохраняли относительную анонимность продавцов и покупателей. Потом добавились фотографии, имена и конкретные

характеристики участников. Цели всего этого были благими ­— но в сделках стало все больше предвзятости.

Решение

Чтобы интернет-бизнес был инклюзивным и при этом эффективным, разработчики платформ должны экспериментировать. Выбирая способы автоматизации и алгоритмы, надо всегда учитывать возможность дискриминации тех или иных групп и думать о том, как будут использованы их персональные данные.

Возникновение цифровой дискриминации

На заре онлайн-торговли, совершая покупки, покупателю ничего не оставалось, как верить продавцу. Кто-нибудь из Флориды мог выставить на eBay карточку Topps с бейсболистом Ноланом Райаном 1974 года, описав ее состояние как отличное. Коллекционер из Массачусетса мог начать торговаться за этот лот на основании этого описания. Допустим, карточка в первозданном состоянии стоила $60, а потрепанная — в разы меньше. Что мешало продавцу выдать потрепанную карточку за новую? В общем-то, ничто. Исследование экономистов Джинджер Джин и Эндрю Като показало, что в начале 2000-х продавцы на eBay часто вводили покупателей в заблуждение относительно состояния коллекционных карточек.

На раннем этапе электронная коммерция была в высшей степени подвержена информационному неравенству: одна сторона сделки знала о товаре гораздо больше, чем другая (состояние предмета, надежность упаковки и прочее). Это проблема любого рынка, но в интернете она стала особенно острой по двум причинам. Во-первых, преодолеть информационную асимметрию сложнее, когда нельзя подержать товар в руках. Во-вторых, электронная коммерция пока была новым делом, все ее участники были новичками, то есть пока не появилось своих Sotheby’s и Sears — торговцев с именем, которое гарантирует честность сделок.

Со временем отзывы покупателей и другие формы обратной связи помогли продавцам обзавестись репутацией. Но теперь, посмотрев рейтинг, можно этим не ограничиваться, а копнув глубже, получить их персональные данные. В 2012 году Джефферсон Дуарт, Стивен Сигел и Лэнс Янг изучили сервисы, с помощью которых люди берут в долг друг у друга. Участники эксперимента оценивали степень надежности потенциального должника по фотографии.

И оказалось, что у людей, чей вид внушал доверие испытуемым, реальные шансы получить деньги были выше. Более того, они и впрямь возвращали долги с большей вероятностью. Отсюда делается вывод: раз подобная информация помогает участникам рынка точнее оценить потенциальных контрагентов, значит, имеет смысл ее предоставлять.

Сегодня пользователи самых разных сервисов — от услуг фрилансеров до совместных поездок в автомобиле и выгула собак — внимательно изучают, с кем им предстоит иметь дело, и принимают решения на основании фотографии или имени. Доступность этой информации зависит от платформы: одни сохраняют достаточную анонимность участников, другие придерживаются принципов, давно запрещенных на реальных рынках. На многих сайтах, в том числе Etsy и CustomMade, потенциальные покупатели видят не только товар, но и имя, и фотографию продавца. Конечно, чем больше информации о потенциальных партнерах, тем меньше шансов ошибиться. Но в то же время появляется все больше доказательств, что дополнительные сведения подпитывают дискриминацию.

Понять, как она проявляется в онлайне и какие характеристики платформы влияют на ее интенсивность, легко на примере сервиса аренды жилья Airbnb. В ответ на запрос вам показывают описание и фотографии: квартиры, комнаты или дома — и хозяев. А те в свою очередь увидят ваши имена, а часто и фотографии, прежде чем согласиться или отказать вам.

Один из авторов статьи (Лука) вместе с Бенджамином Эдельманом и Дэниелом Свирски изучал проблему расовой дискриминации на Airbnb. Исследуя американский рынок, они создали 20 профилей пользователей и разослали запросы примерно 6400 арендодателям. Все профили и запросы были идентичны, за исключением одного: имени пользователя. В половине профилей были указаны имена, которые характерны для белых, а в другой — распространенные среди афроамериканцев.

Положительных ответов на запросы от тех пользователей, чьи имена говорили «это белый», было на 16% больше, причем практически повсеместно: в сегменте дорогого жилья и дешевого, в районах, где жили люди разных национальностей, и в монокультурных районах, когда хозяин сдавал комнаты в собственном жилье или дом полностью. Большинство хозяев, отклонивших запросы людей с афроамериканскими именами, вообще никогда не принимали темнокожих. (После публикации результатов этого исследования поднялась волна критики пользователей и регулятора. В ответ Airbnb создала рабочую группу, призванную определить, как можно улучшить ситуацию. В сентябре 2016 года группа предложила ряд изменений, о которых мы поговорим далее.)

Расовые барьеры в интернет-услугах обнаруживаются повсюду: от рекрутинга до заявок на кредит и аренды жилья — и мы видим две основные причины распространения этого зла. Во-первых, в онлайновых сервисах расовая принадлежность более не скрыта от глаз: ее выдает фотография или даже имя. И во-вторых, участники сами решают, с кем заключать сделки, и зачастую обходят стороной представителей неугодной расы. Далее мы посмотрим, как функционал, выбранный разработчиками платформы, влияет на оба фактора.

И еще одна особенность электронной коммерции скорее подпитывает, чем подавляет дискриминацию: использование алгоритмов и больших данных. Результаты поиска от Google, предложения книг от Amazon, рекомендации фильмов от Netflix — во всех этих сервисах вывод о предпочтениях клиентов делает не человек, а машина. Казалось бы, снят человеческий фактор — сняты и предубеждения. Но этого не произошло.

Наоборот, «алгоритмическая» дискриминация расцветает в таких формах, которых люди, скорее всего, и придумать не могли бы. Профессор-компьютерщик Латания Суини изучала «расовый фактор» в рекламе на Google. Она вводила поисковые запросы, в которых содержались традиционные для афроамериканцев имена: например, Дешон или Латания, а затем такой же поиск провела с «белыми» именами вроде Джеффри. В первом случае вываливалась гора ссылок на ресурсы, предлагающие проверить человека в базе преступников, а во втором таких объявлений было гораздо меньше.

Конечно, алгоритмы Google не предусматривают напрямую показ рекламы баз данных с именами преступников, если в запросе фигурирует «черное» имя. Алгоритм, действуя на основании статистики прошлых запросов, всего лишь заключает, что человек, вводящий слово «Дешон», с большей вероятностью, чем тот, кто ищет «Джеффри», заинтересуется сайтом, позволяющим узнать, не привлекался ли человек к уголовной ответственности. (Кстати, переходы по рекламным ссылкам приносят Google доход.) Дискриминация по именам была заложена разработчиками Google, пусть и неосознанно.

Умные решения

Интернет-сервисы одной и той же сферы зачастую различаются по функционалу и потому в разной мере подвержены дискриминации. Uber не показывает водителям фотографии потенциальных пассажиров, а его конкурент Lyft — показывает. И хотя бы поэтому в Uber дискриминации со стороны водителей меньше, чем у Lyft. У интернет-сервиса краткосрочной аренды HomeAway на первой странице только снимки самого жилья, а лицо владельца если и можно увидеть, то дальше. Напротив, по правилам Airbnb хозяева должны размещать собственные фотографии на первой странице с результатами поиска.

Компании-платформы в разной степени озабочены проблемой несправедливости сделок между своими клиентами. Гигант интернет-торговли eBay привлекла команду социальных психологов, чтобы выяснить, выручают ли мужчины более высокую цену по сравнению с женщинами за один и тот же товар (да, это так). Но в целом этот вопрос мало волнует бизнес. Нередко руководитель признает, что дискриминация есть, выражает заинтересованность в том, чтобы ее стало меньше, но на практике даже не пытается оценить масштаб проблемы. Исследователям неравенства приходится проводить собственные эксперименты или по крупицам собирать очевидно неполные данные с сайтов (а некоторые компании еще и пытались юридически блокировать исследования такого рода.)

Но даже имея лучшие намерения, найти решение непросто, потому что нет инструментов, позволяющих просчитать последствия выбора: раскрывать пол и цвет кожи участников или нет. Наша цель — помочь тем компаниям, которые хотят создать или развивать успешный интернет-сервис и при этом стремятся свести к минимуму риск дискриминации.

Мы не ожидаем, что все игроки рынка будут проектировать платформы по канону. Конкуренты нередко предлагают разный функционал (например, Lyft дает пассажирам возможность оставить чаевые через приложение, а Uber — нет), и бороться с дискриминацией они тоже будут по-разному. Хотя бы потому, что в разной мере озабочены самой проблемой (мы-то считаем, что высокие стандарты рано или поздно окупятся). Наша задача — разобраться в плюсах и минусах разных проектных решений.

Ниже мы предлагаем два основных принципа для платформ, столкнувшихся с неравенством участников. Затем мы перечислим четыре подхода, способных снизить его размах.

Принцип 1: Не игнорируйте проблему. Интернет-платформы должны внимательнее отслеживать действия своих пользователей. Сегодня большинству сервисов неизвестен расовый и гендерный состав участников сделок на их платформах. Начните с анализа действий пользователей в разрезе расы и гендера. Это поможет выявить области, в которых существует несправедливость, а в дальнейшем — покажет прогресс на пути ее преодоления. И еще: когда вы этим зай­метесь, общество поверит, что вы действительно намерены сокращать дискриминацию. Например, сервису Airbnb стоит регулярно публиковать процент одобренных заявок по расовым и гендерным группам. Обнародование поможет пользователям лучше осознавать ситуацию и свои действия, а регулятору — выработать законодательные меры. (Кстати, Airbnb, хотя и объявила о своей политике борьбы с дискриминацией, до сих пор не торопится публично раскрывать данные, которые говорили бы о ее размахе на сервисе — а без этого серьезные и достойные цели компании вряд ли воплотятся в конкретный результат.)

Принцип 2: Экспериментируйте. Интернет-сервисы должны заняться тем, что умеют лучше всего, — экспериментировать. У Facebook*, Yelp и eBay при разработке новых продуктов и добавлении функций тестируется все и всегда. Внедрять решения, которые могут повлиять на уровень дискриминации, нельзя без рандомизированных контролируемых испытаний. Airbnb, например, недавно проявила похвальное любопытство — в порядке эксперимента убрала фотографии хозяев жилья с первой страницы поиска, чтобы оценить, как новый формат повлияет на действия контрагентов — но пока решила не обнародовать результаты.

решение 1: Не слишком ли много информации вы предоставляете? В большинстве случаев самое простое, что может сделать интернет-сервис, — не отображать «чувствительных» данных, таких как раса и пол, до совершения сделки. Некоторые платформы, включая Amazon и eBay, уже это сделали. Однако для многих других это означало бы изменить сам способ ведения бизнеса. Руководитель одной платформы, которая оценивается в миллиарды долларов, заявил нам, что его компания не будет даже рассматривать возможность удаления фотографий или имен.

Важно не только, какую информацию отображать, но и насколько заметной ее сделать. Например, на некоторых сервисах стоимость доставки указывается отдельно, а не включена в базовую цену — и тогда, как оказалось, на нее обращают меньше внимания. Экономисты Дженнифер Браун, Танджим Хоссаин и Джон Морган выяснили, что при таком формате более низкая цена повышает вероятность покупки — даже если высокая стоимость доставки компенсирует разницу с другими поставщиками. Иными словами, на решение покупателя больше влияет та информация, которая преподнесена более выпукло.

решение 2: Можно ли еще больше автоматизировать сделку? Пользуясь сервисом Uber, вы делаете заказ через приложение и только после подтверждения заказа узнаете, кто будет вашим водителем. Теоретически, если вам не понравится рейтинг водителя, его имя или то, как он выглядит, вы можете отменить заказ. Но это все-таки некое действие, и у него есть транзакционные издержки, хоть и крошечные, но достаточные, чтобы охладить пыл пассажиров, готовых отказаться от поездки, только потому что им не по вкусу внешность водителя. Uber запросто могла бы дать пассажирам возможность видеть фотографию до подтверждения или отмены заказа, но предпочла этого не делать.

Если сделка совершается до того, как становится понятна расовая и гендерная принадлежность участников, уровень дискриминации снижается. Посмотрим, скажем, как работает функция «быстрое бронирование» на Airbnb: хозяин позволяет забронировать жилье сразу, то есть отказывается от своего права на подтверждение. Чтобы включить эту функцию, арендодатель должен на нее подписаться. Но, как показывают исследования, большинство хозяев использует те опции, которые установлены по умолчанию. Если бы сервис Airbnb включал «быстрое бронирование» по умолчанию и от арендодателей требовались бы активные действия, чтобы от него отказаться, уровень дискриминации, скорее всего, снизился бы. Можно было бы даже ввести плату для хозяев за привилегию просматривать фотографии клиентов — например, за отказ от опции быстрого бронирования. (В сентябре компания объявила о намерении более активно продвигать услугу быстрого бронирования, но не уточнила как.)

Мы считаем, что при правильной реализации повышение автоматизма и стандартные экономические стимулы способны снизить уровень дискриминации и вдобавок повысить прибыльность самых разных платформ — за счет исключения некоторых промежуточных операций при заключении.

решение 3: Стоит ли погромче заявить о запрете дискриминации на сайте? В 2012 году исследователи Лиза Шу, Нина Мазар, Франческа Жино, Дэн Ариэли и Макс Базерман попытались выяснить, может ли такой простой факт, как расположение подписи, повлиять на нашу честность. Часто нас просят заполнить анкету, а в конце подтвердить информацию подписью. Исследователи задались вопросом, уменьшится ли у респондентов желание обмануть, если они подпишут документ в самом начале — до заполнения формы. Оказалось, что это действительно так: случаев обмана стало меньше — как в лабораторных условиях, так и в реальном эксперименте с одной компанией автострахования. Аналогичными были и результаты при подаче налоговых деклараций.

Участники рынка могут извлечь из этого урок: если вы добиваетесь от клиентов определенных действий, тщательно подумайте, когда им об этом напомнить. О своей политике недискриминации заявляет большинство интернет-платформ, но эта декларация чаще всего напечатана мелким шрифтом в неприметном месте. Например, на Airbnb арендодатель должен подтвердить свое согласие с принципами непредвзятости, но делает он это только раз, когда впервые регистрируется на сервисе.

К моменту, когда он принимает решение об одобрении или отклонении заявки потенциального гостя, он, скорее всего, уже и думать забыл об этом соглашении. Интернет-сервисы могли бы напоминать об этом в более подходящие моменты — например, в процессе сделки. Некоторые пользователи все равно будут нарушать эти принципы, но это уже осознанный выбор.

решение 4: Закладывать ли распознавание дискриминации в свои алгоритмы? Размах цифрового неравенства зависит от того, как построен алгоритм, но разработчики проектов редко берут в расчет такие факторы, как расовая и половая принадлежность. Они надеются на лучшее — однако на деле вероятность того, что алгоритм сам по себе исключит несправедливость, близка к нулю. Вспомним, как Google автоматически выдавал ссылки на ресурсы, связанные с криминалом, по «черным» запросам.

Если разработчик думает о дискриминации, ему нужны средства, позволяющие отследить, как раса и пол контрагентов влияют на результаты, и установить четкие цели. Должен ли проект обеспечить, чтобы уровень отказов у темнокожих клиентов не превышал аналогичного показателя у белых? Чтобы женщинам и мужчинам назначали одну и ту же цену?

Google внес коррективы в свои алгоритмы после нашумевшего исследования, но ведь можно и заранее предвидеть подобные проблемы и подумать о том, как их устранять. Одна из мер реагирования на дискриминирующие действия — снижение доверия к пользователям, которые их допускают. Предположим, Uber замечает, что кто-то всегда ставит низкие оценки темнокожим водителям — даже тем, которым другие пассажиры ставят пять звезд. Мнение клиентов, которые были замечены в дискриминации, можно вообще не принимать во внимание при выведении общего рейтинга — по крайней мере, в отношении темнокожих водителей, которым они выставили неожиданно низкие оценки.

Урок симфонических оркестров

Интернет-платформы существуют внутри социума. Невозможно сделать наш грешный мир абсолютно расово и гендерно справедливым, просто создав платформы, менее терпимые

к дискриминации. И было бы наивным полагать, что все разработчики стремятся к этой цели, — иногда дискриминация идет на пользу бизнесу. Тогда остается лишь взывать к чувству социальной ответственности руководителя компании или надеяться на меры государственного регулирования.

К счастью, во многих случаях бизнес действительно «процветает, творя добро»: интернет-сервисам удается снизить уровень несправедливости, затратив на это совсем немного или даже увеличив прибыль. Прогрессивные компании могли бы запустить тренд, который улучшил бы стандарты прочих участников рынка.

Вспомним, как с проблемой расового разнообразия справились в американских симфонических оркестрах. В середине 1960-х женщины составляли менее 10% музыкантов в «большой пятерке» симфонических оркестров США (в Бостоне, Филадельфии, Чикаго, Нью-Йорке и Кливленде). В 1970—80-х годах в оркестрах изменили процедуру прослушивания при приема музыкантов, чтобы исключить возможную предвзятость. Теперь прослушивание проводилось не «лицом к лицу», а через непрозрачный экран или ширму. В исследовании 2000 года экономисты Клаудиа Голдин и Сесилия Роуз обнаружили, что «слепое» прослушивание повышало шансы на успех женщин-музыкантов на 160%. По их оценкам, среди прочих мер по повышению гендерного разнообразия эта простая предосторожность отвечала примерно за четверть изменений. А сами оркестры, несомненно, только выиграли от того, что отбор проводился исключительно на основе музыкального дарования.

Много лет назад это исследование — оно было одним из немногих, доказавших, что небольшое изменение может значительно изменить результат, очень нас заинтриговало. Правда, тогда казалось, что решение было слишком специфичным. Трудно было представить себе, что между покупателем и продавцом или работодателем и соискателем вдруг вырастет такая стена, что они не будут знать расу и пол друг друга.

С наступлением онлайновой эры все изменилось. На раннем этапе мы видели, что интернет способен создавать площадки, свободные от расовой, гендерной или возрастной дискриминации. На современном уровне технологического развития разработчики сами выбирают, где и когда размещать виртуальные «стены». Надеемся, они используют эту возможность для того, чтобы общество становилось более инклюзивным.

Об авторах

Рэй Фисман (Ray Fisman) — профессор поведенческой экономики Бостонского университета, соавтор книги «The Inner Lives of Markets: How People Shape Them — and They Shape Us».

Майкл Лука (Michael Luca) — преподаватель Гарвардской школы бизнеса и приглашенный преподаватель Стэнфордского университета.

* принадлежит Meta, которая признана в России экстремистской и запрещена