Как победить дискриминацию в интернете

В конце 1980-х два профессора права — Ян Эйерс и Питер Сигельман — решили посмотреть, меняют ли продавцы автомобилей свои цены в зависимости от пола и расы покупателей.

Среди 38 участников эксперимента были темнокожие мужчины и женщины и белые обоих полов. Все они вели переговоры о покупке, следуя одному предписанному сценарию, но результаты оказались разными: тот же самый автомобиль обходился афроамериканцам и женщинам дороже, чем белым мужчинам. Темнокожие покупательницы заплатили в среднем на $900 больше, чем белые мужчины (в выборку попало 153 дилера). Открытие мало кого удивило (и меньше всего афроамериканцев и женщин), но зато наглядно и с цифрами показало размер несправедливости.

Перенесемся на десяток лет вперед — время зарождения интернет-торговли. В онлайне стали торговать всем, в том числе автомобилями. Экономисты Фиона Скотт Мортон, Флориан Зеттельмейер и Хорхе Сильва-Риссо тогда же проанализировали новый способ продажи машин и отметили, что расовые и гендерные перекосы, свойственные реальным рынкам, ушли.

И впрямь, само устройство первых версий торговых платформ, в том числе eBay, Amazon и Priceline, исключало дискриминацию, потому что пользователи были практически анонимными. Покупатель мог вести переговоры о покупке, ничего о себе не сообщая, — как на известной карикатуре из The New Yorker: «В интернете никто не узнает, что вы собака».

Нынешние платформы отлично знают, белый вы или черный, мужчина или женщина, человек или собака. Интернет не только не покончил с дискриминацией, но сам стал ее источником. Сейчас, когда сведения о каждом найти проще простого, уязвимые демографические группы столкнулись с теми же проблемами, которые они издавна испытывают в реальном мире. Иногда ситуация даже хуже: потому что нет никаких сдерживающих правил и потому что, в отличие от живого общения, на фотографии мы зачастую видим не человека, а только его расу, возраст и пол. К тому же, если не смотришь партнеру в лицо, быть к нему несправедливым даже легче.Что же произошло и что можно предпринять?

Идея коротко

Проблема

По сравнению с реальными рынками на онлайновых площадках  — таких как eBay, Uber и Airbnb — расовая, гендерная и прочая дискриминация при сделках могла бы быть ниже. Однако недавние исследования свидетельствуют о том, что в реальности происходит нечто противоположное.

Причина

На раннем этапе интернет-платформы сохраняли относительную анонимность продавцов и покупателей. Потом добавились фотографии, имена и конкретные

характеристики участников. Цели всего этого были благими ­— но в сделках стало все больше предвзятости.

Решение

Чтобы интернет-бизнес был инклюзивным и при этом эффективным, разработчики платформ должны экспериментировать. Выбирая способы автоматизации и алгоритмы, надо всегда учитывать возможность дискриминации тех или иных групп и думать о том, как будут использованы их персональные данные.

Возникновение цифровой дискриминации

На заре онлайн-торговли, совершая покупки, покупателю ничего не оставалось, как верить продавцу. Кто-нибудь из Флориды мог выставить на eBay карточку Topps с бейсболистом Ноланом Райаном 1974 года, описав ее состояние как отличное. Коллекционер из Массачусетса мог начать торговаться за этот лот на основании этого описания. Допустим, карточка в первозданном состоянии стоила $60, а потрепанная — в разы меньше. Что мешало продавцу выдать потрепанную карточку за новую? В общем-то, ничто. Исследование экономистов Джинджер Джин и Эндрю Като показало, что в начале 2000-х продавцы на eBay часто вводили покупателей в заблуждение относительно состояния коллекционных карточек.

На раннем этапе электронная коммерция была в высшей степени подвержена информационному неравенству: одна сторона сделки знала о товаре гораздо больше, чем другая (состояние предмета, надежность упаковки и прочее). Это проблема любого рынка, но в интернете она стала особенно острой по двум причинам. Во-первых, преодолеть информационную асимметрию сложнее, когда нельзя подержать товар в руках. Во-вторых, электронная коммерция пока была новым делом, все ее участники были новичками, то есть пока не появилось своих Sotheby’s и Sears — торговцев с именем, которое гарантирует честность сделок.

Со временем отзывы покупателей и другие формы обратной связи помогли продавцам обзавестись репутацией. Но теперь, посмотрев рейтинг, можно этим не ограничиваться, а копнув глубже, получить их персональные данные. В 2012 году Джефферсон Дуарт, Стивен Сигел и Лэнс Янг изучили сервисы, с помощью которых люди берут в долг друг у друга. Участники эксперимента оценивали степень надежности потенциального должника по фотографии.

И оказалось, что у людей, чей вид внушал доверие испытуемым, реальные шансы получить деньги были выше. Более того, они и впрямь возвращали долги с большей вероятностью. Отсюда делается вывод: раз подобная информация помогает участникам рынка точнее оценить потенциальных контрагентов, значит, имеет смысл ее предоставлять.

Сегодня пользователи самых разных сервисов — от услуг фрилансеров до совместных поездок в автомобиле и выгула собак — внимательно изучают, с кем им предстоит иметь дело, и принимают решения на основании фотографии или имени. Доступность этой информации зависит от платформы: одни сохраняют достаточную анонимность участников, другие придерживаются принципов, давно запрещенных на реальных рынках. На многих сайтах, в том числе Etsy и CustomMade, потенциальные покупатели видят не только товар, но и имя, и фотографию продавца. Конечно, чем больше информации о потенциальных партнерах, тем меньше шансов ошибиться. Но в то же время появляется все больше доказательств, что дополнительные сведения подпитывают дискриминацию.

Понять, как она проявляется в онлайне и какие характеристики платформы влияют на ее интенсивность, легко на примере сервиса аренды жилья Airbnb. В ответ на запрос вам показывают описание и фотографии: квартиры, комнаты или дома — и хозяев. А те в свою очередь увидят ваши имена, а часто и фотографии, прежде чем согласиться или отказать вам.

Один из авторов статьи (Лука) вместе с Бенджамином Эдельманом и Дэниелом Свирски изучал проблему расовой дискриминации на Airbnb. Исследуя американский рынок, они создали 20 профилей пользователей и разослали запросы примерно 6400 арендодателям. Все профили и запросы были идентичны, за исключением одного: имени пользователя. В половине профилей были указаны имена, которые характерны для белых, а в другой — распространенные среди афроамериканцев.

Положительных ответов на запросы от тех пользователей, чьи имена говорили «это белый», было на 16% больше, причем практически повсеместно: в сегменте дорогого жилья и дешевого, в районах, где жили люди разных национальностей, и в монокультурных районах, когда хозяин сдавал комнаты в собственном жилье или дом полностью. Большинство хозяев, отклонивших запросы людей с афроамериканскими именами, вообще никогда не принимали темнокожих. (После публикации результатов этого исследования поднялась волна критики пользователей и регулятора. В ответ Airbnb создала рабочую группу, призванную определить, как можно улучшить ситуацию. В сентябре 2016 года группа предложила ряд изменений, о которых мы поговорим далее.)

Расовые барьеры в интернет-услугах обнаруживаются повсюду: от рекрутинга до заявок на кредит и аренды жилья — и мы видим две основные причины распространения этого зла. Во-первых, в онлайновых сервисах расовая принадлежность более не скрыта от глаз: ее выдает фотография или даже имя. И во-вторых, участники сами решают, с кем заключать сделки, и зачастую обходят стороной представителей неугодной расы. Далее мы посмотрим, как функционал, выбранный разработчиками платформы, влияет на оба фактора.

И еще одна особенность электронной коммерции скорее подпитывает, чем подавляет дискриминацию: использование алгоритмов и больших данных. Результаты поиска от Google, предложения книг от Amazon, рекомендации фильмов от Netflix — во всех этих сервисах вывод о предпочтениях клиентов делает не человек, а машина. Казалось бы, снят человеческий фактор — сняты и предубеждения. Но этого не произошло.

Наоборот, «алгоритмическая» дискриминация расцветает в таких формах, которых люди, скорее всего, и придумать не могли бы. Профессор-компьютерщик Латания Суини изучала «расовый фактор» в рекламе на Google. Она вводила поисковые запросы, в которых содержались традиционные для афроамериканцев имена: например, Дешон или Латания, а затем такой же поиск провела с «белыми» именами вроде Джеффри. В первом случае вываливалась гора ссылок на ресурсы, предлагающие проверить человека в базе преступников, а во втором таких объявлений было гораздо меньше.

Конечно, алгоритмы Google не предусматривают напрямую показ рекламы баз данных с именами преступников, если в запросе фигурирует «черное» имя. Алгоритм, действуя на основании статистики прошлых запросов, всего лишь заключает, что человек, вводящий слово «Дешон», с большей вероятностью, чем тот, кто ищет «Джеффри», заинтересуется сайтом, позволяющим узнать, не привлекался ли человек к уголовной ответственности. (Кстати, переходы по рекламным ссылкам приносят Google доход.) Дискриминация по именам была заложена разработчиками Google, пусть и неосознанно.

Умные решения

Интернет-сервисы одной и той же сферы зачастую различаются по функционалу и потому в разной мере подвержены дискриминации. Uber не показывает водителям фотографии потенциальных пассажиров, а его конкурент Lyft — показывает. И хотя бы поэтому в Uber дискриминации со стороны водителей меньше, чем у Lyft. У интернет-сервиса краткосрочной аренды HomeAway на первой странице только снимки самого жилья, а лицо владельца если и можно увидеть, то дальше. Напротив, по правилам Airbnb хозяева должны размещать собственные фотографии на первой странице с результатами поиска.

* деятельность на территории РФ запрещена