Страшный Tesla: почему мы не можем довериться
беспилотным автомобилям

7 мая 2016 года Джошуа Браун, 40-летний предприниматель и любитель современных технологий из города Кантон, штат Огайо, сидел за рулем своего седана Tesla Model S, когда наперерез ему вывернула огромная фура. Tesla, двигавшаяся в режиме автопилота, не зарегистрировала белую фуру на фоне яркого солнечного флоридского неба. А мистер Браун не успел нажать на тормоз. Автомобиль врезался в грузовик на скорости 74 миль в час, практически мгновенно убив своего водителя.

здесь).

Вождение автомобиля – одно из самых индивидуальных (и самых опасных) человеческих занятий. Вполне понятно, что люди скептически относятся к тому, чтобы отдать ключи безликому алгоритму и стать пассажиром. При слове «алгоритм» вы можете представлять себе компьютер, ведущий расчеты согласно формуле или запрограммированной последовательности шагов. Но в последнее десятилетие алгоритмы шагнули далеко вперед: они могут собирать данные, обучаться и порождать более сложные версии самих себя. Они даже могут водить машину.

Мы полагаемся на алгоритмы во многих делах и решениях, от такой малорискованной деятельности, как выбор фильма на Netflix или покупок на Amazon, до таких судьбоносных решений, как вложение сбережений. Нас даже не смущает, когда автопилот частично управляет нашим самолетом. Этот нынешний скепсис по поводу самоуправляющихся автомобилей ставит перед нами важный вопрос: почему в одних случаях мы доверяем алгоритмам, а в других – нет?

Наше доверие к алгоритмам избирательно

Люди не всегда избегают алгоритмов. Исследования, проведенные одним из нас – Картиком – на тему алгоритмов автоматических рекомендаций (например, «люди, купившие X, также купили Y» на Amazon), обнаружило, что людям нравятся алгоритмические советы и они часто им следуют. Например, в одном недавнем опросе, проведенном совместно с профессором Докуином Ли в университете Карнеги Меллон, мы случайным образом приписали покупателей одного из пяти ведущих онлайн-продавцов в Канаде или к группе, которая получала алгоритмические рекомендации, или к контрольной группе, не получавшей таких рекомендаций. Мы обнаружили, что алгоритмические рекомендации на 25% повысили количество просмотренных клиентами продуктов и на 35% – купленных. С помощью дополнительного исследования мы выяснили, что влияние алгоритмов на выбор более значимо для продукции, предназначенной для получения удовольствия (например, фильмов, духов, произведений искусства), чем для утилитарных продуктов, потребление которых мотивировано функциональной потребностью (например, скрепок, средств для мытья посуды и пылесосов).

Еще один эксперимент показал, что даже случайно сгенерированные рекомендации продукции способны вызвать небольшое увеличение объема продаж, если они подавались как персонализированные (возможно, благодаря эффекту плацебо). Опрос после эксперимента обнаружил, что потребительское доверие к случайному «советчику» продукции было не ниже, чем в случае со сложным и индивидуализированным механизмом рекомендации. И речь не только о рекомендациях покупок – стремительный рост популярности таких роботизированных советчиков, как Wealthfront и Betterment, говорит о том, что люди готовы доверять алгоритмам в своих важных решениях об инвестициях, которые раньше принимались с помощью живых экспертов.

И в то же время рекомендации продукции и инвестиционное управление отличается от беспилотных машин в нескольких очень важных аспектах. Эти различия относятся к уровню субъективности суждений, типу пользователей, на которых нацелены данные системы, а также к уровню контроля потребителя в процессе принятия решений. Дженнифер Логг из Калифорнийского университета в Беркли провела четыре эксперимента, чтобы выяснить, почему мы иногда не доверяем алгоритмам несмотря на все возрастающую зависимость от них. В первом опросе участники делали два предположения по поводу массы человека на фотографии. Первая догадка была основана на личной оценке тестируемого. Для второго предположения участникам давали советы: некоторым показывали догадки других людей, а остальным – оценки, cгенерированные алгоритмом. Логг вычислила степень, в которой тестируемые доверяли алгоритму больше, чем другим людям, основываясь на том, насколько менялись значения во втором случае по сравнению с первым.

Она обнаружила, что для догадок и прогнозов, у которых есть правильный и подлежащий проверке ответ (не только масса человека, но и вопросы вроде «какой фильм станет более кассовым?» или «насколько вероятно данное событие на мировой политической арене?»), люди чаще доверяют подсказке алгоритма, чем другим людям. В еще одном опросе из той же серии (где участники решали, какие вопросы они доверят алгоритму, а какие – живому консультанту) Логг продемонстрировала, что люди склонны доверять homo sapiens, а не алгоритмам в более субъективных решениях. Тот факт, что мы доверяем технике объективное и не доверяем субъективное, вряд ли можно назвать удивительным. Однако Логг обнаружила, что вера в алгоритмы зависит не только от того, какова природа вопроса, но и от характеристик индивида: люди, обладающие более обширными математическими знаниями и навыками, доверяли алгоритму больше, чем менее осведомленные.

Исследования Логг трудно распространить на прогнозы о беспилотных автомобилях. В то же время они указывают на интересную теорию: может быть, люди медлят с принятием самоуправляющихся машин, поскольку рассматривают вождение как более субъективное, требующее личного опыта дело? И может быть, чем рекламировать беспилотные машины широкой публике, разумнее сделать целевой аудиторией тех людей, которые на «ты» с математикой, другими науками и с технологиями вообще?

Конечно, большинство технологических новшеств вначале принимается научной и технической элитой общества. Эти первые пользователи «объезжают» новинки и делают их удобоваримыми для широкой публики. Но масштаб технологического прорыва, который представляют собой беспилотные автомобили (полная замена контроля человека на алгоритмический контроль машины), особенно велик. Это делает их особенно уязвимыми к различного рода препятствиям, подобно тому, которое в данный момент мешает разработкам Tesla.

Обратите внимание на результаты, описанные нашими коллегами из Уортонской школы бизнеса университета Пенсильвании: Беркли Даетворстом, Джозефом Симмонсом и Кэйдом Мэсси. Их исследование показало, что люди гораздо быстрее теряют доверие к алгоритмам, чем к живым специалистам, когда видят, что две машины делают одну и ту же ошибку. Более того, в этом случае люди гораздо реже выбирали алгоритм, а не эксперта, даже если в целом техника показывала более точный результат. Одним словом, мы не готовы прощать ошибки алгоритмам, даже если сами мы совершаем подобные промахи чаще. Последствия для производителей и сторонников беспилотных машин таковы: люди могут очень быстро потерять доверие к данной технологии, если будет достаточно таких инцидентов, как вышеописанный с участием Tesla, даже если доказано, что в целом эта технология надежнее. Несчастные случаи на ранних этапах могут очень быстро настроить публику против самоуправляющихся машин. Производители должны более тщательно продумывать, когда и как добавлять в автомобили беспилотные свойства.

Даетворст, Симмонс и Мэсси принесли нам и хорошие новости об ошибающихся алгоритмах. Участники еще одного проведенного ими эксперимента были снисходительнее к промахам алгоритма и чаще выбирали алгоритм, а не человека, когда могли модифицировать автоматические прогнозы. В процессе эксперимента участников просили предсказать результаты стандартизованных тестов студентов, основываясь на девяти видах данных. Затем они могли выбрать, насколько полагаться на несовершенный алгоритм. Те тестируемые, которым позволялось «подстраивать» алгоритм, были готовы доверять ему больше, чем те, кому модификации были запрещены. Еще больше воодушевляет то, что людям было все равно, сколько изменений они могли внести – им просто хотелось хоть сколько-нибудь контролировать алгоритм.

Обнадеживающие выводы для беспилотных автомобилей таковы: если дать людям возможность влиять на некоторые аспекты вождения и принятия решений (например, устанавливать скорость или выбирать маршрут), они более спокойно воспримут тот факт, что их везет беспилотный автомобиль. А вот полное изъятие личных решений из процесса (так поступила Google и многие другие автопроизводители) может быть скептически встречено покупателями.

По мере того, как развивается искусственный интеллект (AI) и глубинное обучение (раздел машинного обучения, направленный на воссоздание процессов, свойственных мозговым нейронам), алгоритмы будут определять все большую часть нашей жизни. Но скепсис по поводу беспилотного автомобиля Tesla только показывает, что одной лишь хорошей технологии для успеха недостаточно. AI и умные алгоритмы следует предлагать таким образом, чтобы они вызывали доверие у пользователей из плоти и крови.

Об авторах. Картик Хосанагар – профессор технологии и цифрового бизнеса в Уортонской школе бизнеса университета Пенсильвании. Имран Кронк – аналитик в Mount Sinai Health System и сооснователь стартапа Ride Health.