Как Uber и Airbnb запускают продукты с
помощью экспериментов

Менеджеры все чаще используют крупномасштабные рандомизированные контролируемые испытания для принятия решений. Они привели к впечатляющим результатам в различных организациях от Amazon до правительства Великобритании. Нас заинтересовал рост таких экспериментов в организациях, и последние несколько лет мы занимаемся исследованием их разработки и интерпретацией. В то же время мы видим, что эксперименты применяются в организациях нерегулярно, и многие компании не знают, как начать или расширить их применение.

Один из простых и часто упускаемых из виду крупными компаниями способов проведения экспериментов — рандомизированное представление новых продуктов на ряде рынков. Вспомните, как Uber вводила услугу Express Pool в 2018 году, и вы поймете, в чем ценность этого метода.

В то время в компании уже работала услуга UberPool, позволяющая пассажирам, которым нужно ехать в одном и том же направлении, делить поездки и расходы. С помощью UberPool пассажиров подбирают и высаживают в любом месте, как и в случае с другими услугами Uber. Но с услугой Express Pool, которая стоит еще меньше, чем UberPool, пассажиров обычно просят немного пройти до места посадки в автомобиль и затем до конечного пункта назначения.

В 2018 году при подготовке к запуску Express Pool Uber поручила одному из нас (Дункану, который руководит группой экономистов и специалистов по обработке и анализу данных в компании) оценить вероятность успеха услуги. Сколько пассажиров выберут ее, и как эта услуга повлияет на более масштабную и сложную экосистему Uber?

В поисках ответов на эти вопросы Дункан и его команда провели эксперимент, запустив Express Pool на шести крупных рынках и затем сравнив показатели в разных городах. Воспользовавшись последними достижениями в экспериментальных методах (особенно в статистическом методе, который позволил Uber использовать взвешенную комбинацию других городов для формирования более подходящей «синтетической» контрольной группы), команда смогла выяснить, каким образом внедрение услуги повлияет на использование Uber. Неудивительно, что Express Pool создала новые типы подбора попутчиков. Но эксперимент также продемонстрировал эффект, оказываемый Express Pool на существующие продукты Uber, и дал понять, что ее запуск имеет смысл с точки зрения бизнеса. В результате Uber смогла уверенно запустить Express Pool на многих из основных рынков. Эта уверенность и факторы, способствовавшие ей, были бы невозможны без эксперимента.

В интернете полно онлайн-платформ от Uber и Airbnb до Rover.com и Tinder, и Uber не единственная компания, обратившаяся к экспериментам на уровне рынков для тестирования инноваций и продуктов.

Компания Airbnb (где Джефф раньше работал специалистом по обработке и анализу данных) недавно провела эксперимент, чтобы проверить влияние дизайна новой главной страницы на рейтинг в поисковых системах и трафик. В эксперименте Airbnb использовала тот факт, что ее главная страница имеет разные URL для разных рынков (Сан-Франциско, Бостон, Нью-Йорк и т.д.). То есть они могли рандомизировать различные URL, включая либо не включая новый дизайн, и таким образом определить влияние дизайна на трафик с поискового сервера. С помощью эксперимента они убедились, что новый дизайн был удачным: новая главная страница способствовала росту поискового трафика приблизительно на 3,5%, что выражается в десятках миллионов новых посетителей платформы в день. Опираясь на эти результаты, Airbnb запустила новый дизайн на всех рынках.

Крупномасштабными экспериментами для тестирования новых продуктов и инноваций могут пользоваться не только технологические компании. Представьте, что может сделать сеть ресторанов, решая, предлагать ей новый сэндвич с индейкой и авокадо или нет. Можно воспользоваться традиционным подходом и опробовать сэндвич в нескольких выбранных точках, провести исследование на фокус-группах и изучить историю продаж других продуктов. Если посетителям этих ресторанов сэндвич понравится, можно вводить его в меню во всех точках и надеяться на успех по всей стране. Такой подход даст некоторое представление по данному вопросу, но он имеет значительные ограничения. Например, трудно будет узнать, вытеснит ли новый сэндвич другие продукты, и будет сложно понять, увеличит ли он общее количество посетителей. Если бы компания дополнила этот подход крупномасштабным рандомизированным исследованием, предложив сэндвич на нескольких случайным образом выбранных рынках, то узнала бы гораздо больше о возможном влиянии сэндвича на более масштабные продажи (как новых, так и существующих продуктов), удержание клиентов и уровень их удовлетворенности.

Нам приходилось видеть, как компании упускают важные возможности для экспериментов, и эксперименты, страдающие из-за сложностей реализации и интерпретации. Вот несколько советов для компаний, желающих протестировать свои новые продукты с помощью эксперимента.

1) Решите, какие показатели имеют для вас наибольшее значение, и затем сформулируйте гипотезы о том, что с этими показателями может происходить. Инвестируйте в сбор данных и заранее решите, какие результаты эксперимента будут считаться успехом, а какие — неудачей. Создайте карту движения от данных к решениям. Помните: если продукт купят больше людей, это хорошо, но, если это приведет к росту количества звонков в службу поддержки, это не очень хорошо.

2) Выберите случайную подгруппу рынков (например, регионы, города или франшизы) для запуска продукта. Результаты эксперимента на уровне рынка часто бывают искаженными, поэтому, выбрав группу рынков, хорошо подумайте, сможете ли вы выявить эффект, на который рассчитываете. (Расчет статистической мощности требует множества допущений, но помогает получить правильный результат).

3) Обязательно проверьте не только, работает ли ваш новый продукт, но и как его запуск повлияет на существующие продукты. Услуга Express Pool сама по себе может выглядеть успешной, но если она не будет способствовать значительному росту рынка перевозок в целом, то, возможно, представляет меньшую ценность, чем кажется. Точно так же при запуске Airbnb новых продуктов компании нужно подумать о том, как они повлияют на бронирование с помощью уже существующих продуктов. Когда Starbucks представила закуску из яиц sous vide (если вы не пробовали, мы рекомендуем!), ей необходимо было учитывать не только ее продажи, но и то, не потеснит ли она другие блюда в меню.

4) Убедитесь, что понимаете, почему ваш продукт оказывается удачным или неудачным. Такие показатели, как выручка и продажи не отражают всю картину. Новый продукт улучшает результаты для некоторых типов клиентов, но ухудшает их для других? Новый продукт помог одной части воронки привлечения клиентов, но навредил другой? Эти шаги соответствуют вашей гипотезе до проведения эксперимента? Поняв, почему показатель изменился, вы сможете не только принять решение о выпуске нового продукта, но и понять, какие инновации необходимо предпринять вместе с его запуском.

Об авторах

Джефф Фоссетт (Jeff Fossett) — аспирант Гарвардской школы бизнеса, ранее работал специалистом по обработке и анализу данных в Airbnb.

Дункан Гилкрайст (Duncan Gilchrist) — менеджер по обработке и анализу данных в Uber Technologies, имеет степень Ph.D. в области экономики бизнеса Гарвардского университета.

Майкл Лука (Michael Luca) — доцент кафедры делового администрирования Гарвардской школы бизнеса.