Как Uber и Airbnb запускают продукты с помощью экспериментов

Менеджеры все чаще используют крупномасштабные рандомизированные контролируемые испытания для принятия решений. Они привели к впечатляющим результатам в различных организациях от Amazon до правительства Великобритании. Нас заинтересовал рост таких экспериментов в организациях, и последние несколько лет мы занимаемся исследованием их разработки и интерпретацией. В то же время мы видим, что эксперименты применяются в организациях нерегулярно, и многие компании не знают, как начать или расширить их применение.

Один из простых и часто упускаемых из виду крупными компаниями способов проведения экспериментов — рандомизированное представление новых продуктов на ряде рынков. Вспомните, как Uber вводила услугу Express Pool в 2018 году, и вы поймете, в чем ценность этого метода.

В то время в компании уже работала услуга UberPool, позволяющая пассажирам, которым нужно ехать в одном и том же направлении, делить поездки и расходы. С помощью UberPool пассажиров подбирают и высаживают в любом месте, как и в случае с другими услугами Uber. Но с услугой Express Pool, которая стоит еще меньше, чем UberPool, пассажиров обычно просят немного пройти до места посадки в автомобиль и затем до конечного пункта назначения.

В 2018 году при подготовке к запуску Express Pool Uber поручила одному из нас (Дункану, который руководит группой экономистов и специалистов по обработке и анализу данных в компании) оценить вероятность успеха услуги. Сколько пассажиров выберут ее, и как эта услуга повлияет на более масштабную и сложную экосистему Uber?

В поисках ответов на эти вопросы Дункан и его команда провели эксперимент, запустив Express Pool на шести крупных рынках и затем сравнив показатели в разных городах. Воспользовавшись последними достижениями в экспериментальных методах (особенно в статистическом методе, который позволил Uber использовать взвешенную комбинацию других городов для формирования более подходящей «синтетической» контрольной группы), команда смогла выяснить, каким образом внедрение услуги повлияет на использование Uber. Неудивительно, что Express Pool создала новые типы подбора попутчиков. Но эксперимент также продемонстрировал эффект, оказываемый Express Pool на существующие продукты Uber, и дал понять, что ее запуск имеет смысл с точки зрения бизнеса. В результате Uber смогла уверенно запустить Express Pool на многих из основных рынков. Эта уверенность и факторы, способствовавшие ей, были бы невозможны без эксперимента.

В интернете полно онлайн-платформ от Uber и Airbnb до Rover.com и Tinder, и Uber не единственная компания, обратившаяся к экспериментам на уровне рынков для тестирования инноваций и продуктов.

Компания Airbnb (где Джефф раньше работал специалистом по обработке и анализу данных) недавно провела эксперимент, чтобы проверить влияние дизайна новой главной страницы на рейтинг в поисковых системах и трафик. В эксперименте Airbnb использовала тот факт, что ее главная страница имеет разные URL для разных рынков (Сан-Франциско, Бостон, Нью-Йорк и т.д.). То есть они могли рандомизировать различные URL, включая либо не включая новый дизайн, и таким образом определить влияние дизайна на трафик с поискового сервера. С помощью эксперимента они убедились, что новый дизайн был удачным: новая главная страница способствовала росту поискового трафика приблизительно на 3,5%, что выражается в десятках миллионов новых посетителей платформы в день. Опираясь на эти результаты, Airbnb запустила новый дизайн на всех рынках.

Крупномасштабными экспериментами для тестирования новых продуктов и инноваций могут пользоваться не только технологические компании. Представьте, что может сделать сеть ресторанов, решая, предлагать ей новый сэндвич с индейкой и авокадо или нет. Можно воспользоваться традиционным подходом и опробовать сэндвич в нескольких выбранных точках, провести исследование на фокус-группах и изучить историю продаж других продуктов. Если посетителям этих ресторанов сэндвич понравится, можно вводить его в меню во всех точках и надеяться на успех по всей стране. Такой подход даст некоторое представление по данному вопросу, но он имеет значительные ограничения. Например, трудно будет узнать, вытеснит ли новый сэндвич другие продукты, и будет сложно понять, увеличит ли он общее количество посетителей. Если бы компания дополнила этот подход крупномасштабным рандомизированным исследованием, предложив сэндвич на нескольких случайным образом выбранных рынках, то узнала бы гораздо больше о возможном влиянии сэндвича на более масштабные продажи (как новых, так и существующих продуктов), удержание клиентов и уровень их удовлетворенности.

Нам приходилось видеть, как компании упускают важные возможности для экспериментов, и эксперименты, страдающие из-за сложностей реализации и интерпретации. Вот несколько советов для компаний, желающих протестировать свои новые продукты с помощью эксперимента.