Подводные камни А/В-тестирования

В последние годы наблюдается бум А/В-тестирования онлайн: организации все лучше осознают их ценность, а технологии для их проведения относительно недороги. Цифровые фирмы (а все чаще и обычные компании) проводят по несколько десятков тысяч онлайн-экспериментов в год, чтобы узнать, что лучше: контрольный вариант А (как правило, текущая ситуация) или нововведение В (предлагаемое изменение товара, услуги, предложения). Такие тесты позволяют быстро определять реакцию пользователей на изменения и находить лучшие способы усовершенствования цифровых продуктов или создания новинок. Испытание инновации на небольшой случайной выборке пользователей перед ее полномасштабным внедрением снижает риск неожиданных побочных эффектов. А благодаря тому, что тесты дают уникальную возможность объективно оценивать последствия изменений, можно легко отличить рост выручки, вовлеченности и других показателей, полученный благодаря конкретному нововведению, от естественного роста компании, который произошел бы в любом случае. Эта важнейшая информация позволяет компаниям находить новые возможности для развития и точно оценивать окупаемость инвестиций.

Сегодня для многих фирм А/В-тестирования — неотъемлемая часть цикла разработки продуктов. По итогам тестов принимаются решения о том, стоит ли (и если да, то когда) выпускать новые продукты или менять существующие, заходить на новые рынки или в новые пользовательские сегменты, а также о том, как распределять капитал по разным направлениям. Не будет преувеличением сказать, что успешные А/В-тесты — важнейшее условие выживания этих фирм. Увы, компании часто допускают серьезные промахи в проведении экспериментов. Исследования, проведенные нами в Гарвардской школе бизнеса, и наш опыт анализа данных в Netflix и LinkedIn позволили выявить три главных ошибки в подходах к тестированию. В этой статье мы расскажем, как избежать их с помощью приемов, которые доказали свою эффективность в Netflix и LinkedIn. Они позволят вам извлечь из экспериментов максимум пользы.

ОШИБКА 1

НЕ ВЫХОДИТЬ ЗА РАМКИ УСРЕДНЕННЫХ ПОКАЗАТЕЛЕЙ

Весьма распространенная ошибка — учитывать только усредненное влияние инноваций на бизнес-метрики. Совершая эту ошибку, компания, по сути, работает с несуществующим «сферическим клиентом в вакууме», игнорируя огромное разнообразие реакций в реальных пользовательских сегментах. Между тем, перемены могут вызвать воодушевление у одних клиентов и абсолютную неприязнь у других.

Представьте себе запуск нового продукта, после которого расходы среднего клиента возросли на $1. Может показаться, что каждый пользователь стал тратить на доллар больше. На самом же деле точно такой же результат вы получите, если несколько клиентов начнут тратить на ваш продукт намного больше, а все остальные уйдут к конкурентам. В обычных А/В-тестах, которые показывают лишь динамику усредненных показателей, эти сценарии не различаются.

Усредненные данные больше всего искажают реальность в тех случаях, когда ключевые показатели бизнеса определяются небольшим числом крупных клиентов или привилегированных пользователей. Если те, кто принимает решения, будут представлять клиентскую базу как одного идеального репрезентативного потребителя, компания начнет подстраиваться под самых активных клиентов в ущерб всем прочим. Это весьма опасно: ведь зачастую основные возможности бизнеса связаны именно с наращиванием потребления среди тех, кто поначалу не слишком активен.

В некоторых случаях решением может стать поиск одной наилучшей версии для всех клиентов. В других имеет смысл создавать разные варианты с учетом предпочтений важных сегментов пользователей. А/В-тесты помогают компаниям и в этом. Если разделить аудиторию на заданные группы (скажем, по странам, отраслям, прошлому опыту сотрудничества) или применить алгоритмы машинного обучения, можно выявить группы, по-разному реагирующие на инновации. Даже если не все результаты тестов будут обладать практическим значением, они позволят оценить потенциал новых возможностей и найти способы его реализовать.

Как же работать с неоднородной аудиторией? Вот несколько советов.