Статья, опубликованная в журнале «Гарвард Бизнес Ревью Россия»
Что не так с A/B-тестированием
Ева Аскарза
Маркетологи ежегодно тратят миллиарды долларов на кампании по привлечению и удержанию клиентов и повышению среднего чека. Однако несмотря на огромный объем этих инвестиций, иногда бывает сложно определить эффективность этих кампаний и понять, как сделать их лучше. Один из популярных методов измерения окупаемости (ROI) кампаний — это A/B-тестирование: маркетологи используют в двух подгруппах целевой аудитории разные приемы, а затем сравнивают результаты. Такие A/B-тесты при правильном подходе дают ценные сведения, но могут и вводить маркетологов в заблуждение.
Чтобы понять недостатки распространенного ошибочного подхода к A/B-тестам, рассмотрим гипотетический пример. Представьте, что вы маркетолог большой организации в сфере искусств, которой нужно сократить отток подписчиков. Вы решаете отправить небольшие подарки тем из них, кто, по-вашему, находится в группе риска отмены подписки. Но это стоит денег, а вы хотите заранее убедиться в эффективности такого вмешательства. Поэтому вы проводите небольшую пилотную кампанию: случайным образом распределяете некоторых участников в зоне риска на две группы и отправляете подарок только одной из них, чтобы проверить, повлияет ли это на вероятность продления подписки.
Предположим, вы не обнаружили никакой разницы в степени удержания между участниками, которые получили подарок, и контрольной группой. Если на этом и закончить анализ, то, вероятно, вы отмените подарочную программу, ведь данные указывают, что подарки не влияют на удержание. Но изучив результаты подробнее, вы увидите: для определенной подгруппы клиентов (например, для тех, кто посещал ваши площадки в прошлом году) подарок на самом деле существенно увеличивает шансы продления подписки. И напротив, для тех, кто не заходил к вам давно, подарок только еще сильнее снижает вероятность продления, потому что напоминает, как редко они пользуются своей подпиской. A/B-тесты, которые оценивают усредненные последствия какого-то вмешательства, могут скрывать важные данные о том, на каких именно покупателей воздействует ваша кампания (при любом результате теста — положительном, отрицательном или, как в этом примере, незначительном), так что маркетологи сделают неправильный вывод о том, какие кампании нужно проводить с какими клиентами.
Как оптимизировать кампании против оттока клиентов
Это был не гипотетический пример, а реальный опыт организации, с которой я сотрудничала в рамках своих исследований. Когда компании нужно удержать клиентов, она обычно выделяет «группу риска» — то есть клиентов, чье недавнее поведение или другие характеристики указывают на повышенную вероятность отмены подписки или прекращения покупки товаров компании. Затем проводят A/B-тесты, чтобы понять, сработают ли на этой группе их приемы по удержанию. Эту стратегию можно понять: безусловно, не стоит тратить маркетинговые ресурсы на клиентов, которые и так не собираются от вас уходить. Но мое исследование показывает, что у такого подхода могут быть существенные побочные эффекты, потому что он может заставить маркетологов принимать ошибочные решения, которые даже повысят скорость оттока и снизят эффективность маркетинговых затрат.
Я провела полевые эксперименты в двух крупных компаниях, которые проводили кампании по удержанию клиентов. В первой части моего исследования обе организации придумали приемы по сокращению оттока и провели A/B-тесты на уровень оттока на выборке из 14 тыс. клиентов, часть из которых были охвачены, а часть — не были охвачены этими кампаниями. Затем я изучила более обширный набор информации о пользователях: последняя активность и контакты с компанией, как долго они были покупателями, где они живут и т. д. Фирма использовала все эти метрики для предсказания роста оттока. Я изучила, как они коррелируют с позитивной реакцией на кампании по удержанию.
В обоих случаях я обнаружила, что клиенты с максимальным риском оттока не всегда были лучшей целевой аудиторией для кампаний по удержанию. Более того: почти не было корреляции между риском оттока и откликом клиентов на кампанию. В то же время данные показали, что все же существовала определенная группа клиентов, которая в каждом случае показывала сильный отклик (клиенты с определенными поведенческими или демографическими характеристиками, вероятность оттока которых после вмешательства стабильно снижалась), но эта «чувствительная» группа почти не пересекалась с группой «высокого риска оттока». Это серьезно влияло на окупаемость кампаний. Мой анализ показал: если бы фирмы потратили ту же сумму на группу с высокой чувствительностью, а не на группу с высоким риском оттока, это бы снизило отток клиентов на дополнительные 5 и 8% соответственно.
Конечно, конкретные факторы, которые влияют на восприимчивость клиента к кампании удержания, в каждом случае будут различны. Но пилотные исследования, наподобие описанных выше, помогут вам определить, какие характеристики лучше всего предсказывают чувствительность клиентов к конкретному вмешательству. Так, одной из организаций в моем исследовании была телекоммуникационная компания. У нее был доступ к подробным данным о поведении клиентов: число звонков за последний месяц, число отправленных СМС, объем передачи данных в гигабайтах и т. д. Дата последнего взаимодействия с компанией хорошо предсказывала риск оттока, но никак не сказывалась на чувствительности к кампании. Зато ее хорошо предсказывал объем использования интернет-услуг. Таким образом, чтобы максимизировать окупаемость своих кампаний по удержанию клиентов, целевой аудиторией стоило выбрать не тех, кто долго не пользовался ее услугами, а тех, у кого были самые большие показатели использования данных.
