Что не так с A/B-тестированием

Маркетологи ежегодно тратят миллиарды долларов на кампании по привлечению и удержанию клиентов и повышению среднего чека. Однако, несмотря на огромный объем этих инвестиций, иногда бывает сложно определить эффективность этих кампаний и понять, как сделать их лучше. Один из популярных методов измерения окупаемости (ROI) кампаний — это A/B-тестирование: маркетологи используют в двух подгруппах целевой аудитории разные приемы, а затем сравнивают результаты. Такие A/B-тесты при правильном подходе дают ценные сведения, но могут и вводить маркетологов в заблуждение.

Чтобы понять недостатки распространенного ошибочного подхода к A/B-тестам, рассмотрим гипотетический пример. Представьте, что вы маркетолог большой организации в сфере искусств, которой нужно сократить отток подписчиков. Вы решаете отправить небольшие подарки тем из них, кто, по-вашему, находится в группе риска отмены подписки. Но это стоит денег, а вы хотите заранее убедиться в эффективности такого вмешательства. Поэтому вы проводите небольшую пилотную кампанию: случайным образом распределяете некоторых участников в зоне риска на две группы и отправляете подарок только одной из них, чтобы проверить, повлияет ли это на вероятность продления подписки.

Предположим, вы не обнаружили никакой разницы в степени удержания между участниками, которые получили подарок, и контрольной группой. Если на этом и закончить анализ, то, вероятно, вы отмените подарочную программу, ведь данные указывают, что подарки не влияют на удержание. Но изучив результаты подробнее, вы увидите: для определенной подгруппы клиентов (например, для тех, кто посещал ваши площадки в прошлом году) подарок на самом деле существенно увеличивает шансы продления подписки. И напротив, для тех, кто не заходил к вам давно, подарок только еще сильнее снижает вероятность продления, потому что напоминает, как редко они пользуются своей подпиской. A/B-тесты, которые оценивают усредненные последствия какого-то вмешательства, могут скрывать важные данные о том, на каких именно покупателей воздействует ваша кампания (при любом результате теста — положительном, отрицательном или, как в этом примере, незначительном), так что маркетологи сделают неправильный вывод о том, какие кампании нужно проводить с какими клиентами.

Как оптимизировать кампании против оттока клиентов

Это был не гипотетический пример, а реальный опыт организации, с которой я сотрудничала в рамках своих исследований. Когда компании нужно удержать клиентов, она обычно выделяет «группу риска» — то есть клиентов, чье недавнее поведение или другие характеристики указывают на повышенную вероятность отмены подписки или прекращения покупки товаров компании. Затем проводят A/B-тесты, чтобы понять, сработают ли на этой группе их приемы по удержанию. Эту стратегию можно понять: безусловно, не стоит тратить маркетинговые ресурсы на клиентов, которые и так не собираются от вас уходить. Но мое исследование показывает, что у такого подхода могут быть существенные побочные эффекты, потому что он может заставить маркетологов принимать ошибочные решения, которые даже повысят скорость оттока и снизят эффективность маркетинговых затрат.

Я провела полевые эксперименты в двух крупных компаниях, которые проводили кампании по удержанию клиентов. В первой части моего исследования обе организации придумали приемы по сокращению оттока и провели A/B-тесты на уровень оттока на выборке из 14 тыс. клиентов, часть из которых были охвачены, а часть — не были охвачены этими кампаниями. Затем я изучила более обширный набор информации о пользователях: последняя активность и контакты с компанией, как долго они были покупателями, где они живут и т. д. Фирма использовала все эти метрики для предсказания роста оттока. Я изучила, как они коррелируют с позитивной реакцией на кампании по удержанию.

В обоих случаях я обнаружила, что клиенты с максимальным риском оттока не всегда были лучшей целевой аудиторией для кампаний по удержанию. Более того: почти не было корреляции между риском оттока и откликом клиентов на кампанию. В то же время данные показали, что все же существовала определенная группа клиентов, которая в каждом случае показывала сильный отклик (клиенты с определенными поведенческими или демографическими характеристиками, вероятность оттока которых после вмешательства стабильно снижалась), но эта «чувствительная» группа почти не пересекалась с группой «высокого риска оттока». Это серьезно влияло на окупаемость кампаний. Мой анализ показал: если бы фирмы потратили ту же сумму на группу с высокой чувствительностью, а не на группу с высоким риском оттока, это бы снизило отток клиентов на дополнительные 5 и 8% соответственно.