Что не так с
A/B-тестированием

Маркетологи ежегодно тратят миллиарды долларов на кампании по привлечению и удержанию клиентов и повышению среднего чека. Однако, несмотря на огромный объем этих инвестиций, иногда бывает сложно определить эффективность этих кампаний и понять, как сделать их лучше. Один из популярных методов измерения окупаемости (ROI) кампаний — это A/B-тестирование: маркетологи используют в двух подгруппах целевой аудитории разные приемы, а затем сравнивают результаты. Такие A/B-тесты при правильном подходе дают ценные сведения, но могут и вводить маркетологов в заблуждение.

Чтобы понять недостатки распространенного ошибочного подхода к A/B-тестам, рассмотрим гипотетический пример. Представьте, что вы маркетолог большой организации в сфере искусств, которой нужно сократить отток подписчиков. Вы решаете отправить небольшие подарки тем из них, кто, по-вашему, находится в группе риска отмены подписки. Но это стоит денег, а вы хотите заранее убедиться в эффективности такого вмешательства. Поэтому вы проводите небольшую пилотную кампанию: случайным образом распределяете некоторых участников в зоне риска на две группы и отправляете подарок только одной из них, чтобы проверить, повлияет ли это на вероятность продления подписки.

Предположим, вы не обнаружили никакой разницы в степени удержания между участниками, которые получили подарок, и контрольной группой. Если на этом и закончить анализ, то, вероятно, вы отмените подарочную программу, ведь данные указывают, что подарки не влияют на удержание. Но изучив результаты подробнее, вы увидите: для определенной подгруппы клиентов (например, для тех, кто посещал ваши площадки в прошлом году) подарок на самом деле существенно увеличивает шансы продления подписки. И напротив, для тех, кто не заходил к вам давно, подарок только еще сильнее снижает вероятность продления, потому что напоминает, как редко они пользуются своей подпиской. A/B-тесты, которые оценивают усредненные последствия какого-то вмешательства, могут скрывать важные данные о том, на каких именно покупателей воздействует ваша кампания (при любом результате теста — положительном, отрицательном или, как в этом примере, незначительном), так что маркетологи сделают неправильный вывод о том, какие кампании нужно проводить с какими клиентами.

Как оптимизировать кампании против оттока клиентов

Это был не гипотетический пример, а реальный опыт организации, с которой я сотрудничала в рамках своих исследований. Когда компании нужно удержать клиентов, она обычно выделяет «группу риска» — то есть клиентов, чье недавнее поведение или другие характеристики указывают на повышенную вероятность отмены подписки или прекращения покупки товаров компании. Затем проводят A/B-тесты, чтобы понять, сработают ли на этой группе их приемы по удержанию. Эту стратегию можно понять: безусловно, не стоит тратить маркетинговые ресурсы на клиентов, которые и так не собираются от вас уходить. Но мое исследование показывает, что у такого подхода могут быть существенные побочные эффекты, потому что он может заставить маркетологов принимать ошибочные решения, которые даже повысят скорость оттока и снизят эффективность маркетинговых затрат.

Я провела полевые эксперименты в двух крупных компаниях, которые проводили кампании по удержанию клиентов. В первой части моего исследования обе организации придумали приемы по сокращению оттока и провели A/B-тесты на уровень оттока на выборке из 14 тыс. клиентов, часть из которых были охвачены, а часть — не были охвачены этими кампаниями. Затем я изучила более обширный набор информации о пользователях: последняя активность и контакты с компанией, как долго они были покупателями, где они живут и т. д. Фирма использовала все эти метрики для предсказания роста оттока. Я изучила, как они коррелируют с позитивной реакцией на кампании по удержанию.

В обоих случаях я обнаружила, что клиенты с максимальным риском оттока не всегда были лучшей целевой аудиторией для кампаний по удержанию. Более того: почти не было корреляции между риском оттока и откликом клиентов на кампанию. В то же время данные показали, что все же существовала определенная группа клиентов, которая в каждом случае показывала сильный отклик (клиенты с определенными поведенческими или демографическими характеристиками, вероятность оттока которых после вмешательства стабильно снижалась), но эта «чувствительная» группа почти не пересекалась с группой «высокого риска оттока». Это серьезно влияло на окупаемость кампаний. Мой анализ показал: если бы фирмы потратили ту же сумму на группу с высокой чувствительностью, а не на группу с высоким риском оттока, это бы снизило отток клиентов на дополнительные 5 и 8% соответственно.

Конечно, конкретные факторы, которые влияют на восприимчивость клиента к кампании удержания, в каждом случае будут различны. Но пилотные исследования, наподобие описанных выше, помогут вам определить, какие характеристики лучше всего предсказывают чувствительность клиентов к конкретному вмешательству. Так, одной из организаций в моем исследовании была телекоммуникационная компания. У нее был доступ к подробным данным о поведении клиентов: число звонков за последний месяц, число отправленных СМС, объем передачи данных в гигабайтах и т. д. Дата последнего взаимодействия с компанией хорошо предсказывала риск оттока, но никак не сказывалась на чувствительности к кампании. Зато ее хорошо предсказывал объем использования интернет-услуг. Таким образом, чтобы максимизировать окупаемость своих кампаний по удержанию клиентов, целевой аудиторией стоило выбрать не тех, кто долго не пользовался ее услугами, а тех, у кого были самые большие показатели использования данных.

От предсказаний к рецептам

Что же это значит для маркетологов? Главный вывод наших исследований таков: кампании должны быть основаны не на том, что случится с клиентом без вмешательства, а на том, как он отреагирует на это вмешательство. В каком-то смысле маркетинг похож на медицину, ведь доктора не прописывают случайные препараты пациентам, которые сильнее всего рискуют умереть, а назначают конкретные препараты именно тем пациентам, которым с максимальной вероятностью станет от них лучше.

Вместо того, чтобы предсказывать действия клиентов (то есть пытаться определить риск оттока), маркетологи должны подумать о том, как разные типы клиентов станут реагировать на разные кампании, а затем разрабатывать методики, которые будут максимально эффективны в сокращении оттока среди конкретной группы клиентов. Данные A/B-тестов нужно использовать не просто для того, чтобы измерять общую эффективность кампании среди всех пользователей, но и для того, чтобы понять, какие типы пользователей будут сильнее всего реагировать на конкретные вмешательства. Таким образом, им нужно совместить исторические данные о транзакциях клиента и демографические данные, собранные через A/B-тесты, чтобы определить модели поведения и характеристики клиентов, сильнее всего влияющие на вероятность отклика. К счастью, многие компании и так собирают эти данные — нужно просто по-новому их применить.

***

Таргетированные маркетинговые кампании — это не новая идея. Но важно выбирать целевую аудиторию критически. Вместо того, чтобы угадывать, какие факторы могут повысить вероятность отклика, или концентрироваться на самой приоритетной группе (например, «группе риска по оттоку»), лучше выбирать своей целевой аудиторией клиентов, которые будут лучше всего реагировать на конкретное вмешательство. «Эффективна ли эта кампания?» — не тот вопрос, на который нужно искать ответ, чтобы максимизировать окупаемость. Маркетологи должны спрашивать: «Для кого эта кампания максимально эффективна?» — и затем соответствующим образом выбирать целевую аудиторию.