Как создать эффективную
культуру экспериментов

Большинство менеджеров умеют хорошо задавать вопросы, но не могут так же хорошо объяснить, что входит в обоснованный ответ на эти вопросы. Они проводят тесты и изучают полученные результаты, но это редко ведет к последовательному обсуждению и организационным изменениям.

Эксперименты поощряют инновации, но могут отнимать много времени и ресурсов. Чтобы эксперименты в вашей организации приносили результат, необходимо соблюдать несколько условий. Что вы узнаёте по итогам экспериментов, как вы применяете полученные знания, какие возможности в результате этого возникают и, пожалуй, что еще важнее, как вы обсуждаете их с коллегами — все это должно влиять на процесс принятия решений в организации.

В этой статье мы подробно обсудим необходимые условия проведения экспериментов, в том числе основные факторы, которые необходимо учесть при тестировании в постоянно меняющейся бизнес-среде, данные, с которыми следует сравнивать результаты, и критерии, по которым следует принимать решения.

Тестирование в бизнесе

Многие менеджеры думают, что тестирование нового продукта, цены или услуги аналогично клиническим испытаниям в медицине, где гипотезу можно досконально проверить. Но тестирование в бизнесе представляет проблемы, качественно отличающиеся от научных и медицинских исследований. На конкурентном рынке возможности для рандомизированных контролируемых испытаний ограничены. Они напоминают ремонт корабля в открытом море в неконтролируемых погодных условиях. Это особенно верно в эру больших данных и искусственного интеллекта.

Некоторые эксперименты могут оказаться ненужными или не будут иметь сколько-нибудь существенного значения с точки зрения управления, если вы изучите имеющиеся данные и литературу на соответствующую тему. При разработке цифровой стратегии известный ритейлер не стал рассматривать данные существующих работ, включая опубликованное и рецензированное исследование на тему кросс-канального покупательского поведения с участием почти 1 млн потребителей, совершивших более 7 млн покупок. Настаивая, что все данные должны быть получены «из первых рук», компания заказала тестирование в шести принадлежащих ей магазинах. В результате пришлось отложить принятие решений и переход к действиям на восемь месяцев — и к тому же это не дало никаких новых полезных сведений. Мало того, это еще и во многом могло закрепить сложившиеся системные предубеждения. Конкуренты между тем уже взялись за реализацию многоканальных инициатив, и все это не способствовало росту бизнеса ритейлера.

Следует учитывать издержки упущенных возможностей при проведении тестирования и быть готовыми корректировать методологию и масштаб соответствующим образом. B2B-компания, работающая в сфере SaaS, получила данные, что в традиционно неприбыльном клиентском сегменте покупательское поведение начинает меняться, и сравнительно скромные инвестиции в маркетинг могли бы ускорить эти изменения. Но память об убытках была сильна, поэтому, чтобы преодолеть неверие в организации, лица, принимающие решение, установили высокую планку в отношении длительности эксперимента, размера выборки и методологии, хотя можно было выбрать гораздо более простые методы тестирования рентабельности инвестиций (ROI) в новые инициативы в этом сегменте. Более масштабное тестирование обошлось почти в пять раз дороже и отсрочило переход к активным действиям на быстро меняющемся рынке.

Тестирование для практических управленческих целей редко предполагает «научные» результаты, но может подсказывать идеи и варианты. Его смысл не в том, чтобы добиться абсолютной истины, его задача — инициировать релевантный диалог среди лиц, принимающих решения, в меняющихся рыночных условиях. Используйте, что можете, сегодня и инвестируйте в поиск ответов на завтра.

Помните о данных

Чтобы не получалось ситуации «мусор на входе — мусор на выходе», вам необходимы надежные данные. В большинстве проектов машинного обучения до 80% времени и затрат специалистов по обработке и анализу данных и ИТ-групп уходит на очистку данных, причины тому — непоследовательно собираемые вводные, уже не соответствующие действительности представления о поведении покупателей и устаревшие допущения.

Частый пример — тестирование на основе данных, взятых из систем управления взаимоотношениями с клиентами (CRM). Вводные данные искажены, поскольку система выдает обобщенные результаты, которые на самом деле получены от разных специалистов, применявших разные критерии. Один торговый представитель отражает запрос ценового предложения в системе как квалифицированный лид или активного клиента, другой ориентируется на установление бюджета и считает его критерием квалификации потенциального клиента или ответа на запросы цены. Проблема усугубляется, когда тестируются многоканальные инициативы.

В большинстве программ CRM ожидаемая выручка рассчитывается как взвешенная величина по этапам воронки продаж с допущением, что вероятность заключения сделки возрастает на последующих этапах. Но вместо того, чтобы двигаться последовательно через линейную воронку, омниканальные покупатели теперь множество раз в процессе покупки перемещаются между онлайн-, физическим каналом и инфлюенсерами. Однако после установки системы тесты подбираются для оптимизации параметров, отслеживаемых в программе, и это усиливает влияние устаревших представлений о поведении потребителей. Тестирование становится самосбывающимся пророчеством, а не окном в реалии рынка. В целом, как отмечают другие источники, с учетом того, что благодаря мобильным устройствам оперативная информация, получаемая в момент принятия решения о покупке, все больше влияет на поведение покупателей, многие традиционные методы исследования (вроде совместного анализа) уже не соответствуют этим механизмам.

Наследие подобных «тестов» может сохраняться годами. Один из авторов этой статьи работал с компанией, где показатель оттока клиентской базы (по версии маркетологов компании — 3% в год) был установлен еще в 1990-е годы, и с тех пор фирма пользовалась этой цифрой, несмотря на многократные изменения в продуктах, ценах, конкуренции, замещающих изделиях и выборе потребителей.

При тестировании следует использовать данные, в которых вы уверены. Например, возврат товаров является проблемой ритейлеров всего мира, оцениваемой в триллионы долларов, — и она только растет, так как Amazon Prime все больше делает «бесплатный» возврат нормой. Можно спросить клиентов, планируют ли они возвращать свои покупки, но опросы, касающиеся предположений, — плохая основа для прогнозирования поведения, и некоторые компании теперь предлагают скидки клиентам, отказывающимся от права вернуть товар, что сдерживает покупки во многих категориях. История заказов покупателя является более прочным основанием для тестирования. Одно из исследований показало, что, когда покупатели рассматривают продукты, увеличивая их изображения, чтобы оценить текстуру ткани, или вращая, чтобы увидеть с разных сторон, они реже возвращают покупку. И наоборот, те, кто заказывает в разных размерах, с большей вероятностью вернут товары. Эти данные можно взять за основу гипотез для актуальных тестов, за которыми, в свою очередь, последует разговор о дизайне веб-сайта, ценообразовании, политике обработки заказов и условиях договора.

Установите критерии принятия решений

Судя по нашему опыту, наибольшую сложность представляет тестирование внутренних процессов и особенно необходимость совместно работать над определением проблемы. Большинство менеджеров умеют хорошо задавать вопросы, но не так хорошо могут (или по разным причинам не хотят) объяснить, что входит в обоснованный ответ на эти вопросы.

Данные, даже предположительно самокорректирующиеся, как в некоторых программах ИИ, — это еще не ответ на управленческую задачу. Много лет назад это подчеркивал Питер Друкер: «Компьютер не принимает решений; это просто машина, и в этом его сила. Он заставляет нас думать, устанавливать критерии». Данные важны, но они ни о чем не говорят. Менеджеры должны всегда интерпретировать данные, держа в голове цель.

Приведем в пример ценообразование. Цена учитывает множество аспектов: базовая цена, скидки от цены по прейскуранту, скидка за объем, специальные предложения, цена на дополнительные услуги, готовность платить в зависимости от применения продукта и т. д. Кроме того, информацию о цене клиенты теперь могут найти в один клик. Такие сайты, как Edmunds.com и Kayak, облегчают сравнение цен во множестве категорий. И для продавцов, которым нужно максимизировать прибыль, чаще всего инерция не вариант. Например, обратите внимание, как Amazon у себя на сайте фильтрует тысячи идентификаторов товаров широкого потребления для сравнения цены за унцию.

Тестирование цен должно быть постоянной частью эффективного маркетинга, но сначала уточните критерии оценивания, потому что тестирование в бизнесе, в конечном счете, означает анализ альтернатив. Например, существует большая разница между использованием в качестве критерия показателей роста прибыли и роста дохода, а еще изменения цены обычно влияют на несколько временных периодов, не только на краткосрочный. Однако большинство компаний не уточняют критерии, которыми будут пользоваться для интерпретации тестов на ценообразование, и тратят время и деньги на мероприятие с неясными целями, ведущее в никуда.

Исключением можно назвать, например, Basecamp, поставщика программного обеспечения для совместной работы, предлагающего продукты для широкого спектра приложений и широкого круга частных пользователей и крупных корпораций. Когда компания представила свой продукт Basecamp 3, она провела несколько ценовых исследований, A/B-тестирований, проанализировала различные предложения и сразу указала критерии для принятия решений. Как отмечает главный специалист компании по обработке и анализу данных в кейсе Гарвардской школы бизнеса, продукты Basecamp продаются по малозатратной модели входящих онлайн-продаж, поэтому «оптимальными являются те цены, которые ведут к максимальной пожизненной ценности клиента (LTV). Нас устроит меньшая частота покупок, если ее уравновешивает более высокая средняя стоимость покупки, и наоборот. Мы бы также согласились на более низкую среднюю сумму счета, если бы она вела к более высокому уровню удержания клиентов и, следовательно, большей LTV». Компания также установила четкие критерии оценки результатов: «Тестировать пожизненную ценность клиента напрямую тяжело, так как это долгосрочный показатель, чувствительный не только к цене, но и к другим элементам… Воздействие на LTV приблизительно рассчитывается путем оценки коэффициента конверсии (бесплатные пользователи, которые переходят на платный тариф) и начальной ежемесячной выручки (средняя цена, которую платит пользователь после перехода на платный тариф)».

Эти критерии послужили основой для обсуждения возможностей в организации и продвижения в разных ее отделах работы по оценке данных и реализации предлагаемых вариантов. При расчете цены приходится выбирать между LTV и максимизацией первоначального привлечения клиентов. У разных отделов (продаж, маркетинга, операционного, финансового, отношений с инвесторами) обычно не совпадают взгляды на этот компромисс, и во многих компаниях менеджеры, оптимизирующие метрики своих отделов, а не стоимость бизнеса, не дают разрабатывать ценные варианты.

Обращайте внимание на «маленькие» идеи

Немногие проекты, оцениваемые в миллиарды долларов, начинались с такой суммы, но компании склонны выделять время и деньги на тестирование крупных инициатив и при этом игнорировать маленькие идеи, которые в совокупности могут оказывать более сильное воздействие с меньшим риском. Снова приведем в качестве примера ценообразование. В зависимости от отрасли эффект может различаться, но исследования показывают, что для компании, входящей в список global 1000, повышение на 1% реализуемой цены — необязательно путем повышения цены на каждый заказ, но при ее увеличении на 1% в среднем при неизменном объеме реализации — обычно означает повышение операционной прибыли на 8—12%. Такие результаты наблюдаются не одно десятилетие — и до того, как интернет стал местом продаж, и впоследствии, причем это актуально и для онлайн-, и для офлайн-компаний.

Стремитесь к прогрессу, а не к идеалу, и инвестируйте в процессы, позволяющие сотрудникам делиться, на первый взгляд, маленькими идеями. Онлайн-каналы делают тестирование этих идей легко реализуемым и недорогим, если понимать, как задавать вопросы. Вот три простых подхода:

● Извлекайте информацию из взаимодействия с сайтом во время покупки. Когда авиакомпании задают вам вопрос, путешествуете ли вы по работе или в личных целях, они делают выводы о чувствительности к цене в случае повышения класса обслуживания.

● Периодически меняйте задаваемые вопросы и получайте идеи, которые упускаются из виду, когда вы не меняете вопросы месяцами или годами.

● Привлекайте пользователей и тех, кто не является ими. Сегодня существует целый класс инструментов, позволяющих напрямую работать с клиентами и потенциальными клиентами в режиме реального времени на различных этапах процесса покупки.

Пандемия показала, что рынки меняются быстрее, чем когда-либо ранее, и ваша задача — подстроиться под них. Разговоры о «больших данных» и «цифровой трансформации» заставляют многих менеджеров зацикливаться на хранении данных. Но лучшие компании уделяют основное внимание тому, как можно использовать свои данные при тестировании, которое дало бы новые идеи и основания для действий. Думайте о тестировании в вашей организации как о части постоянной беседы с вашим рынком — как о подвижной, а не статичной картинке, в мире, который никогда не перестает меняться.