Испытательный срок для идеи | Большие Идеи

・ Управление инновациями
Статья, опубликованная в журнале «Гарвард Бизнес Ревью Россия»

Испытательный срок
для идеи

Чтобы предсказать судьбу инновации, нужно, не полагаясь на интуицию и профессиональный опыт, подвергнуть ее строгому тестированию.

Авторы: Стефан Томке , Манзи Джим

Испытательный срок для идеи

читайте также

Почему дети должны попробовать себя в бизнесе до поступления в вуз

Рэй Шин

Шесть ошибок риск-менеджмента

Дэниел Гольдстайн,  Марк Шпицнагель,  Нассим Талеб

Маркетинг в мире неопределенности

Уоттс Дункан,  Хаскер Стив

Как правильно следить за процессами в эджайл-проекте

Агнель Д’Круз,  Стефан Кудыба

Проверяя потенциал инноваций, можно увеличить свои шансы на успех.

В 2011 году, вскоре после того, как Рон Джонсон из Apple ушел в J.C. Penney и возглавил эту сеть универмагов, он взялся воплощать довольно смелую идею. Он отменил распродажи, разрешил предоставлять существенные скидки лишь на ограниченный ассортимент (и на протяжении не больше месяца), изменил планировку торговых залов — отказался от принципа размещения товаров по категориям в пользу отдельных небольших фирменных магазинчиков, закрыл все кассы, а вместо них расставил везде автоматические терминалы самообслуживания. Несмотря на яркость идеи, продажи резко упали, компания стала терпеть весьма ощутимые убытки — и менее чем через полтора года после своего назначения Джонсон ушел в отставку, а в универмагах все вернулось на круги своя.

Почему J.C. Penney допустила такую ошибку? Неужели у компании не было подробной информации о предпочтениях потребителей?

Наверняка была — но, к сожалению, только о предпочтениях прошлых, а значит, эти данные ничего не говорили о возможном отношении людей к будущим новшествам. В том, что касается инноваций, менеджерам обычно приходится действовать с закрытыми глазами: у них нет данных, на основании которых они могли бы принимать взвешенные решения. Поэтому чаще всего они полагаются на свой профессиональный опыт и интуицию. Но самые яркие инновационные идеи — те, которые могут произвести переворот в отрасли, — обычно противоречат и этому опыту, и привычным представлениям большинства.

Впрочем, более или менее точно предсказать судьбу нового продукта или бизнес-прог­раммы можно — нужно лишь подвергнуть их строгому тестированию. Задумайтесь: фармацевтическая компания никогда не стала бы продавать лекарства, не проведя всех испытаний, определенных научными протоколами (например, американское Управление по санитарному надзору за качеством пищевых продуктов и медикаментов прямо требует подробных клинических испытаний каждого препарата). Иначе и быть не может. Но почему компании обычно не проверяют таким же образом новые бизнес-модели и другие нововведения? Если бы в J.C. Penney протес­тировали идеи Джонсона, то всем сразу стало бы ясно, что потребителям они наверняка не придутся по душе.

Многие компании не тестируют свои рискованные идеи потому, что им не хочется тратить на это деньги и экспериментами усложнять себе жизнь. При всей кажущейся простоте тес­тирования дело это хлопотное: нужно учесть слишком много мелких деталей и нюансов организационного и технического рода. Такой вывод нам подсказывает наш профессиональный опыт: мы более 40 лет проводили и анализировали бизнес-эксперименты в десятках компаний, таких как Bank of America, BMW, Hilton, Kraft, Petco, Staples, Subway и Walmart.

Провести сплит-тестирование для каналов прямых продаж, например для интернет-магазинов, — при котором сравнивают реакцию пользователей две версии его веб-сайта, — относительно просто: методы подобных расчетов известны уже больше ста лет.

Однако подавляющее большинство (более 90%) компаний потребительского сектора ре­ализуют свою продукцию или услуги через куда более сложные системы: сети магазинов, территории продаж, филиалы банков, франшизы ресторанов фаст-фуда и т. д. Им проводить бизнес-эксперименты непросто из-за целого ряда аналитических затруднений. И прежде всего — из-за слишком маленькой выборки, не позволяющей получить надежных результатов. Крупному интернет-магазину легко наугад отобрать 50 тысяч покупателей и выяснить их реакцию на инновацию. Но даже у самой большой традиционной розничной сети нет 50 тысяч магазинов. «Физические» ритейлеры проводят свои эксперименты не в тысячах, а лишь в десятках магазинов. К тому же мы выяснили, что новые потребительские программы обычно испытывают спустя рукава. В них не применяются научные и статистические методы, поэтому руководство получает случайные данные — и делает ложные выводы.

В идеальном эксперименте организатор выбирает независимую переменную (предполагаемую причину) и зависимую (наблюдаемый эффект) и, намеренно не изменяя все прочие возможные факторы, которые могут оказать на нее влияние, изменяет независимую переменную и наблюдает, что при этом происходит с зависимой. Тщательный мониторинг и анализ манипуляций с переменными позволяет установить причинно-следственную связь — и проверить ее в других условиях.

Чтобы получить надежные сведения и оправдать затраченные на эксперимент ресурсы, компании должны задать себе несколько важных вопросов. Например: есть ли у эксперимента четкая цель? Будут ли инициаторы тестирования в своих решениях руководствоваться его итогами? Удастся ли провести этот эксперимент? Как получить надежные результаты и извлечь из тестирования максимум пользы? Все эти вопросы кажутся вполне очевидными — тем не менее компании очень часто начинают эксперимент, так и не ответив на них (см. врезку «Проверка бизнес-экспериментов»).

Есть ли у эксперимента четкая цель?

Проводить тестирование нужно, только если иным способом не получить ответа на конкретные вопросы о предполагаемых нововведениях. Вспомним, как американская сеть универмагов Kohl’s в 2013 году искала возможности для снижения операционных издержек. Предлагалось, в частности, открывать магазины на час позже. Руководители по-разному отнеслись к идее.

Одни предсказывали, что это приведет к резкому падению продаж, другие — что никаких катаклизмов не случится. Проверить правоту первых или вторых можно было лишь в ходе строгого эксперимента. Для него отобрали сто магазинов, и тестирование показало, что при новом режиме работы продажи почти не изменятся.

Взвешивая все «за» и «против» эксперимента, менеджеры компании должны четко сформулировать, что именно они хотят узнать. Только тогда станет ясно, действительно ли он необходим — и каким должен быть. В Kohl’s проверяли конкретную гипотезу: открытие магазинов на час позже (с целью сокращения операционных издержек) не приведет к значительному снижению продаж. Однако часто компании не слишком тщательно тестируют свои гипотезы, их эксперименты не позволяют сделать четких выводов, они очень дорого обходятся и, что хуже всего, не отвечают на поставленные вопросы. Если гипотеза сформулирована расплывчато, например, «мы можем развить наш бренд за счет продукции премиум-класса», то невозможно выделить конкретную независимую переменную, проверяемую с помощью столь же конкретной зависимой, а значит, гипотезу нельзя ни подтвердить, ни опровергнуть. Хорошая гипотеза позволяет вычленять переменные.

Часто руководству компании нужно учитывать не только прямые, но и косвенные последствия предполагаемых нововведений. Скажем, когда в сети дисконтных розничных магазинов Family Dollar пытались определить, нужно ли им торговать яйцами, молоком и другими скоропортящимися продуктами, а значит, выделить деньги на приобретение вит­рин-холодильников, выяснилось, что товары нового типа привлекут новых покупателей и к традиционному ассортименту компании — продуктам долгого хранения и тем самым ее прибыль еще больше вырастет. С другой стороны, возможны и отрицательные побочные эффекты. Несколько лет назад сеть «магазинов у дороги» Wawa на Восточном побережье США хотела пополнить свой ассортимент лепешками для завтрака, которые в ходе эксперимента люди охотно покупали. Но от идеи вовремя отказались: тщательная проверка (с тестовыми и контрольными группами и последующим регрессионным анализом) показала, что из-за новинки упадут продажи других, более прибыльных товаров.

Будут ли инициаторы ­эксперимента руководствоваться в своих решениях его итогами?

Прежде чем начинать эксперимент, заинтересованные в нем менеджеры должны договориться о том, как они будут использовать полученные данные. Важно учесть все результаты, а не только подтверждающие определенную точку зрения. Главное — отказаться от проекта, если тестирование подтвердит его негодность.

Когда Kohl’s изучала обоснованность расширения своего ассортимента за счет продукции новой категории — мебели, многие руководители горячо поддержали эту идею, рассчитывая на резкий рост доходов. Однако эксперимент, который проводился на протяжении шести месяцев в 70 магазинах, показал падение доходов. Для мебели пришлось выделить много места, на ее фоне другие товары выглядели менее презентабельно и оттого продавались хуже. Kohl’s теряла покупателей. Это был тяжелый удар для «мебельной партии», но от идеи пришлось отказаться. Пример Kohl’s доказывает: чтобы решить вопрос беспристрастно и исключить фактор лоббирования, без экспериментов не обойтись.

Разумеется, иногда проект стоит реализовать, даже если эксперимент не подтвердил его необходимости; например, программы, которые, как показывают тесты, не особенно подстегивают продажи, тем не менее могут быть полезны для расширения круга постоянных покупателей. С другой стороны, если вы уже точно знаете, что проект начнется в любом случае, вам и тесты незачем.

Важно так выстроить весь процесс тестирования, чтобы его результаты нельзя было игнорировать — даже если они противоречат представлениям или интуиции руководителей компании. Американская сеть супермаркетов Publix Super Markets дает зеленый свет только тем крупным проектам, особенно если они требуют больших капиталовложений, которые прошли все формальные стадии тестирования. Чтобы отобрать лучшие идеи, прежде всего проводят финансовый анализ: он показывает, насколько обоснован эксперимент с экономической точки зрения.

Для отобранных проектов аналитики разрабатывают процедуру тестирования — ее утверждает комитет, в который входит вице-­президент по финансам, — и эксперименты осуществляются под наблюдением специально созданной для этого группы. Департамент финансов выделяет деньги только на проекты, прошедшие все эти этапы и получившие только положительные оценки. «Если у нас на руках есть результаты тестов, которые однозначно говорят в пользу проекта, он получает одобрение и быстрее, и проще», — рассказывает Фрэнк Маджио, отвечающий в Publix за бизнес-аналитику.

Выстраивая процесс фильтрации, нужно помнить, что эксперименты должны стать естественной частью системы освоения новых профессиональных знаний, соответствующих приоритетам бизнеса. По правилам сети зоомагазинов Petco в каждом запросе на тестирование должно объясняться, как тот или иной эксперимент поможет компании достичь ее общей стратегической цели — стать примером инновационности. В прежнее время компания проводила около ста тестов в год, сегодня меньше — 75. Многие запросы на тесты отклоняются потому, что нечто подобное уже проводилось в прошлом; какие-то изменения, например увеличение цены товара с $2,79 до $2,89, считаются недостаточно значимыми, чтобы тратить деньги на эксперименты. «Мы хотим проверять то, что наверняка поможет развивать бизнес, — объясняет Джон Родс, бывший директор компании по ритейл-­аналитике. — Мы хотим тестировать новые ­концепции и идеи».

Удастся ли провести эксперимент?

Для эксперимента необходима проверяемая гипотеза. Но «плотность причин и следствий» бизнес-среды — сложность переменных и их взаимозависимостей — столь высока, что выявить причинно-следственные связи бывает очень трудно. Извлечь полезные выводы из бизнес-эксперимента не всегда легко, даже если удается обнаружить независимую переменную и, воздействуя на нее, наблюдать корреляцию с переменной зависимой. В бизнесе постоянно все изменяется, вероятные причины бизнес-явлений часто неясны или неизвестны, а связи между ними — сложны и неочевидны.

Представьте себе розничную сеть, насчитывающую 10 тысяч супермаркетов. Из них 8 тысяч называются QwikMart, а 2 — FastMart. Магазины QwikMart в среднем продают за год на $1 млн, а FastMart — на $1,1 млн. У руководства возникает вроде бы резонный вопрос: а может, если просто переименовать все QwikMart в FastMart, удастся заработать лишние $800 млн? Понятно, что продажи зависят от множества факторов: величина торговых залов, численность местного населения и его доходы, режим работы магазина, опыт директора, количество конкурентов в районе и т. д. Но руководство интересует только одна переменная: название магазина — QwikMart или FastMart.

Очевидное решение — провести эксперимент: сменить название, скажем, десяти магазинов QwikMart и посмотреть, что будет. Но ведь за это время может измениться множество других факторов, и определить, в названии ли дело, будет трудно. Скажем, там, где находятся четыре магазина, была очень плохая погода, в одном уволился директор, возле другого построили новый жилой квартал, а конкурент третьего затеял шумную рекламную кампанию. Пока из суммы факторов не будет вычленен один-единственный — смена названия — и оказанный именно им эффект, руководство так и не узнает, помогло или ­повредило бизнесу это новшество.

Работая в бизнес-среде с высокой «плотностью причин и следствий», компании надо понять, сможет ли она обеспечить эксперименту выборку, достаточную для того, чтобы все переменные, кроме изучаемой, нивелировали друг друга. К сожалению, так не всегда получается: эксперимент, рассчитанный на такую выборку, либо оказывается непомерно дорогим, либо губительно отражается на бизнесе. В подобных случаях, как мы увидим, руководство иногда может применять сложные аналитические инструменты, в том числе большие данные, для достижения статистической достоверности результатов.

Заметим, что руководители часто ошибаются, полагая, будто большая выборка автоматически гарантирует точность данных. Конечно, в ходе эксперимента можно проводить самые разные измерения, наблюдения и исследования, но если они нацелены на однородные объекты или тесно перекликаются друг с другом, то это значит, что по сути реальная выборка была небольшой. Скажем, если компания продает товары не напрямую, а через ­дистрибутора, то однотипность данных о потребителях может объясняться именно этим.

Необходимая величина выборки зависит во многом от силы производимого нововведением эффекта, на который рассчитывает компания. Если она уверена, что при изменениях вроде нового названия магазина эффект будет большим (продажи резко взмоют вверх), то выборку можно уменьшить. Если предполагается незначительный эффект — то увеличить. Это кажется нелогичным, но ведь чем меньшего эффекта вы ожидаете, тем легче его перепутать со «статистическим шумом» и тем больше нужно сделать замеров, чтобы однозначно доказать само наличие эффекта.

Правильно определить величину выборки значит не только гарантировать статистическую достоверность результатов эксперимента, но также сократить издержки на тестирование и способствовать появлению инновационных решений. Оптимальную выборку можно рассчитать с помощью готового ПО, такого как, например, Test & Learn, которое выпускает компания Джима Манзи Applied Predictive Technologies.

Как получить надежные 
результаты?

Мы уже описали базовые принципы проведения эксперимента. Но на деле компаниям часто приходится учитывать самые разные факторы, в том числе надежности тестирования, его стоимости, продолжительности, и находить между ними золотую середину. Упростить эту задачу и получить в ходе эксперимента достоверные результаты можно тремя способами.

Рандомизированные полевые испытания. Рандомизация в медицинских исследованиях осуществляется следующим образом. Отбирают большую группу пациентов со схожими характеристиками и диагнозом и произвольно делят их на две подгруппы. Лечат только одну подгруппу и тщательно отслеживают состояние здоровья всех пациентов. Если у получившей лечение (тестовой) подгруппы, по сравнению с не получившей (контрольной), отмечается статистически значимое улучшение состояния здоровья, то терапия признается эффективной. Точно так же рандомизированные полевые испытания помогут компаниям определить, на пользу ли им те или иные изменения.

Финансовая компания Capital One уже давно проверяет целесообразность даже самых, казалось бы, незначительных изменений, проводя строгое тестирование. С помощью рандомизированных полевых испытаний она, например, оценивает, в конвертах какого цвета лучше всего отправлять клиентам предложения о своих услугах: она рассылает две партии писем — в конвертах тестируемого цвета и в белых — и сравнивает реакцию людей.

Принцип рандомизации очень важен: он позволяет избежать систематической ошибки — сознательного или случайного отклонения результатов исследования от истинных значений, а также равномерно распределить между тестируемой и контрольной группой все оставшиеся (и, возможно, неочевидные) вероятные факторы воздействия на результат. Правда, и у тестов этого типа есть свой минус. Чтобы получать достоверные результаты, полевые испытания надо проводить статистически строго. Но менеджеры, вместо того чтобы выявлять объекты со схожими характеристиками и делить их на две группы, иногда выбирают группу для тестирования, например несколько магазинов сети, и ошибочно считают, что контрольная группа — это все остальные ее же магазины. Либо они неверно выбирают тестируемую и контрольную группу, что приводит к некорректным результатам. Сеть зоомагазинов Petco обычно испытывала новые идеи в 30 лучших магазинах, а контрольной группой были 30 худших. Нетрудно догадаться, что результаты почти всегда обнадеживали — правда, после внедрения нововведения по всей сети картина менялась.

Теперь в Petco учитывают широкий спектр параметров — величину магазина, демографические особенности потребителей, присутствие местных конкурентов и т. д. — и  стараются унифицировать их в контрольной и тестовой группах (Publix делает то же самое). Результаты экспериментов стали гораздо надежнее.

Слепые тесты. Чтобы дополнительно минимизировать систематическую ошибку и еще больше повысить надежность экспериментов, Petco и Publix проводят так называемые слепые тесты, которые предотвращают хоторнский эффект — изменение поведения, зачастую бессознательное, вызванное самим фактом участия людей в исследовании и приводящее часто к слишком оптимистическим результатам. В компании Petco никому из сотрудников тестируемых магазинов не сообщают об эксперименте, а Publix проводит слепые тесты везде, где только возможно. Publix таким же образом тестирует небольшие корректировки, например цен: в магазинах их меняют постоянно, и привыкшие к этому сотрудники не могут понять, когда идет эксперимент.

Но принцип слепого тестирования применим не всегда. Если тестируется новое оборудование или новые методы работы, Publix обычно сообщает магазинам, что в них проводится эксперимент. (Еще более высокий «класс» — двойные слепые тесты, во время которых ни организаторы, ни участники не знают, кто оказался в тестовой и кто в конт­рольной группе. Двойные слепые тесты широко применяются в медицине, но не в бизнесе.)

Большие данные. Математические методы для рандомизированных тестов, проводимых интернет-магазинами и другими прямыми каналами продаж, хорошо известны. Однако, как мы уже говорили, большинство покупок потребители делают в розничных магазинах. И тут выборка иногда не доходит даже до 100 единиц, что не позволяет применять классические статистические расчеты. Чтобы минимизировать значимость таких факторов, компании пользуются специальными алгоритмами и разнообразными наборами больших данных (см. врезку «Чем могут помочь ­большие данные»).

Представьте себе крупного ритейлера, задумавшего перепланировать 1300 своих магазинов и затратить на это $0,5 млрд. Чтобы проверить целесообразность идеи, ритейлер провел перепланировку 20 магазинов и проанализировал результаты. Отдел финансов пришел к заключению, что продажи вырастут всего на 0,5%, то есть ремонт не окупится. Маркетологи тоже провели анализ и предсказали 5-процентный рост, покрывающий стоимость перепланировки.

Оказалось, что финансисты сравнивали тес­товые магазины с контрольными, которые, хотя и были похожи по величине, доходам населения и некоторым другим параметрам, находились в очень разных регионах. Данные собирали шесть месяцев до и спустя шесть месяцев после ремонта. Маркетологи же сравнивали все магазины из одного и того же района и собирали данные за 12 месяцев до и после перепланировки. Чтобы понять, какие результаты заслуживают доверия, были про­анализированы большие данные, в том числе о каждой покупке (артикул, время покупки, цена), особенностях магазина и информация об окружающей среде (конкуренты, демографические данные о потребителях, погода). Таким образом компания отобрала контрольные магазины, максимально похожие на тестовые, и получила небольшую, но статистически значимую выборку. Затем применили объективные статистические методы проверки данных, полученных финансистами и маркетологами. Выяснилось, что выводы маркетологов были ближе к истине.

Даже если компания не может строго следовать протоколу испытания, на помощь приходят аналитики: они помогут выявить и скорректировать некоторые отклонения, исключить ошибки рандомизации и устранить прочие шероховатости. Очень часто тестирование в организациях проводится без рандомизации, «естественным» образом. Например, вице-президент по производству пожелал узнать, лучше ли новая программа повышения квалификации сотрудников, которую уже проводят подразделения компании примерно на 10% ее рынков, чем старая. В таких ситуациях получить много полезной и точной информации можно с помощью тех же алгоритмов и наборов больших данных, которые применяются при анализе небольших или связанных выборок. Анализ может затем помочь экспериментаторам разработать структуру по-настоящему рандомизированного полевого испытания, чтобы уточнить и подтвердить результаты, особенно если кажется, что они не соответствуют действительности, или если проект предполагает значительные инвестиции.

Признак качественного эксперимента — воспроизводимость его результатов (при повторном проведении опыта другими). Проводить заново все дорогое испытание неразумно, но перепроверить результаты можно иначе. Petco иногда, когда речь идет о больших инновациях, внедряет их поэтапно, чтобы проверять результаты, прежде чем переводить на новые рельсы все подразделения. А в компании Publix по утвержденному шаблону отслеживают итоги реализации проекта и сравнивают их 
с предполагаемыми.

Извлекла ли компания из эксперимента максимум пользы?

Многие компании, выделяя на эксперименты большие деньги, не умеют пользоваться их плодами. Чтобы избежать этого, руководители должны учитывать эффект, который, как предполагается, новшество окажет на потребителей, рынки и сегменты, — и направить инвестиции туда, где они максимально окупятся. Надо думать не о том, что сработает, а что и где сработает.

Petco часто внедряет новое только в магазинах, больше всего похожих на те, в которых при эксперименте были получены лучшие результаты. Таким образом компания и экономит деньги, и не «трогает» магазины, в которых инновации не оправдают себя, а то и будут иметь отрицательные последствия. Благодаря выборочному подходу Petco часто удается удвоить прогнозируемый эффект ­новых инициатив.

Еще один полезный прием — «оптимизация стоимости». У большинства программ есть компоненты, сулящие большую и меньшую выгоду. Главное — внедрить только все самое рентабельное. Допустим, эксперимент в магазине показал, что благодаря 20-процентной скидке продажи выросли на 5%. Что тут зависело от скидки, что — от рекламной кампании или от продавцов-консультантов, которых заранее научили рекомендовать посетителям определенные товары? В подобных ситуациях компании могут изменять комбинацию компонентов: допустим, реклама есть, скидка есть, но продавцы не привлекают к ней внимания покупателей. Анализ результатов позволит разделить влияние разных факторов и отказаться от того, что не окупается — скажем, не тратить деньги на дополнительные тренинги продавцов.

Более того, тщательно проанализировав данные эксперимента, компании смогут посмотреть свежим взглядом на свой бизнес и проверить свои предположения о том, какие факторы вызывают те или иные последствия. Большие данные позволяют увидеть взаимо­связи — например, обнаружить, что продажи одних продуктов часто идут «рука об руку» с продажами других. Но эксперименты позволяют докопаться и до истоков этих взаимо­связей: понять, от чего зависит рост и падение продаж. Знание подобных основополагающих взаимосвязей необходимо компаниям. Иначе у руководства нет полного и исчерпывающего представления о происходящем в компании и оно принимает ошибочные решения.

Сеть Cracker Barrel Old Country провела эксперимент, чтобы узнать, стоит ли в ее ресторанах-магазинах заменить лампы накаливания на светодиодные. К изумлению руководства, обнаружилось, что в ресторанах, перешедших на диодные, стало меньше посетителей. От новшества чуть было не отказались, но решили изучить вопрос подробнее. Оказалось, что новые лампочки не так ярко, как прежде, освещали вход в рестораны, и многие посетители думали, будто они закрыты. Но ведь для того и покупались светодиоды, чтобы освещение стало ярче! Выяснилось, что раньше некоторые директора ресторанов не следовали корпоративным стандартам освещения и по своему усмотрению добавляли у входа лампочек, чтобы заманивать гостей. Поэтому унифицированное новое освещение казалось людям тусклым. Если бы сеть остановилась, получив первые результаты, был бы сделан ошибочный вывод, будто светодиодное освещение вредит бизнесу. Чтобы увидеть целостную картину, понадобилось более тщательное исследование.

И правда, не докапываясь до истинных причин происходящего, компании рискуют раз за разом принимать неверные решения. Помните, как сеть Kohl’s испытывала новый режим работы магазинов? Тогда продажи поначалу падали. Руководство чуть было не остановило эксперимент. Но анализ показал, что количество покупок осталось тем же — сократилось количество товаров в одной покупке. В конце концов и этот показатель вернулся к прежнему значению — как и объем продаж. Аналитикам Kohl’s не удалось точно объяснить причины первоначального падения продаж, но руководство компании удержалось от соблазна обвинить во всем сокращенный рабочий день, лежащую на поверхности причину.

Многие компании начинают понимать, что эксперимент — лишь начало пути. Его ценность — в анализе и затем использовании полученной информации. В прошлом Publix тратила 80% выделяемого на тестирование времени, чтобы собирать данные, и 20% — чтобы их анализировать. Сейчас компания пытается изменить это соотношение.

Вопреки здравому смыслу

Уделяя внимание величине выборки, контрольным группам, рандомизации и т. д., компании гарантируют себе достоверные результаты тестов. Чем более корректны и воспроизводимы эти результаты, тем проще идеологам эксперимента преодолевать сопротивление организации, а оно может быть сильным, если итоги теста противоречат принятым в отрасли методам.

Когда в Petco тестировали новую цену для продаваемого вразвес продукта, оказалось, что лучше всего идут упаковки по 100 г по цене сколько-то долларов и 25 центов. Это противоречило представлению о том, будто лучшие цены кончаются на 9, например $4,99 или $2,49. «Правило “красивой цены” в рознице казалось незыблемым», — вспоминает Джон Родс, директор по аналитике рынка. Руководство отнеслось к результатам скептически, но поскольку эксперимент был проведен безукоризненно, то новую цену опробовали на практике. На нее перешло несколько магазинов — и через полгода продажи подскочили более чем на 24%!

Дело не только в том, что эксперимент может быть полезен бизнесу. Он придает компаниям решимости отказаться от ложных стереотипов и заставляет даже бывалых руководителей не доверять всецело своей интуиции. А чем точнее решения компании, тем лучше она работает.

Могла ли J.C. Penney предотвратить катастрофу, тщательно протестировав каждый пункт предполагаемой программы изменений? Сегодня, конечно, точного ответа никто не даст. Но одно можно утверждать наверняка: прежде чем внедрять столь рискованную инновацию, компания должна была убедиться, что в своих решениях она руководствуется точным ­знанием, а не только интуицией.