Как создать
культуру экспериментирования

В декабре 2017 года, накануне сезона новогодних путешествий, директор по дизайну Booking.com предложил провести весьма смелый эксперимент — протестировать совершенно новый макет главной страницы сайта. Вместо множества предложений отелей, апартаментов и идей для путешествий новый вариант содержал лишь маленькое окошко, где нужно было указать направление, даты, количество человек и выбрать один из вариантов: «жилье», «перелет» или «аренда машины». Все содержимое главной страницы, все элементы дизайна (картинки, текст, кнопки, сообщения), на оптимизацию которых ушло много лет, предлагалось убрать.

Гиллиан Танс, в то время возглавлявшая Booking.com, была настроена скептически. Она опасалась, что изменения смутят постоянных клиентов. Лукас Вермеер, руководивший основной группой по экспериментам, поспорил на бутылку шампанского, что тест провалится, обрушив ключевую метрику — конверсию (долю посетителей сайта, совершивших бронирование). Почему же при столь пессимистичных ожиданиях руководство не запретило эксперимент? Потому что это нарушило бы один из важнейших принципов Booking.com: любой сотрудник вправе проверить любую идею без разрешения начальства.

Booking.com проводит одновременно более тысячи таких тестов — по моим подсчетам, более 25 тыс. в год. В каждый момент времени происходят квадриллионы (миллионы миллиардов) коррекций сайта: если два пользователя откроют сайт одновременно в одном и том же месте, они едва ли увидят одну и ту же версию. Все эти эксперименты помогли Booking.com менее чем за 20 лет превратиться из небольшого голландского стартапа в крупнейшую в мире онлайн-платформу поиска жилья.

Силу онлайн-экспериментов разглядела не только Booking.com. Цифровые гиганты вроде Amazon, Facebook, Google и Microsoft уже оценили их огромный потенциал в сфере маркетинга и инноваций. Например, благодаря таким экспериментам в поисковик Bing от Microsoft ежемесячно вносятся десятки улучшений, которые в совокупности повышают среднюю выручку с поискового запроса на 10—25% в год. Изначально нецифровые фирмы — такие, как FedEx, State Farm и H&M, тоже прибегают к онлайн-тестам, чтобы находить лучшие точки взаимодействия с клиентами, варианты дизайна, скидок и индивидуальных рекомендаций.

«Сегодня, когда мир становится все более цифровым, если вы не проводите масштабных экспериментов, то в долгосрочной перспективе — а во многих отраслях и в краткосрочной — вы банкрот, — говорит глава Expedia Group Марк Окерстром. — Мы постоянно проводим сотни, если не тысячи, параллельных экспериментов, в которые вовлечены миллионы посетителей сайта. Благодаря этому мы не гадаем, что нужно клиентам: мы можем вновь и вновь проводить среди них самые массовые “опросы”, чтобы они сами рассказали нам, чего хотят».

Однако изучив полтора десятка организаций и проанализировав анонимизированные данные экспериментов более чем тысячи компаний, я убедился, что Booking.com, Expedia и подобные им, увы, пока исключение. Многие фирмы вместо сотен и тысяч онлайн-тестов в год проводят всего несколько десятков — да и те почти не дают результатов.

Если тестирования так выгодны, почему компании не прибегают к ним чаще? Потратив несколько лет на изучение этого вопроса, могу сказать: главная причина — в культуре. В процессе масштабирования онлайн-экспериментов компании приходят к выводу, что им мешают не отсутствие инструментов и технологий, а сложившиеся поведенческие модели, взгляды и ценности. На один удачный эксперимент всегда приходится примерно 10 неудачных, а многие организации, заточенные на эффективность, предсказуемость и «выигрыш», считают это расточительством.

Чтобы идти по пути инноваций, компания должна сделать эксперименты неотъемлемой частью каждодневной работы — даже если ее бюджет невелик. Для этого необходимо создать среду, где поощряется любопытство, данные ценятся выше мнений, любой человек (не только сотрудник отдела НИОКР) вправе проводить или предлагать тестирования, все эксперименты этичны, а менеджеры следуют новой модели лидерства. В этой статье я рассматриваю истории нескольких компаний, которым все это удалось, — и прежде всего Booking.com, где создана едва ли не самая сильная культура экспериментирования из виденных мною.

ПООЩРЯЙТЕ ЛЮБОПЫТСТВО

Все люди в компании, от линейных сотрудников до высшего руководства, должны ценить неожиданности — пусть даже сложно выразить их в денежном эквиваленте и невозможно предсказать, когда и как часто они будут происходить. Если организация принимает такой стиль мышления, в людях пробуждается любопытство и они начинают смотреть на неудачи не как на разорительные ошибки, а как на возможность чему-то научиться.

Классический пример — предпринятые Amazon изменения в мобильной игре Air Patriots, где игроки с помощью эскадрильи защищают башни от атак. После выхода новой версии разработчики были озадачены: всего за семь дней показатель удержания пользователей рухнул на невиданные 70%, а выручка — на 30%. Выяснилось, что команда непреднамеренно усложнила игру примерно на 10%. В Amazon быстро решили проблему, но разработчики задумались: может ли дальнейшее упрощение игры привести к серьезному росту удержания и выручки? Чтобы выяснить это, в дополнение к контрольной версии они протестировали еще четыре новых уровня сложности. В итоге лучшие результаты показал самой простой вариант. Внеся еще ряд изменений, Amazon выпустила новую версию — на этот раз пользователи стали играть на 20% дольше, выручка тоже выросла на 20%. Благодаря этому случаю разработчики получили неожиданную и ценную информацию и задумали ряд новых экспериментов.

К сожалению, подобная реакция на сбои — большая редкость. Во многих компаниях руководители неохотно выделяют ресурсы на эксперименты из-за связанных с ними рисков. Но те, кто все же решается на это, получают преимущества, которые должны вдохновлять других следовать их примеру.

Кроме того, многие организации слишком осторожно подходят к экспериментам и их масштабированию. Чрезмерный упор на то, чтобы все тесты были успешными, заставляет сотрудников ограничиваться знакомыми решениями и проверенными приемами и избегать тестирования новых идей из страха потерпеть неудачу. При этом в реальности с увеличением количества тестов связанные с ними риски снижаются. Лишь около 10% экспериментов Booking.com дают положительные результаты, то есть подтверждают, что вариант В — изменение с целью улучшения продаж, повторных обращений, кликабельности, увеличения количества времени, проведенного на сайте, и т. д. — на случайной выборке пользователей работает лучше, чем контрольный вариант А — статус-кво. (Помимо А/В-тестов Booking.com проводит и более сложные эксперименты, позволяющие оценить сразу несколько изменений.) Но когда вы проводите большое число экспериментов, даже низкий процент успеха превращается в значимые результаты, которые в итоге оправдывают финансовый и эмоциональный ущерб от неудач. Если же компания проводит лишь несколько экспериментов в год, удачным может оказаться всего один — а то и вообще ни одного. В этом случае ущерб, конечно, будет велик.

В изученных мною компаниях многие идеи тестируются в самом начале разработки нового решения — там доля успешных экспериментов еще меньше. Однако провалы на ранних этапах работы позволяют вовремя отбросить неудачные идеи и сосредоточиться на более перспективных.

Там, где эксперименты стали частью культуры, люди не боятся потерпеть поражение. «У нас преуспевает тот, кто любознателен, открыт новому, готов учиться и во всем разбираться и кого не смущает возможность ошибиться», — говорит Вермеер, который сегодня наблюдает за всеми тестами в Booking.com. Именно таких людей ищут рекрутеры компании — а чтобы новички осознали, что они вправе следовать интуиции, их проводят через комплексный процесс адаптации, включающий обучение экспериментам, а затем дают им доступ ко всем инструментам для тестирований.

ЦЕНИТЕ ДАННЫЕ ВЫШЕ МНЕНИЙ

Эмпирические результаты онлайн-экспериментов важнее, чем авторитетное мнение — чьим бы оно ни было. Именно так считают в Booking.com; но в других фирмах такой подход встречается редко, и тому есть веская причина: человеческая природа. Мы охотно признаем результаты, подтверждающие наши убеждения, но подвергаем сомнению то, что им противоречит.

Что же делать? Внедрять изменения, подтвердившие свою эффективность в ходе экспериментов, с минимумом исключений. Один из директоров Booking.com говорит об этом так: «Если тест показывает, что шапка сайта должна быть розовой, значит, так тому и быть. Всегда нужно слушаться тестов».

Убедить топ-менеджеров следовать этому правилу нелегко. (Американский писатель Аптон Синклер иронично замечал: «Трудно заставить человека понять что-то, если от непонимания этого зависит его зарплата!») Но это крайне важно: ничто не бьет по инновациям так, как авторитетное мнение самого высокооплачиваемого сотрудника.

Обратите внимание: я не утверждаю, что на онлайн-экспериментах нужно или можно основывать все управленческие решения. Безусловно, некоторые идеи трудно или даже невозможно протестировать — например, стратегические решения о приобретении компаний.

Но когда проверяется все, что можно проверить, эксперименты становятся средством принятия менеджерских решений и подпитывают конструктивные дискуссии. Порой итогом таких дискуссий становится осознанный отказ от приоритета данных в конкретном случае. Такое однажды произошло в Netflix — компании со сложной инфраструктурой для масштабных экспериментов — с решением, касающимся комедийного сериала. Как сообщается в статье 2018 года в Wall Street Journal, топ-менеджеры оказались перед трудным выбором: тесты показали, что потенциальные зрители чаще кликали по рекламе не с Лили Томлин и Джейн Фондой (ранее они обе сыграли в сериале «Грейс и Фрэнки»), а с одной Лили. Группа, отвечавшая за информационную поддержку, забеспокоилась, что, убрав Фонду из рекламы, они испортят отношения с актрисой и, вероятно, нарушат условия контракта. После напряженных дебатов о том, что важнее: эмпирические данные или стратегические соображения, Netflix решила использовать изображения с обеими актрисами вопреки пользовательским предпочтениям. Так или иначе, располагая экспериментальными данными, компания знала, на что идет.

ДЕМОКРАТИЗИРУЙТЕ ЭКСПЕРИМЕНТЫ

Как я уже отмечал, любой сотрудник Booking.com вправе запустить эксперимент на миллионах клиентов, не спрашивая разрешения у начальства. Платформой для экспериментов в компании активно пользуется около 75% из 1800 специалистов, занимающихся технологиями и продуктами. Стандартные шаблоны помогают без особого труда настраивать тесты, а процедуры подбора пользователей, рандомизации, фиксации поведения посетителей сайта и создания отчетности полностью автоматизированы. Когда-то обучение и поддержку всей организации осуществляли основная группа по экспериментам и пять команд-сателлитов — но потребности фирмы возросли, и теперь в эту структуру входят четыре ведущие группы, подотчетные Вермееру, и специалисты («представители») в продуктовых группах.

Для запуска тестирования сотрудник или команда заполняет видимую всем электронную форму, указывая название эксперимента, цель, основных бенефициаров (клиентов или поставщиков), связанные с ним прошлые эксперименты, количество модификаций для проверки в рамках тестов А/В, А/В/С и А/В/n. После запуска эксперимента в первые несколько часов команда пристально наблюдает за его ходом: если первичные или вторичные метрики быстро падают, команда может остановить тест. По завершении начального этапа платформа в автоматическом режиме проводит проверки качества данных и в случае сбоев выдает предупреждения. Для поощрения открытости в Booking.com все завершенные эксперименты сохраняются в общей базе, где можно найти полное описание успехов, провалов, итераций и окончательных решений. Кроме того, каждый может в реальном времени просмотреть данные, генерируемые текущими экспериментами.

«Как ни парадоксально, именно централизация инфраструктуры экспериментов позволила нам децентрализовать компанию, — объясняет Вермеер. — Все пользуются одними и теми же инструментами. Благодаря этому люди доверяют чужим данным, дискутируют, отвечают за свои решения. Другие компании, например Microsoft, Facebook и Google, технически подкованнее нас, скажем, в машинном обучении — зато мы за счет простых А/В-тестов активнее привлекаем к экспериментам всех сотрудников; нам удалось демократизировать тестирования по всей организации».

Конечно, демократизация порождает свои проблемы. Одна из них — риск, что однажды команда или сотрудник сломает что-нибудь на сайте Booking.com и тот выйдет из строя. Другая состоит в том, что каждой команде приходится самой выбирать направление работы и определять, какую из проблем пользователей решать. Это требует всесторонней подготовки и постоянных дискуссий между членами команды о формулировках проблем. В компании поощряют дискуссии: сотрудники обращаются к коллегам, как только замечают нечто странное. Любой вправе не только запустить, но и приостановить эксперимент. Правда, это случается только в тех редких случаях, когда эксперимент явно дает катастрофические результаты: скажем, если кто-то, задержавшись вечером в офисе, видит, что ключевая метрика (например, конверсия) резко падает и продолжение теста приведет к миллионным убыткам.

Такая система дает командам необходимую автономию для испытания новых подходов и позволяет любому сотруднику следить за экспериментами и сразу же давать обратную связь. В результате люди свободно проверяют все свои идеи по развитию бизнеса Booking.com.

СЛЕДИТЕ ЗА ЭТИЧНОСТЬЮ

Планируя новые эксперименты, необходимо задуматься: не покажутся ли они пользователям неэтичными? На этот вопрос не всегда можно найти однозначный ответ, но если не уделять ему внимания, легко вызвать шквал критики. Вспомним проведенный Facebook в 2012 году недельный эксперимент по проверке «заразительности» эмоциональных состояний пользователей. Новостные ленты (алгоритмизованные списки публикаций, историй и мероприятий) перетасовали, чтобы выяснить, станут ли люди меньше писать о хорошем, если будут видеть меньше позитивных публикаций в соцсети, — и наоборот. В эксперимент оказались вовлечены почти 690 тыс. произвольно выбранных пользователей: примерно 310 тыс. из них без своего ведома увидели «эмоционально измененную» новостную ленту, а остальные (контрольная группа) — ленту, из которой было выброшено несколько случайных постов.

Когда исследователи из Facebook и Корнелльского университета опубликовали результаты этого опыта в научном журнале, разразился скандал. До этого момента специалисты по анализу данных Facebook много лет проводили эксперименты на ничего не подозревающих пользователях — но попытки манипулировать эмоциями задели людей за живое. Критики выражали сомнения в том, что Facebook вправе вовлекать в подобные эксперименты всех подписавшихся под ее стандартной политикой использования данных: по их мнению, компания должна была уведомить пользователей, что они могут отказаться от участия в тестах и что информация используется в исследовательских целях. С точки зрения получения знаний о клиентах эксперимент был успешным: он показал, что эмоциональное заражение в интернете действительно возможно — хотя эффект был очень слаб. Однако некоторые пользователи сочли, что Facebook использовала их как подопытных кроликов.

Исследования показывают: компании, которые сначала проверяют свои идеи, подвергаются большей критике со стороны потребителей, чем те, кто внедряет новшества без всяких экспериментов. Специалист по биоэтике Мишель Мейер и ее коллеги опубликовали анализ 16 исследований в таких сферах, как здравоохранение, дизайн автомобилей и бедность в разных странах; этот анализ показал, что люди считают А/В-тесты более сомнительными с этической точки зрения, чем внедрение непроверенного варианта (А или В) сразу для всех клиентов, — даже когда сами эти новшества не вызывают возражений.

Очевидно, что без обучения и контроля в этической сфере не обойтись. Здесь важно позаботиться о том, чтобы эти процессы не заставляли людей осторожничать и не связывали их бюрократическими путами. Именно поэтому в Booking.com сотрудникам не указывают, какие тесты нужно проводить. Вместо этого людей призывают задаваться вопросом: пойдет ли этот тест или новшество на пользу или во вред клиентам? «Я бы предпочел не создавать лишние политики или этические комиссии, — признается Давид Висманс, директор по продукту Booking.com. — Такие вещи невозможно масштабировать: в результате возникает узкое место, а политика тестирований лишает людей чувства свободы». Компания решает проблему иначе, поощряя дискуссии на внутреннем форуме, открытом для всех сотрудников. Споры бывают весьма острыми: например, допустимо ли подталкивать пользователя к завершению транзакции (в том числе сообщениями вроде «Оплатите сейчас — или потеряете бронь», «Осталось всего три номера»)? «Я хотел бы, чтобы сообщество само себя регулировало», — объясняет Висманс.

С этой целью в процесс адаптации новых сотрудников Booking.com входит, помимо прочего, тренинг по этике. LinkedIn — еще одна компания с масштабной программой экспериментов — подходит к вопросу немного иначе. Она разработала внутренние правила, согласно которым компания не проводит эксперименты, «нацеленные на ухудшение впечатлений участников, изменение их настроения или эмоций либо манипуляцию их настройками или предпочтениями».

ОСВОЙТЕ НОВУЮ МОДЕЛЬ ЛИДЕРСТВА

Демократизируя эксперименты и учитывая в работе их результаты, компании приучают сотрудников самостоятельно принимать решения и внедрять инновации и усовершенствования. Но если большинство решений будет приниматься таким образом, чем же станут заниматься топ-менеджеры, помимо разработки стратегии (в том числе по приобретению других компаний)? В их ведении останутся как минимум четыре задачи.

Ставить высокие цели на перспективу, которые можно разбить на проверяемые гипотезы и ключевые метрики. Люди должны видеть, как их эксперименты работают на общую стратегическую цель. Предположим, руководство Booking.com поставило задачу сделать сайт самым удобным в отрасли, рассчитывая, что удобство пользования повысит трафик, привлечет на платформу больше поставщиков услуг и поможет увеличить клиентскую базу и активность. В поисках путей к этой цели сотрудники начнут предлагать гипотезы и связанные с ними метрики, например: «если подчеркнуть в тексте самую важную информацию, людям будет проще ее найти и конверсия повысится» или «опция бесплатной отмены бронирования в один клик повысит возвращаемость пользователей, не снизив общего числа совершенных бронирований».

Внедрять системы, привлекать ресурсы и выстраивать структуры для поддержки масштабных экспериментов. Для научной проверки почти любой идеи требуется инфраструктура: инструменты, конвейеры данных, специалисты по анализу данных. Существуют готовые программы и сервисы, позволяющие начать тесты — но для масштабного развертывания экспериментов руководство должно глубоко интегрировать соответствующие технологии в процессы компании. Это обеспечит нужный баланс централизации и децентрализации.

В централизованных группах узкие специалисты (разработчики, дизайнеры интерфейсов, аналитики данных) могут проводить эксперименты для всей компании, опираясь на самые современные методы и ресурсы. Но если тесты станут уделом небольшой группы профессионалов, вам будет трудно масштабировать эксперименты и изменить корпоративную культуру. При децентрализованной системе специалисты распределяются по разным отделам. Такой подход позволяет экспериментировать самым разным частям организации — однако порой он ведет к замедлению обмена знаниями, конфликтам целей и плохой координации специалистов. Децентрализация полезна на начальном этапе для широкого вовлечения людей в тестирования — но затем каждой компании стоит перейти к совершенствованию своей экспериментальной базы. Именно так поступили в Booking.com. Сначала небольшие команды распространили практику экспериментирования по всей компании, а затем выяснилось, что эти команды слишком заняты поддержкой пользователей и не успевают развивать корпоративную технологическую базу. Чтобы решить эту проблему и скоординировать команды оптимальным образом, Booking.com недавно перешла на модель «инновационных центров», которые поддерживают структурные подразделения, стандартизируют практики экспериментов и обеспечивают последовательное применение наработок.

Подавать пример. Лидер должен действовать по тем же правилам, что и все остальные, и тоже подвергать собственные идеи проверкам. «Нельзя считать, что ты самый умный и выше всего этого, — утверждает Гиллиан Танс. — Если я как гендиректор скажу сотрудникам: “Сделайте вот так, потому что я считаю, что это будет полезно для бизнеса”, они посмотрят на меня и ответят: “Хорошо, мы проведем тесты и проверим, правы ли вы”». Руководитель должен проявлять интеллектуальную скромность и не бояться признать, что он чего-то не знает. Полезно прислушаться к совету Фрэнсиса Бэкона, отца индуктивного метода научного познания: «Если человеку все ясно с самого начала, в конце его ждут сомнения; но если он благоразумно начнет с сомнений, то к концу ему все станет ясно».

Признать, что одних слов недостаточно для перемен. Лидер организации, ориентированной на эксперименты, в конечном счете должен отпустить вожжи и предоставить сотрудникам право проводить собственные тесты — а этого нельзя добиться, просто указав людям на такую возможность. Здесь нужны общие усилия — подобные тем, которые успешно предприняли в IBM.

В 2015 году эксперименты не играли ключевой роли в работе компании. ИТ-отдел предлагал проводить тесты, но они были слишком забюрократизированы, а стоили дорого (расходы ложились на структурные подразделения). За тестирования отвечал всего один специалист — он же принимал решения и отклонял множество предложений, считая, что те вряд ли себя оправдают. В итоге за весь 2015 год компания провела всего 97 тестов. Затем эксперименты перешли в ведение Ари Шейнкина, тогдашнего главы отдела маркетинговой аналитики. Заручившись поддержкой директора по маркетингу, Ари наделил 5500 маркетологов IBM по всему миру правом проводить собственные эксперименты. Чтобы подтолкнуть их к этому, он принял ряд мер: внедрил простые в использовании инструменты, создал инновационный центр для обеспечения поддержки и структуру для рационализации экспериментов, предложил всем сотрудникам обучение и сделал онлайн-тестирование доступным для всех подразделений. Кроме того, Шейнкин провел стартовый «блиц-тест»: поручил маркетинговым подразделениям провести 30 онлайн-экспериментов за 30 дней. После этого в каждом квартале проводился конкурс на самый инновационный или самый масштабируемый эксперимент. Использовался и более действенный прием: IBM привязала часть бюджета каждого отдела маркетингового направления к планам по экспериментам. Все эти усилия принесли плоды. К 2018 году компания проводила уже 2822 теста в год.

Реализация преобразующего потенциала экспериментов требует последовательных шагов. Со временем тесты приведут к тысячам больших и малых изменений, которые в совокупности принесут огромную выгоду. Выбор подходящих инструментов — важная, но самая простая часть процесса, недостаточная для того, чтобы эксперименты стали частью жизни компании. Лучше всего об этом сказал Висманс: «Главам компаний я дал бы один совет: помните, масштабные тесты — вовсе не дело техники; это дело культуры, которую вам предстоит изменить. Задайте себе два главных вопроса: готовы ли вы каждый день получать доказательства своей неправоты? Готовы ли вы дать сотрудникам больше прав и самостоятельности? Если вы не хотите узнавать о своих ошибках и не готовы позволить подчиненным определять будущее ваших продуктов, у вас ничего не выйдет. Вы никогда не получите полной отдачи от экспериментов».

Не так важно, удался ли конкретный эксперимент или же оказался провальным; важно то, как организация принимает решения в условиях неопределенности. Нельзя полагаться лишь на убеждения или частные мнения. Если их можно проверить — их нужно проверить. 

Об авторе. Стефан Томке (STEFAN THOMKE) — профессор делового администрирования Гарвардской школы бизнеса, автор книги «Experimentation Works: The Surprising Power of Business Experiments» (HBR Press, 2020).

* деятельность на территории РФ запрещена