«Значение этих приемов
только возрастает»

Джереми Кинг работает в сфере технологий почти три десятилетия — а последние 15 лет помогал компаниям совершенствовать процессы принятия решений за счет экспериментов и анализа данных. Сегодня Джереми занимает должность старшего вице-президента по технологиям в Pinterest. Он рассказал HBR о преимуществах экспериментального подхода и о культуре, необходимой для его применения. Вот выдержки из этого разговора.

HBR: Когда вы начали применять в работе А/В-тестирование?

КИНГ: С 2001 по 2008 год я работал в eBay. Во второй половине моего пребывания в должности фирма стала уделять много внимания платформам для экспериментов и А/В-тестам. Поначалу эксперименты были связаны в основном с поисковым движком. В то время на сайте eBay продавалось 100 млн товаров, и мы постоянно пытались оптимизировать поисковую выдачу для пользователей. Мы хотели, чтобы люди видели то, что им подходит, даже если это не совсем то, что они искали. На платформах вроде eBay, Etsy и Pinterest от поисковых алгоритмов не требуется идеальная точность. Им важно подталкивать людей к изучению самых разных предложений и обнаружению новых товаров. Так что мы экспериментировали с выдачами, стараясь нащупать оптимальное сочетание таких параметров, как число транзакций, кликабельность и время поиска.

Зависит ли успех этих экспериментов от культуры компании?

Да, люди должны привыкнуть принимать решения на основе данных. Если компания уже устоялась, ей придется многое поменять. В большинстве организаций решение принимает старший из присутствующих, или эксперт, или ответственный за конкретный фронт работ — причем единолично и зачастую интуитивно. А если компания опирается на данные, вряд ли кто-то будет подкреплять свое решение словами «мне так кажется» или «я готов поспорить».

Когда я пришел в Pinterest, меня больше всего поразило, что за последние шесть дней 65% сотрудников компании делали запросы в корпоративную систему больших данных. И это были не только разработчики и руководство, но и, например, кадровики и юристы. На совещаниях, если кто-то задавал вопрос, люди не гадали, а открывали ноутбуки и просматривали транзакции клиентов в поисках точных данных.

Насколько сложно зрелым традиционным фирмам создать такую среду?

Главная проблема таких фирм — отсутствие у людей доступа к данным. Их руководство любит рассуждать о демократии данных, но не спешит устранять барьеры, связанные с конфиденциальностью. Скептики из всех отраслей постоянно спрашивают меня: «Неужели нужно открыть все данные для всей компании?» Демократия данных требует инвестиций и культурного сдвига, но дает огромные преимущества: открывая сотрудникам доступ к данным, вы начинаете лучше принимать решения.

Вы почти восемь лет проработали в Walmart. Расскажите об их культуре экспериментов.

Сотрудники Walmart до сих пор вспоминают магазин №8, в котором основатель Сэм Уолтон когда-то обкатывал новые подходы. Сегодня практика проверки идей на небольшой выборке точек продолжается: Walmart проводит эксперименты примерно в десятке магазинов в разных регионах. Там тестируют, например, планировку и применение интерактивных устройств. В мое время в компании экспериментировали с магазином, где не было ни одного кассира — только терминалы самообслуживания. Как легко догадаться, в физическом магазине такие опыты занимают намного больше времени, чем в цифровой среде. Кроме того, на культуру Walmart сильно влияют продавцы, огромный опыт которых заставляет их опираться больше на чутье, чем на данные. До определенного момента этот подход срабатывает. Но есть ситуации, в которых он начинает буксовать — например, при масштабировании, как это было у нас на Walmart.com, где каждый день появлялись тысячи новых товаров и уже никто не мог предсказать на основе опыта, что и как будет продаваться в каком регионе. Такие вещи лучше доверить компьютеру.

Чтобы поддерживать культуру экспериментов, нужно нанимать каких-то особых людей?

Я бы не сказал, что мы как-то изменили подход к найму, — а вот вводить новичков в курс дела нужно иначе. Компании вроде Facebook*, Google и Pinterest известны долгим процессом включения в работу. Некоторые из моих друзей работают в Facebook* — там новичков целых две недели учат обращаться с информацией: каждый должен понимать, какие данные доступны, как получить к ним доступ и как правильно основывать на них решения. Такое обучение требует значительных инвестиций.

А может ли компания чересчур зациклиться на экспериментах и таким образом замедлить принятие решений?

В Pinterest мы часто это обсуждаем. Чтобы тестирования не мешали двигаться вперед, мы используем прием под названием «контрольная выборка». Допустим, интуиция подсказывает, что такие-то изменения на сайте обязательно дадут положительный эффект. Иногда, вместо того чтобы две недели проводить А/В-тестирование, мы внедряем это изменение для 99% пользователей и проверяем, действительно ли результаты по этим 99% лучше, чем по оставшемуся 1%. Таким образом, мы не затягиваем с нововведением, но все равно проводим эксперимент, чтобы подтвердить свои догадки.

Беспокоит ли вас окупаемость вложений во все эти эксперименты?

Эксперименты довольно дороги, но отдача от них настолько высока, что обычно они окупаются. Например, в Pinterest мы проверяли, с какой точностью алгоритмы машинного обучения находят материалы, противоречащие нашим правилам сообщества. Мы выстроили новую систему, улучшившую результаты поиска на 20%. Такого эффекта мы не смогли бы добиться, если бы не сравнивали разные подходы десятки раз. Скажем, мы разработали новые технологии машинного обучения, умеющие выявлять и скрывать контент о самоповреждениях, так что сейчас всего этого на Pinterest намного меньше: за последний год пользователи жаловались на него на 88% реже. А если кто-то все же жалуется, мы удаляем содержимое втрое быстрее, так что его успевает увидеть меньше людей. Всего этого мы достигли благодаря экспериментам.

Нет ли риска, что А/В-тесты лишь очередная мода?

Вряд ли. Я начал применять такой подход в 2004 году, прошло уже 15 лет. Значение этих приемов только растет. Платформы для экспериментов становятся доступнее и эффективнее. Я думаю, со временем мы увидим, как возрастет число компаний, принимающих решения на основе экспериментов.

* принадлежит Meta, которая признана в России экстремистской и запрещена