Берегитесь простых ответов, полученных от
больших данных

Мощное и удобное в использовании программное обеспечение (программное обеспечение как сервис) и аналитические языки программирования (например, R) дали возможность всем сотрудникам, а не только фанатам больших данных уточнять различные параметры и показатели в работе компании. Внезапно все или почти все смогли разобраться в большинстве тонкостей процессов.

Такая прозрачность позволяет значительно большему числу людей подключаться к решению важных проблем фирмы, а значит, повышается вероятность их успешного исхода. Но есть один существенный недостаток в этой идеальной картине: добыв ответ на вопрос, даже «осмысленный», вы не знаете, получили ли вы важную или не столь существенную информацию.

Это теперь называют «эффектом кнопки»: призрак в машине всякий раз выдает правильный ответ, избавляя нас от необходимости думать. Но не все данные попадают в «машину», надо уметь хорошо ориентироваться в реальном и сложном мире, чтобы понять результаты, выданные «кнопкой».

Для анализа больших данных нужно, к примеру, кое-что понимать в самом «распределении данных». Многие статистические методы, в том числе те, которые преподают на курсах статистики в университетах, предполагают «нормальное распределение» данных. Существует и математическое описание такого распределения, однако привычнее так и называть график кривой нормального распределения Гаусса. Выглядит этот график как колокол: число наблюдений отмечается на оси ординат, самое большое значение находится посередине, распределение симметрично по обе стороны от среднего, и число результатов по обе стороны стремительно падает. Благодаря такому распределению 66% результатов попадает в одно стандартное отклонение выше или ниже среднего — и 95% результатов отличается от среднего (в плюс или минус) не более чем на два стандартных отклонения. Элементарные вычисления показывают, отличаются ли две группы результатов по каким-либо параметрам в «существенной мере» или же нет. И хотя на описание графика понадобилось много слов, он наглядно отвечает на интересующие большинство руководителей вопросы: «Поднимаются ли продажи?» или «Приходят ли посетители на новый сайт чаще, чем приходили на старый?»

Читайте материал по теме: Как руководители внедряли и применяли инновации в 1969 году

Довольно часто ответ находят с помощью простого статистического теста (z-критерий Фишера). Подробности нам знать не обязательно, но важно подчеркнуть, что z-тест опирается на нормальное распределение и в особенности на симметричное распределение стандартных отклонений.

Рассмотрим на примере, каким образом ненормальное распределение может запутать статистику. Кто выше: мужчины или женщины? Средний рост американца 175 см, что на 9% выше, чем в среднем у американок, то есть ответ положительный. Я решаю перепроверить и прошу 20 женщин и 20 мужчин из моей компании измерить свой рост. Как и ожидалось, эксперимент подтверждает статистику. А потом я приму на работу Дилана Постла, рост которого не превышает 135 см. Как только этот замечательный актер окажется в нашей компании, средний рост мужчин и женщин уравняется. А потом я приглашу актрису Сару Аллен, великаншу ростом 225 см. И пожалуйста, по статистике женщины оказались выше мужчин. Что произошло? Дилан и Сара — «выбросы», то, чего при нормальном распределении быть не должно. Простые методы статистики, которыми я воспользовался, весьма чувствительны к «выбросам» и потому часто дают неправильный результат.

Мы сразу видим, что Дилан и Сара — «выбросы», поскольку годами наблюдаем людей вокруг и знаем, какого они примерно роста. Но с другой статистикой, в том числе существенной для нас, такие накладки нередко происходят. Государственные и общественные проблемы обсуждаются со ссылками на статистику, и если статистика способна ошибиться в таком элементарном вопросе, как рост человека, что же она натворит в области здравоохранения или в дебатах о запрете на хранение личного оружия? Те же проблемы возникают и в бизнесе.

Читайте материал по теме: Как выманить у сотрудников хорошие идеи

Взять хотя бы тест A/B, с помощью которого выясняется, понравится ли клиентам новый дизайн того или иного продукта. Команда, проводящая тест, на основании среднестатистических результатов отчитывается: продукт B получил существенно более высокую оценку, чем А. Вроде бы все в порядке? Увы, «среднестатистический результат» — это результат, ориентирующийся на среднее значение. Оценка продукта выставляется в целых баллах, и здесь вроде бы не может быть среднего значения или стандартного отклонения. Откуда же они возьмутся? На шкале от 1 до 5 баллов 4 не равно дважды два. А значит… а значит, «существенно более высокая» оценка не так уж важна. А вы-то на нее полагались и потому пересмотрели всю линейку продуктов? Что ж, статистика может оказаться и правильной. А может — и случайной.

Я не говорю, что метод среднего и стандартного отклонений бесполезен. Но те, кто пользуется «кнопками» больших данных, должны знать, как работает этот метод и как интерпретировать полученный результат. Отчасти это очевидные вещи, хотя исследователи и их ухитряются упустить из виду. Но кое-какие навыки — высокое искусство, приобретаемое только с опытом.

Запомните главное, и пусть простит меня за такую пародию Льюис Кэрролл: «Кнопки страшись, сынок, предпосылок кусачих и результатов неверных».

Читайте по теме:

• 5 устоявшихся стереотипов о пользе технологий
• Почему Германия опережает США в инновациях
• Изменит ли Facebook* мир?

* принадлежит Meta, которая признана в России экстремистской и запрещена