4 шага для оценки
точности измерений

Известно, что для анализа, планирования и принятия решений менеджеры регулярно пользуются разного рода измерениями. Однако даже самые элементарные замеры могут привести к ошибочным выводам. На самом деле эта задача куда сложнее, чем кажется большинству управленцев. Поэтому, для того чтобы защитить себя от досадных просчетов, они должны понять недостатки и слабые стороны измерений и всегда их учитывать в своей работе.

В качестве примера приведу историю, затрагивающую одно из самых базовых измеряемых явлений: время. В моем офисе стоят часы, которые ежедневно в час ночи синхронизируются с сигналом Национального института стандартов и технологий в Форт-Коллинсе, штат Колорадо. Заявленная точность данной операции составляет считанные доли секунды. Звучит надежно и убедительно, не правда ли? А вот и нет — в действительности результат может оказаться поразительно неточным. Например, в четверг, 29 октября, в 16:44 (что было подтверждено тремя различными источниками), часы показывали: «Пятница, 2 ноября, 16:52». В последний раз 2 ноября пришлось на пятницу в 2012 году, а в следующий раз это случится только в 2018 году. Выходит, часы спешили примерно на три года и восемь минут!

Разумеется, вы можете возразить, что это всего лишь дефект отдельного экземпляра или же неудачный продукт. Но я могу привести и другие примеры из моего опыта, касающиеся моих весов в ванной, смартфона и GPS-навигатора. Пусть это и не тема для светской беседы, тем не менее, хорошенько подумав, многие бы смогли припомнить похожие случаи, когда, казалось бы, простейшие измерения давали совершенно неверные результаты.

Поверьте, у меня нет цели поливать грязью мои устройства или критиковать работу Института стандартов. Я просто хочу продемонстрировать, что измерения — это чрезвычайно непростая задача даже в самых лучших условиях. А то, что интересует менеджеров — например, объемы рынков, эффекты от рекламных кампаний или истинные убытки от выпуска некачественной продукции, гораздо сложнее измерить, чем время, вес или расстояние. Именно поэтому я настойчиво советую всем управленцам начать относиться к измерениям с долей здорового скептицизма, по крайней мере до тех пор, пока они не научатся лучше их понимать.

Читайте материал по теме: Данные не говорят сами за себя

Вот несколько шагов, которые помогут оценить, насколько точны ваши измерения и можно ли им доверять.

1. Четко определите, что вы хотите выяснить. Очень часто менеджеры игнорируют этот шаг. Предположим, вам нужно установить длительность некоего процесса, состоящего из трех последовательных действий A, B и C. Обычно первое, что людям приходит в голову: время на выполнение A плюс время на выполнение B плюс время на выполнение C. Но есть и альтернативное решение: сложить длительность этих трех действий и прибавить к ним периоды ожидания между ними. Обе формулы имеют право на существование и могут применяться в тех или иных обстоятельствах, но поскольку одна из них учитывает периоды простоя, а вторая — нет, их результаты могут существенно отличаться. Вот почему так важно определить, что конкретно вы пытаетесь вычислить.
2. Определите, как ваши измерения соотносятся с тем, что вы хотите узнать. На следующем этапе вы должны оценить, насколько результаты ваших измерений соответствуют конечной цели ваших расчетов. Предположим, что вы проводите рекламную кампанию, нацеленную на повышение узнаваемости вашего бренда. В связи с тем, что измерить напрямую «повышенную узнаваемость» не представляется возможным, приходится довольствоваться косвенными показателями, такими как количество просмотров и «кликов». Однако имеет смысл задуматься, выражают ли эти данные то, что вы действительно хотите узнать. Может быть, да, а может быть, и нет. Поэтому старайтесь проводить различия между «приближенными» и «более или менее репрезентативными» показателями и теми, которые «совершенно ни о чем не говорят». В то же время имейте в виду, что во многих случаях вам в той или иной степени придется пойти на компромисс. Как много лет назад заметил доктор Ллойд Нельсон: «Самые важные данные, необходимые нам для менеджмента, либо неизвестны, либо их вообще невозможно узнать». Следовательно, в каких-то ситуациях вы будете вынуждены пользоваться измерениями, далекими от совершенства. При этом главное — отдавать себе в этом отчет.
3. Учитывайте недостатки самого процесса измерений. У каждого измерительного прибора могут быть ошибки и сбои, и менеджерам следовало бы их досконально изучить. Люди лгут в опросах, страны завышают статистические показатели, чтобы лучше выглядеть в глазах кредиторов, флюгеры забиваются песком и так далее. Сложные измерения требуют ясных определений, многочисленных выборок, удаленного сбора данных и всестороннего анализа. И на любом из этих этапов могут быть допущены ошибки. Управленцы должны видеть процесс в деталях, а не только его основные цели. Если вы составляете статистику жалоб на вашу продукцию, прислушайтесь к телефонным опросам клиентов. Если вы хотите измерить продуктивность работы завода, не поленитесь посетить само предприятие. Разумеется, становиться экспертом во всех аспектах и тонкостях этого процесса совершенно необязательно, однако вы должны хорошо себе представлять все его подводные камни и слабые звенья.
Читайте материал по теме: Научитесь думать как аналитик
4. Проверьте свои результаты «на вшивость». Недавно The New York Times опубликовала потрясающую статью, в которой приводятся многочисленные примеры игнорирования водителями тех вещей, которые находятся у них прямо перед глазами (например, знаков «дорога закрыта»), в пользу информации с экранов своих GPS-навигаторов. Менеджеры также раз за разом совершают похожие ошибки. Например, результаты этого месяца оказались намного выше (или ниже), чем ожидалось, и управленцы сразу же бросаются на лихорадочные поиски объяснений этого явления. При этом мало кому приходит в голову, что, возможно, причина кроется в неправильно проведенных замерах. Я рекомендую менеджерам развивать «нюх» на подобные вещи. Если вам кажется, что результаты выглядят подозрительно и что-то тут явно не так — начинайте копать глубже.

Обнаружив ошибки, принимайте меры. Устраните неверные данные из вашей аналитики, а если примененный вами измерительный инструмент сам по себе окажется ненадежным, не бойтесь вообще от него избавиться. Я никогда не верю часам в моем офисе — я их держу лишь в качестве напоминания и назидания (и я снял их с видного места, чтобы другие люди не стали жертвами подобных курьезных заскоков).

Измерения становятся все более важной частью работы современных руководителей. Одним они помогают развивать и укреплять корпоративную культуру, в основе которой лежат данные; другим — умные, соединенные с интернетом вещей устройства позволяют измерить то, что в прошлом не поддавалось замерам. Как бы то ни было, важно, чтобы они понимали: любые измерения таят в себе опасность. Когда они сделаны правильно, они просвещают. Когда же они ошибочны, то заставляют идти по ложному следу. Чтобы обезопасить себя, научитесь глубже в них разбираться.