Что делать, если источник информации один, а
выводов много

На Бога уповаем, от остальных ждем документального подтверждения.

Знаменитое высказывание статистика Уильяма Эдвардса Деминга давно стало мантрой для компаний, работающих с анализом и сбором информации, поскольку указывает им на шанс получить объективный ответ на все интересующие вопросы. Но на практике каждый аналитик считает, что анализ информации — дело субъективное и далекое от порядка. Попросите парочку «лучших умов» сделать вывод, исходя из полученных данных, и будьте уверены, что вы получите две совершенно разных точки зрения, несмотря на то что источник информации был для этих людей абсолютно одинаковым.

Вот вам и объективная оценка.

Но некоторые ученые все же считают, что есть и другие способы анализа. Что, если сбор информации должен происходить с привлечением нескольких человек, чтобы сразу несколько аналитиков работали с одной и той же поступающей к ним информации по одной проблематике? Результатом такой работы станет несколько ответов, а не один. Такой подход означает, что можно с уверенностью считать конечный результат объективным, на который не повлияло личное мнение аналитика. Рафаэль Зильберцан из школы бизнеса IESE (Испания), Эрик Луи Ульманн из INSEAD, Дэн Мартин из Университета Вирджинии и Брайан Нозек, также представляющий данный вуз и Центр Открытой Науки решили протестировать несколько подходов к этой проблеме на практике. В отчете, появившемся в начале года, можно найти всю информацию о том, как это работает.

Исследователи отобрали команду из 61 аналитика (в основном теоретиков из профессуры) и попросили их оценить футбольную игру, а именно: какова вероятность того, что футбольные арбитры чаще выдают красные карточки игрокам с более темным цветом кожи? Испытуемые аналитики были поделены на 29 команд, им также был выдан набор данных, который включал совершенно разнообразную и не всегда точную информацию, касающуюся игроков и судей.

Читайте материал по теме: 9 причин, из-за которых принимаются плохие решения

Каждая команда разработала свой собственный метод ответа на вопрос, а затем поделилась им (но только методом, не результатами) с остальными участниками группы. В итоге все закончилось ожесточенной дискуссией на тему, чьи методы объективны и достойны применения, а чьи — нет. Если вы стремитесь обнаружить связь между цветом кожи и полученными красными карточками, имеет ли смысл контролировать позицию, которую на поле занимает игрок? А что насчет страны происхождения команды или соотношения с количеством полученных желтых карточек?

Каждая из команд предложила свой метод для анализа, выслушала мнение других об этом методе, внесла необходимые коррективы в свой подход при желании и уже только затем приступила к анализу как таковому. Впоследствии, когда результаты анализа обсуждались всей группой, команды пытались выяснить, на чьи выводы могли оказать влияние случайные факторы. Также они поднимали вопрос о том, можно ли было получить другие результаты, если бы они опирались на другие показатели.

Полученная информация проиллюстрировала, почему разные аналитики пришли к разным выводам, обладая одними и теми же исходными данными. 29 команд разработали 21 набор учитываемых переменных. Разные команды использовали разные статистические модели.

Ничего удивительного, что в итоге они пришли к диаметрально противоположным выводам. 20 команд обнаружили статистически значимую корреляцию между цветом кожи игрока и вероятностью получения красной карточки. 9 команд пришли к выводу об отсутствии какой-либо существенной взаимосвязи между ними.

Читайте материал по теме: Извлекайте уроки из несбывшихся прогнозов

Если бы это была единая команда, применяющая один метод, они бы остановились на своем результате, заявили бы о наличии корреляции между цветом кожи и красными карточками (или о ее отсутствии) и на этом бы вопрос был закрыт.

Придя к 29 разным выводам, группа смогла убедиться, что их анализ основывался на трудных и порой субъективных решениях о том, какую модель лучше использовать и какие показатели следует учитывать. За этим последовал еще один раунд обсуждений, по итогам которого «аналитики сошлись на существовании небольшой, статистически значимой связи между цветом кожи игрока и получением красных карточек, причина возникновения которой неизвестна». Хотя настоящая работа едва ли сможет это подтвердить, авторы убеждены, что выбор результата «где-то посередине» из всего спектра выводов позволяет дать менее субъективный ответ на вопрос.

Несмотря на то что у компаний редко бывает подобрана команда из 60 аналитиков, готовых ринуться в бой для решения любой проблемы, аналогичный общий подход к анализу может быть использован и в рамках меньших по размеру команд. Например, вместо того чтобы работать бок о бок с самого начала проекта, двое аналитиков могут предложить два разных метода или множество методов, а затем сравнить свои записи. Затем каждый из них мог бы продолжить свой собственный анализ и сравнить свои результаты с результатами напарника. В одних случаях в итоге выбор будет с очевидностью в пользу одного метода по сравнению с другим, в других наилучшим решением будет представить на суд компании усредненную методику, полученную в результате компиляции разработанных методов.

«Для чего это действительно полезно, так это для распознавания существующих пробелов в управлении организацией», — говорит Рафаэль Зильберцан, один из инициаторов исследования. Привлекая к решению вопроса нескольких сотрудников одновременно, компания может уравновесить влияние различных групп.

Зильберцан и его коллеги в настоящее время работают над новым проектом, используя проверенную методику, то есть привлекают достаточно большую группу людей для анализа вопроса о влиянии пола и статуса на ход научных дискуссий. Поверьте мне, результаты будут интересными и благодаря задействованию большого количества людей вероятнее всего близкими к истине.

Читайте по теме:

• Хочу, чтобы люди предлагали новые идеи
• Анализируй это!
• Коллективная мудрость сотрудников