«Аналитик, как правило, чувствует
себя униженным»

Обычно анализ больших данных проводится так. Сначала специалист по данным обнаруживает какую-то накопившуюся на сервере и еще не обработанную информацию. Затем он или она много дней, а то и недель по-разному крутит и вертит эти цифры, пока не наткнется на неожиданное открытие. После этого назначается собрание, находка предъявляется менеджерам. Что дальше? Дальше аналитик, как правило, чувствует себя обиженным или даже униженным, а менеджеры сокрушаются о потерянном времени.

В чем причина провала? Обычно в том, что нет четко обозначенной цели или в том, что анализ проводился на недостаточном количестве данных, или в том, что докладчик чересчур увлечен наукой, а менеджеры ничего в ней не понимают. Если вы столкнулись с такой ситуацией, рекомендую прочитать статью об именах новорожденных на сайте FiveThirtyEight, а прочитав, поделиться со своей командой аналитиков.

Нет Сильвер и Элисон Маккен из FiveThirtyEight проделали с информацией об именах новорожденных такое, на что следует ориентироваться всем специалистам по большим данным. Они сумели задать интересные для бизнеса вопросы, подобрали дополнительные сведения, сделали смелые, но вполне оправданные предположения, чтобы заполнить пробелы в информации, и представили вывод с указанием допустимой погрешности. Их статья — лучший образец журналистики, созданный на основе больших данных. И это превосходит многие известные примеры аналитики данных.

База данных имен всех американцев с 1880 года хранится в Управлении социального страхования — это идеальный архив для больших данных. В последние годы его заизучали, простите за каламбур, вусмерть. Своей славой архив обязан программисту Мартину Ваттенбергу, который создал программу Baby Names Voyager с удобным интерфейсом, позволяющим визуализировать имена. Эта программа помогает выяснить, в какое время какие имена пользовались популярностью. С ней был реализован целый ряд проектов: самые модные имена, самые странные имена, отличия в именах между штатами и т. д.

Но все эти подходы давали нам не больше информации, чем любые саундбиты и кликбейты, пока не явились Сильвер и Маккен.

Они задали интересные для бизнеса вопросы. Вместо вопроса о популярных, странных, модных, особенных для того или иного периода именах, эти два специалиста по данным вывернули вопрос наизнанку и постарались выяснить, можно ли извлечь из имени человека информацию о годе его рождения.

Такая формулировка сразу же напоминает о других рациональных задачах: определении религии или родного языка по имени человека, выбору места проживания и т. д. (На практике легче выяснить возраст, чем язык или религию.) Умные компании использует подобного рода демографические данные, чтобы усилить сегментацию покупателей. Если вы приобретали такие базы данных, то уже получали выгоду от типа анализа, предложенного Сильвером и Маккен.

Они привлекли дополнительные данные. Редко случается так, чтобы все необходимые для решения конкретной проблемы данные сосредотачивались в одной базе. Архив Управления соцстрахования содержит полную информацию по рождениям, но не по смертям. Если выводить средний возраст живущих в настоящее время Елизавет только на основании дат рождения, результат будет сильно завышен, поскольку многих из этих женщин давно уже нет. Для правильного проведения анализа Сильвер и Маккен добавили также таблицы вероятности дожития из страховых компаний, по которым подсчитывается средняя продолжительность жизни.

Они заполнили пробелы в данных. Но составители таблиц в страховых компаниях не интересуются именами — они расписывают вероятность дожития по полу, но не по именам. В такой ситуации аналитику оставалось либо отказаться от проекта, либо сделать смелое предположение и совершить прорыв. Сильвер и Маккен выбрали второй путь, допустив, что от имени вероятность дожития не зависит. Это смелое предположение, но, на мой взгляд, с ним можно согласиться, потому что оно позволяет довести анализ до удовлетворительных результатов. Аналитики данных часто сталкиваются в своей работе с необходимостью принятия подобных решений.

Они указали допустимую погрешность. Наглядная инфографика исследования Сильвера и Маккен четко указывает допустимую погрешность в ситуации, когда по имени человека пробуют угадать его возраст. Они оговаривают, что точность зависит от пола и от характера трендов. Порой установить возраст (в пределах 10 лет) удается с точностью до 50%. Слишком часто в журналистских публикациях об анализе больших данных отсутствует как раз анализ точности (поразительно, учитывая, как они восхваляют научную методику).

Все перечисленные здесь решения можно прекрасно применить в любой бизнес-аналитике. Не нужно порождать лишние килобайты бесполезной для бизнеса информации. Аналитикам следует на первых же этапах работы проконсультироваться с заказчиками исследования и найти представляющую общий интерес проблему. Хотя многие современные базы данных огромны, все же и там может недоставать каких-то существенных фактов и потребуются дополнения.

Анализ больших данных представляет ценность, поскольку позволяет делать надежные прогнозы, но аналитики обязаны предусмотреть также пределы допустимой погрешности. Здравые решения в бизнесе требуют учета не только наиболее перспективных сценариев, но и целого спектра вероятностей. По мере того, как развивается сбор и анализ данных, наладится и процесс создания ценных для бизнеса гипотез. И встречи, посвященные анализу данных, уже не будут вызывать взаимного разочарования.