Специалист по данным: самая востребованная профессия
XXI века

В июне 2006 года Джонатан Голдман начал работу в LinkedIn (социальная сеть для поиска и установления профессиональных контактов). Тогда казалось, что компания еще не вышла из возраста стартапа. Сеть уже привлекла около 8 млн пользователей, и понятно было, что дело на этом не остановится, так как завсегдатаи сайта приглашали туда своих друзей и коллег, хотя сами завязывали контакты с уже зарегистрированными на сайте не так активно, как хотелось руководителям компании. Чего-то создатели сети явно не учли. Один менеджер LinkedIn сказал так: «Ты словно приходишь на банкет и понимаешь, что никого не знаешь. И тебе остается только стоять в углу, потягивая выпивку, и пораньше смыться». Голдмана, получившего PhD по физике в Стэнфорде, заинтересовало, как все-таки завязываются контакты и почему профили пользователей столь многообразны. Данные были беспорядочны, анализировать их было неудобно, но, изучая связи пользователей, Голдман стал понемногу понимать, что к чему. Он сформулировал несколько гипотез, начал тестировать свои догадки, выявлять закономерности и в итоге научился предсказывать, к сети какого пользователя подойдет тот или иной профиль. Он считал, что открытые им правила помогут дополнить сайт новыми полезными для пользователей функциями. Но программистам LinkedIn, увязшим в проблемах масштабного расширения сайта, было не до того. А некоторые коллеги об идеях Голдмана высказывались более чем пренебрежительно. Зачем это нужно пользователям, чтобы LinkedIn каждому предлагал сеть контактов?

На сайте и так есть импортер адресов электронной почты — при желании можно включить все контакты конкретного человека. К счастью, Рид Хоффман, соучредитель и гендиректор LinkedIn (сейчас он — исполнительный председатель ее совета директоров), верил в аналитику, особенно по опыту работы в PayPal, и потому предоставил Голдману существенную автономию. Прежде всего — позволил действовать в обход обычного цикла запуска нового продукта и выкладывать на самых популярных страницах сайта небольшие модули в форме рекламы. С помощью одного такого модуля Голдман проверял, что будет, если предложить пользователям имена людей, с которыми они еще не установили связь в сети, но, возможно, знакомы, — скажем, с бывшими одноклассниками, однокурсниками или сослуживцами. Каждому пользователю рекомендовались три лучших, судя по его профилю на LinkedIn, новых контакта. Через несколько дней стало ясно, что происходит нечто необычное. Ни одна ссылка не получала такого количества «кликов». Голдман продолжал доводить до ума принцип отбора подходящих контактов, учитывая разные идеи, касающиеся взаимосвязей людей, например: если вы знаете Ларри и Сью, то, вероятно, Ларри и Сью знакомы друг с другом. Теперь пользователь мог ответить на предложение контакта, лишь один раз нажав «мышью». Руководство быстро поняло, как хороша идея, и у сайта появилась новая стандартная функция. С этого все и началось. У рекламного объявления «People You May Know» доля кликов в общем числе просмотров достигла 30%. Это выше, чем у всех прочих ссылок на другие странички сайта. Общее количество просмотров страниц увеличилось на миллионы. Благодаря только этой функции траектория роста LinkedIn пошла резко вверх.

Новое поколение

Голдман — специалист по данным, и именно такие, как он, становятся ключевыми фигурами в организациях. Это профессионал, занимающий высокое положение в корпоративной иерархии, который благодаря образованию и природной любознательности умеет и любит делать открытия в мире «больших данных». Название «специалист по данным» появилось несколько лет назад. (В 2008 году его предложили Д.Дж. Пэтил, один из авторов этой статьи, и Джефф Хаммербахер. Тогда они возглавляли работу с данными и аналитикой на LinkedIn и Facebook*, соответственно.) Но тысячи специалистов по данным уже работают и в стартапах, и в компаниях-старожилах. Их внезапное появление на сцене говорит о том, что компании силятся справиться с информацией, которая поступает в невиданном прежде объеме и «ассортименте». Если ваша организация хранит петабайты информации, если самые важные для нее данные существуют не в виде рядов и колонок цифр, а в виде электронных форм или если ответы на самые важные вопросы требуют работы с разными источниками информации, значит, вам никуда не деться от «больших данных». Сейчас энтузиасты «больших данных» в основном разрабатывают технологии, позволяющие обуздать информационный поток. Речь идет, например, о Hadoop (популярная программа для распределенных файловых систем) и сопутствующем свободном ПО, облачных технологиях и визуализации данных. Все это — важные изобретения. Но не менее важны люди, которые благодаря своим профессиональным навыкам (и особому складу ума) могут с выгодой пользоваться ими. Но на этом фронте предложение отстает от спроса. В некоторых секторах так остро не хватает специалистов по данным, что это уже становится серьезной проблемой. Greylock Partners, одна из старейших венчурных компаний, стоявшая у истоков Facebook*, LinkedIn, PaloAlto Networks, Workday, настолько обеспокоена дефицитом кадров, что создала собственную рекрутинговую группу, чтобы поставлять специалистов предприятиям из своего портфеля. «Раз у них есть данные, значит, им позарез нужны люди, умеющие с ними работать», — говорит Дэн Портилло, глава этой группы.

Кто эти люди?

«Большие данные» принесут вам выгоду, только если вы найдете специалистов. То есть перед руководителями встает задача находить таких профессионалов, брать их на работу и сделать их труд продуктивным. А как этого достичь, не ясно. Начать с того, что в университетах нет пока программ подготовки специалистов по данным. Нет и единого мнения о том, какое место отвести этим кадрам в структуре организации, каким образом их работа будет способствовать успеху компании и как оценивать их труд. Значит, прежде всего надо проанализировать, что, собственно, они делают на предприятиях, какие у них должны быть профессиональные навыки, где, в каких сферах больше всего людей, ими уже обладающих? Если говорить о том, чем именно занимаются специалисты по данным, то в первую очередь они совершают открытия, купаясь, так сказать, в информации. Для них это самый естественный способ освоения мира. В цифрах они чувствуют себя как рыба в воде, а потому могут структурировать огромные массивы аморфной информации и делать ее пригодной для анализа. Они находят мощные источники информации, объединяют их с другими, предположительно неполными, и фильтруют получившуюся смесь. В бизнесе все время возникают проблемы, причем всегда разные, а поток информации не останавливается ни на минуту, и специалисты по данным помогают руководителям компаний перейти от спонтанного ее анализа к непрерывному изучению.

Специалисты по данным понимают, что возможности нынешних технологий не бесконечны, но это не мешает им искать новаторские решения. Сделав открытие, они рассказывают о том, что узнали и как именно это знание можно было бы применить на новых направлениях бизнеса. Обычно они уделяют большое внимание визуализации информации, умеют понятно и интересно подать обнаруженные закономерности. Они доносят до руководителей и менеджеров по видам продукции выводы, важные для решений о продуктах компании, ее процессах и стратегии. Поскольку эта профессия еще только формируется, специалистам по данным приходится чаще всего самим изобретать методы работы и проводить исследования. Yahoo, одна из фирм, в которых уже давно работают специалисты по данным, сыграла решающую роль в создании Hadoop. В Facebook* придумали язык Hive для Hadoop. Свою лепту в развитие проекта внесли многие другие специалисты по данным, особенно из таких компаний, как Google, Amazon, Microsoft, Walmart, eBay, LinkedIn и Twitter. Что это за люди? Какие таланты нужны им? Считайте, что это — хакер, аналитик, штатный «умник» и консультант в одном лице. Очень мощный «коктейль» — и очень редкий. Прежде всего, наделенный всеми этими качествами человек должен уметь писать программы.

Вряд ли так будет и через пять лет, когда людей, пишущих на визитках «специалист по данным», станет больше. Наверняка дольше будет цениться другое: умение доносить — вербальным способом или визуальным, а в идеале обоими — до слушателей информацию и объяснять ее значение. Но главной особенностью специалистов по данным мы бы назвали ненасытную любознательность: желание разобраться в сути проблемы, докопаться до ее истоков, сформулировать ясные гипотезы, которые можно проверить. Обычно такие люди от природы наделены ассоциативным мышлением, что характерно для большинства настоящих ученых.

Мы знаем специалиста по данным, изучающего компьютерное мошенничество, который видит в проблеме немало общего с секвенированием ДНК. Сопоставив эти несопоставимые миры, он с коллегами нашел решение, позволившее существенно сократить убытки от мошенничества. Надеемся, вы начинаете понимать, почему к представителям этой нарождающейся профессии подходит слово «ученые». К примеру, физики-экспериментаторы тоже создают экспериментальные установки, собирают данные, проводят эксперименты и описывают их результаты. Так что компаниям, которым нужны люди для работы со сложной информацией, стоило бы искать их среди тех, у кого есть диплом или опыт работы в области физики или социологии. Среди лучших специалистов по данным есть обладатели ученых степеней в «трудных» науках вроде экологии или системной биологии. У Джорджа Румелиотиса из Intuit, в которой он руководит специалистами по данным, докторская степень по астрофизике. Многие специалисты по данным, работающие сейчас в бизнесе, — программисты, математики или экономисты по образованию, но это не так впечатляет. Подобные специалисты могут появляться в любой области знаний, где большую роль играют данные и вычисления. Важно держать в голове именно образ ученого, потому что слово «данные» легко может завести ваши кадровые поиски куда-нибудь не туда. Дэн Портилло из Greylock Partners уверен, что «профессиональная подготовка, которая обычно требовалась 10—15 лет назад, сейчас никуда не годится». Специалист по количественному анализу наверняка мастерски анализирует свои данные, но это еще не значит, что ему по силам обработать массив неструктурированной информации и сделать ее пригодной для анализа. Эксперт по управлению данными может виртуозно структурировать и организовывать информацию, но сумеет ли он превратить неструктурированные данные в структурированные и, собственно, проанализировать их, — вопрос. И если в обычных «информационных» профессиях навыки общения не обязательны, то специалисты по данным должны быть людьми в высшей степени коммуникабельными. Джордж Румелиотис говорит, что таланта в сфере статистики или аналитики для него не достаточно, чтобы он взял человека на работу. Поиск специалистов он начинает с ответа на вопрос: способен ли претендент создать модель на языке программирования типа Java. Румелиотиса интересуют и профессионализм человека (глубокие познания в области математики, статистики, теории вероятности и информатики), и склад ума. Ему нужны люди с коммерческим чутьем и пониманием нужд потребителей. А уже все это, говорит он, надо дополнить ­обучением на рабочем месте.

Сейчас программы для будущих специалистов по данным составляют несколько университетов, а в уже существующие программы по аналитике кое-где спешно включают семинары и курсовые работы по «большим данным». В некоторых компаниях пытаются самостоятельно готовить специалистов по данным. Корпорация ЕМС, купив фирму Greenplum, провайдера ПО для хранилищ данных и аналитических инструментов для облачных вычислений, решила, что в проблему специалистов уткнутся многие фирмы. И ее образовательное подразделение ­разработало программу подготовки и сертификации специалистов по данным и аналитике «больших данных». Учиться могут и сотрудники, и клиенты. Некоторые выпускники уже участвуют в проектах по «большим данным». Будет больше образовательных программ — будет и больше специалистов. К тому же поставщики технологий для сбора и анализа «больших данных» стараются упростить их. Уже предложено творческое решение проблемы дефицита кадров. Джейк Кламка, по образованию — физик-ядерщик, разработал Insights Data Fellowship Program для научных сотрудников с докторской степенью. За шесть недель ученые осваивают новую профессию под началом специалистов из Facebook*, Twitter, Google, LinkedIn и т.д. и занимаются реальными проблемами «больших данных». Программа была рассчитана на десять человек, но Кламка согласился взять 30, выбрав их из 200 с лишним подавших заявки. Сейчас к нему выстроилась очередь из организаций, желающих участвовать в его программе. «Спрос колоссальный, — рассказал нам Кламка. — Компании просто не могут найти профессиональные кадры».

Что надо, чтобы специалист по данным захотел у вас работать?

Хотя специалистов по данным становится все больше, компании по-прежнему будут ожесточенно бороться за них. Похоже, профессионалы начнут выбирать место работы по принципу «где интереснее». Один из них сказал нам: «Если бы мы хотели работать со структурированными данными, то сейчас мы сидели бы на Уолл-стрит». А поскольку самые сильные кандидаты приходят из отраслей, от бизнеса далеких, менеджерам по найму персонала придется поломать голову над тем, как позаманчивее расписать будущую работу, чтобы человек понял: именно здесь он сможет совершить настоящий переворот. Конечно, не последнюю роль будет играть зарплата. Перед хорошими специалистами открыто множество дверей, и компании будут, как на торгах, предлагать им больше, чем конкуренты. От нескольких профессионалов из стартапов мы слышали, что они потребовали — и получили — большие пакеты акционерных опционов. Даже для тех, кто идет к вам по другим причинам, зарплата говорит о степени вашего к ним уважения и показывает, насколько их работа значима для предприятия. Но, судя по проведенному нами неофициальному опросу, есть еще одно обстоятельство, и оно куда важнее. Эти люди хотят быть в гуще событий, чтобы думать о вариантах будущего развития. Найти специалистов по данным очень трудно, а сделать так, чтобы они надолго осели в компании, — тем более. Значит, разумно брать их в качестве консультантов. Но консалтинговые фирмы пока не торопятся их зазывать к себе: даже Accenture, Deloitte и IBM Global Services только начинают вести для своих клиентов проекты по «большим данным». А специалистов, которые все-таки есть у них в штате, они в основном бросают на более традиционные проблемы количественного анализа. Вероятно, первыми значительную долю рынка специалистов по данным захватят офшорные фирмы, предоставляющие аналитические услуги. Но специалисты, с которыми мы беседовали, говорят, что им неинтересно просто давать советы тем, кто принимает решения (один из них сказал, что работа консультанта — «застой: только говоришь другим, что согласно результатам анализа ему надо делать, — и все»). Они хотят ни больше ни меньше творить историю. Если бы они сами предлагали решения, у них было бы больше влияния и они могли бы оставить след в истории как основоположники своей профессии.

Забота и уход

Специалистам по данным не нравится, когда их держат на коротком поводке. Им нужна свобода, чтобы исследовать и экспериментировать. Но еще им нужны тесные отношения с остальной организацией и прежде всего не с начальниками функциональных служб, а с теми руководителями, в ведении которых находятся продукты и услуги. Судя по примеру Джонатана Голдмана, больше всего пользы они приносят не тогда, когда пишут отчеты и делают презентации для высокого начальства, а тогда, когда экспериментируют с предназначенными для потребителей продуктами и процессами. LinkedIn — не единственная компания, где такие специалисты предлагают новые идеи продуктов, функций и услуг. В Intuit они разрабатывают продукты для пользователей и клиентов из малого бизнеса, а подчиняются они вице-президенту по «большим данным», дизайну социальных сетей и маркетингу. GE «науку о данных» уже используют, чтобы оптимизировать договоры на обслуживание и периодичность технического обслуживания промышленного оборудования. Google поручает специалистам по данным совершенствовать ее алгоритм поиска и доставки рекламы, а Zynga — ее онлайн-игры. Netflix вручает премию тем, кто найдет дейст­венный способ заметно улучшить ее систему рекомендации фильмов. В компании Kaplan, одной из крупнейших и старейших на рынке образовательных услуг, специалисты по данным выявляют эффективные стратегии обучения. Заметим, однако, что держать представителей новой профессии в окружении управленцев не правильно. Так они меньше взаимодействуют с себе подобными, а это им необходимо, чтобы оттачивать мастерство и не отставать от времени. Надо, чтобы эти специалисты не теряли связи с сообществами практиков. Формируются все новые неформальные ассоциации, цель которых — содействовать сотрудничеству и обмену технологиями, и компании должны поощрять участие своих специалистов в их мероприятиях. Кроме того, как правило, чем больше надежд возлагают на специалистов по данным, тем более они мотивированы. Бывает, что работа по оценке и структурированию «больших данных» не оставляет ни сил, ни времени для углубленной аналитики, связанной с прогнозированием и оптимизацией. Но если руководство объяснит, что одних отчетов мало, специалисты начнут уделять больше внимания прогнозам.

Самая востребованная профессия десятилетия

Известно такое высказывание главного экономиста Google Хола Вариана: «В ближайшие десять лет самой востребованной будет профессия статистика. Все думают, я шучу, но кто мог предположить, что в 1990-х все пойдут в программисты?»

Если под словом «востребованная» подразумеваются редкие качества, спрос на которые велик, то к профессии специалиста по данным этот эпитет подходит как нельзя лучше. Когда за них идет ожесточенная борьба, нанимать их трудно и дорого, а создавать условия, чтобы они не стремились побыстрее уйти на новое место, — непросто. Людей, обладающих опытом работы в науке, знаниями аналитика и программиста, пока мало. Нынешних специалистов по данным можно уподобить специалистам по биржевому анализу с Уолл-стрит 1980-х и 1990-х годов. Тогда люди, знавшие физику и математику, шли в инвестбанки и хеджевые фонды и там изобретали новые алгоритмы и стратегии работы с данными. Потом несколько университетов ввели у себя магистерские программы по финансовому инжинирингу и стали выпускать кадры, более доступные бизнесу. В 1990-х история повторилась, только на месте финансового оказался поисковый инжиниринг. Сначала это была профессия для избранных, а потом этому стали учить програмистов и компьютерщиков.

Так, может, лучше подождать, пока подрастет второе поколение специалистов по данным? Кад­ров на рынке станет больше, они подешевеют, их будет проще отбирать и «встраивать» в бизнес. А сейчас пусть этих редких птиц приручают стартапы, занимающиеся «большими данными», или гиганты вроде GE и Walmart, согласно стратегиям которых им надо все время быть впереди планеты всей.

Но дело в том, что триумфальное шествие «больших данных» явно не снижает темпов. Если компании из-за нехватки кадров на первых порах займут выжидательную позицию, они рискуют отстать, потому как конкуренты и партнеры по продажам так оторвутся, что за ними будет уже не угнаться. Считайте, что «большие данные» — это гигантская волна, которая уже вздымается. Если вы хотите оказаться на гребне, вам нужны серфингисты.

* принадлежит Meta, которая признана в России экстремистской и запрещена