Как успешно работать с большими данными

В разговорах с менеджерами постоянно обнаруживаются одни и те же заблуждения насчет работы с большими данными. Люди не понимают, от чего зависит успех подобных проектов. Чтобы разобраться с этим и показать, как такого рода инициативы могут принести успех, я решил перечислить основные принципы, которые выяснил при взаимодействии с компаниями, сумевшими удачно реализовать проекты с применением метода больших данных.

Технология: самое распространенное заблуждение, встречающееся во множестве организаций, — будто проекты с большими данными привязаны к определенным технологиям, таким как Hadoop, Python, Pig, Hive и т. д. Конечно, это полезные инструменты и порой они очень пригождаются при обработке больших данных. Однако, если вы управляете не стартапом, у вас, скорее всего, имеются в компании унаследованные технологии и навыки, которые вполне подойдут для этой работы. В недавнем исследовании, посвященном большим данным и платформам «исследования данных», таким как Aster от Teradata, я убедился, что компании могут составлять приложения для обработки больших данных на существующих языках, например, SQL. Я также выяснил, что компании, имеющие инфраструктуру по хранению огромных массивов информации, быстрее получают отдачу от проектов с большими данными, чем те, которые таких хранилищ не имеют. Существующие аналитические инструменты — SAS, SPSS, R — также могут пригодиться при работе с большими данными.