Мы современные золотодобытчики
Рост числа экспертов по данным за последние 5 лет был экспоненциальным. Все больше и больше компаний осознают важность данных и их способность улучшать все области их бизнеса, как для клиентов, так и внутри компании.
В 2020 году Data Engineer занял 8-е место в рейтинге самых быстрорастущих вакансий в Отчете о новых вакансиях LinkedIn. В список вошли еще две роли, связанные с данными: специалист по данным (3-е место) и специалист по искусственному интеллекту (1-е место). Это не случайно, и каждая из этих ролей глубоко связана друг с другом.
Возможно, вы уже понимаете необходимость специалиста по данным, но в этом посте я расскажу, почему инженеров по данным следует считать столь же важными.
Современные компании нуждаются в управлении данными
Сообщение Gartner в 2019 году сообщает, что данные являются ключевым фактором роста компании, но не получили должного внимания.
«Данные и аналитика являются ключевым ускорителем усилий организации по оцифровке и трансформации. Однако сегодня менее 50% задокументированных корпоративных стратегий упоминают данные и аналитику как фундаментальные компоненты для создания ценности предприятия ».
Я думаю, можно с уверенностью сказать, что все мы понимаем, что компании должны руководствоваться данными, но многие только кончают на поверхность. Если менее 50% компаний документируют это в своих стратегиях, почему роли данных занимают такое высокое место в списках роста?
Сообщение Gartner также содержит ответ на этот вопрос.
«К 2022 году в 90% корпоративных стратегий информация будет прямо упоминаться как важнейший актив предприятия, а аналитика - как важная компетенция».
Gartner ожидает, что всего через пару лет количество компаний, строящих стратегии на основе аналитики, увеличится на 40%. Этот рост уже побудил многие компании инвестировать в специалистов по данным. Наука о данных - это горячая новая технологическая роль.
Data Science - это пример современной аналитики. ИИ и машинное обучение волнуют лидеров, и это правильно. Возможности, предлагаемые для предприятий любого размера, всего десять лет назад были несбыточной мечтой. Однако я чувствую, что многие компании попадают в эту шумиху, и считаю, что пара специалистов по данным - это все, что им нужно, чтобы превратить свой бизнес в футуристическую организацию, управляемую данными.
Не поймите меня неправильно, я не пытаюсь преуменьшить важность науки о данных. На самом деле все наоборот. Любая компания, которая действительно хочет стать управляемой данными, должна инвестировать в Data Science, но в одиночку это может не дать ожидаемого эффекта.
Настоящая сила данных приходит, когда жажда науки сочетается с инженерным мастерством.
Наука о полете на Луну никогда не могла бы быть реализована без инженерии.
Факторы, влияющие на науку о данных
Говоря о 5 распространенных ошибках при построении команды по работе с данными, Лоуренс Гоасдафф в сообщении Gartner говорит о преодолении нехватки данных и аналитических навыков. Интересно, что он подчеркивает, что спрос на Data Scientist намного превышает предложение.
Хотя я отчасти верю в это мнение, я думаю, что он приводит доводы в пользу этого позже в этом посте.
«К 2023 году специалисты по обработке данных и аналитики будут терять от 60% до 70% своего продуктивного времени на такие действия, как поиск, подготовка, интеграция и обмен наборами данных, что сделает инженеров по данным незаменимым персонажем в своих командах».
На мой взгляд, спрос на специалистов по данным высок, потому что компаниям требуется больше времени, чем ожидалось, чтобы осознать преимущества своей нынешней команды, поэтому они хотят добавить больше специалистов по данным, чтобы распределить рабочую нагрузку.
Это все равно, что иметь команду фронтенд-разработчиков и нанимать больше фронтенд-разработчиков, потому что они тратят слишком много времени на работу с серверным API и базой данных.
Вместо этого они должны стремиться повысить эффективность этой команды и устранить потери от 60 до 70% продуктивного времени. Вот где процветает инженер по данным. Мы работаем над наукой о данных.
Вместо того, чтобы тратить деньги на новых специалистов по данным, потратьте их на высвобождение тех, которые у вас уже есть. Роль инжиниринга данных строится на получении, очистке и интеграции данных в масштабах компании. Вся предварительная работа, необходимая для того, чтобы команда Data Science могла разобраться в проблеме, должна выполняться инженерами по данным.
Это не только повысит эффективность вашей команды Data Science, но и повысит их производительность. Ваши данные являются активом и должны рассматриваться как таковые. Наличие инженера, внедряющего надежные, масштабируемые и повторяемые методы работы в вашу платформу данных, имеет важное значение для любой компании, стремящейся использовать аналитику для роста.
Вот еще одна аналогия с закрывающим пространством просто потому, что я могу.
Чтобы добраться до Луны быстрее, вам не нужно больше космонавтов. Вам нужны люди, чтобы построить ракету, которая позволит космонавту выполнять свою работу.
Ваш объем данных будет только увеличиваться
Вся суть становления компании, управляемой данными, заключается в том, что вы можете использовать эти знания для роста. Использование данных для понимания того, как работают ваши клиенты и бизнес, позволяет вам применять методы для более быстрого роста. С этим ростом приходит больше данных, и цикл продолжается.
По мере роста ваших данных растет и задача управления ими. Вы должны быть уверены, что можете масштабироваться для следующих требований:
- Пропускная способность данных
- Анализ больших объемов данных
- Прогнозы, аналитические данные и отзывы клиентов в режиме реального времени
- Безопасность данных
- Нормы данных и соответствие
Все это можно упаковать в роль инжиниринга данных. Специалист по данным может обеспечить масштабирование вашего бизнеса за счет:
- Увеличение пропускной способности конвейера данных
- Хранилище данных для масштабируемой аналитики
- Создание платформы данных в реальном времени
- Обеспечение безопасности данных при движении и хранении
- Автоматизация соответствия данных и аудита
Если вы серьезно относитесь к тому, чтобы стать организацией, ориентированной на данные, то управление платформой данных - самый важный первый шаг. Мало того, что вы можете масштабировать и освободить своих инженеров по обработке данных, но и безопасность данных, соответствие нормативным требованиям и конфиденциальность (справедливо) актуальные темы в данный момент.
Компания может перейти от героя к нулю (см. Facebook) благодаря своей политике управления данными. Люди все больше и больше сосредотачиваются на своих данных, и ваша цель номер один должна заключаться в защите их данных в первую очередь.
В конце концов, их данные - причина того, что вы сможете так быстро расти, поэтому сначала инвестируйте в этот актив, прежде чем извлекать выгоду из аналитики.
Хотите прочитать эксклюзивный контент Data Engineering? Затем подпишитесь на мою рассылку, чтобы узнать о реальных методах инженерии данных и получать лично отобранный контент. Я также часто помещаю статьи для подписчиков в информационный бюллетень, чтобы увеличить охват.
