Там, где я работаю, мы очень заняты наймом. Повсюду не хватает талантов. COVID-19 заставил многие компании перейти на цифровые технологии быстрее, чем они хотели. Теперь всем нужны технические таланты. Я ищу инженеров по данным.

Я беру 5–10 интервью в неделю. Не осталось камня на камне. Мы даже расширили поиск с 1 до 6 стран. Мы все еще не можем найти достаточно.

Прежде чем вы перейдете к концу статьи. Я до сих пор не знаю ответа на заглавный вопрос. На ответ может потребоваться некоторое время, и, надеюсь, я смогу помочь сделать этот вопрос неуместным.

Мой подход будет заключаться в том, чтобы объяснить, что я ищу в идеальном разработчике данных-единорогов, и попытаться понять, что мы все можем сделать, чтобы восполнить этот дефицит.

  • SQL: Ваше первое предположение было верным. SQL считается языком программирования данных. Хорошие навыки работы с SQL необходимы и быстро помогут вам получить работу.
  • Python: это становится все более важным с каждым днем. Спасибо Pandas, Numpy и PySpark. В зависимости от объема данных вы начнете использовать распределенные архитектуры, и вам может понадобиться это или Scala.
  • Облако: многие люди спрашивают, какое облако мне следует изучить. Это сложный ответ: зависит и не имеет значения. Зависит от клиентов, над которыми вы будете работать (крупное предприятие может использовать Azure или AWS, стартап с AWS, я не видел много GCP, но некоторые компании его используют) и географии. Почему не важно? После того, как вы изучите концепции облака и приобретете некоторый опыт работы с одним поставщиком, довольно легко перейти к следующему.
  • Коммуникативные навыки. Вам не обязательно принимать у себя церемонию вручения Оскара. Если вы сможете объяснить техническую концепцию нетехническому человеку, вы довольно быстро станете супергероем.
  • Английский: если английский не является вашим родным языком (как в моем случае :-)), отшлифуйте его достаточно, чтобы иметь возможность общаться в деловой среде. Это откроет для вас множество дверей.
  • Концепции хранилищ данных: что такое таблицы фактов и измерений? Что такое витрина данных? Когда мне следует использовать базу данных или озеро данных?
  • Распределенные архитектуры: в зависимости от объема данных вам понадобится кластер Spark. Знание этих архитектур и понимание того, как они работают, вам очень поможет. Это может быть необходимо не для всех проектов, но это здорово, если это будет в вашем распоряжении.

Я знаю, что вы, вероятно, думаете: неудивительно, почему вы не находите инженеров по обработке данных, вы ищете единорогов!

Я заявил, что собираюсь описать единорога. Вам не нужно все это, чтобы получить работу инженера по данным, но эти навыки сделают вас «черт возьми!» когда комитет по собеседованию обсуждает ваши отзывы об интервью.

Вернемся к тому, почему. У меня есть несколько идей, которые определенно потребуют дальнейшего изучения:

  • Data Engineer не так привлекателен, как Data Scientist. Может быть? Я знаю, что вокруг Data Science много шумихи, и это забавная роль. Вы можете рассматривать это как этап перед наукой о данных, способ встать на ноги.
  • Я не хочу становиться инженером по данным, потому что это может затруднить становление специалистом по данным. Не мой друг. Это не место для приземления. Вы можете работать инженером по данным и стать специалистом по данным. Это не выбор жизни. Универсальность может сделать вас очень ценным для любой компании.
  • Стать инженером по обработке данных сложно и дорого. Не уверен. Ресурсов много. Задача состоит в том, чтобы отличить сигнал от шума. Вы даже можете получить сертификаты со скидкой из-за COVID-19.
  • Интервью для специалистов по данным изнурительны. Это могло быть правдой в некоторых компаниях. Интервью - это игра. Вам нужно практиковаться и готовиться. Большинство интервью проводится по известной схеме. Также помните, что здесь много шансов.

Я уже достаточно поговорил о том, почему бы и нет. Давайте подумаем о некоторых положительных вещах:

  • Вы нужны нам в этой золотой лихорадке! Думайте о Data Engineers как о тех, кто строит конвейеры, которые позволяют нам добывать золото. Специалисты по анализу данных создают прекрасные вещи из золота. Но угадайте, что будет, если у них нет золота?
  • Компании ищут инженеров по обработке данных. Учитывая дефицит, вы найдете хорошую зарплату, приятные льготы и легко найдете что-то еще, если вам не нравится ваша нынешняя компания.
  • Проще стать инженером по данным, чем специалистом по данным. Это приведет вас к деньгам быстрее, а затем, если вы захотите, вы все равно сможете стать специалистом по анализу данных.

Могут быть дополнительные причины, которые я изучу в следующие месяцы.

Если у вас есть мысли или дополнительные причины, пожалуйста, свяжитесь со мной в Твиттере (@drojasug). Я планирую и дальше публиковать материалы, которые помогут людям стать инженерами данных.