Мой друг задал мне интересный вопрос о том, какие навыки стоит изучить специалистам по управлению данными и как построить дорожную карту.
Фактически, этот вопрос заставил меня задуматься, потому что у меня в голове не было четкой картины. Это просто мои мысли по теме и по большей части я просто размышляю о текущем состоянии и будущем управления данными.
Предпосылки
Вначале, как и в любой другой области, есть базовые вещи, которые должен знать любой инженер-программист.
Короче говоря, я предполагаю, что человек, пришедший в Big Data, уже знает какой-то язык программирования и имеет представление о таких базовых вещах, как алгоритмы CS, SQL, VCS, SDLC, основы сети, основы Linux, CI / CD и т. Д. Так или иначе общепринятые практики программной инженерии никуда не денутся - это основа, которая, как мне кажется, нужна в любой области. Если вам их не хватает, лучше выучите их, но, возможно, вы можете здесь со мной поспорить.
Основы больших данных
Это еще один уровень знаний, который я считаю основным. Здесь я мог бы выделить языки программирования, например, потому что в мире больших данных преобладают языки, без которых просто сложно (или невозможно) что-то сделать. Это, конечно, языки JVM, такие как Java, Scala, к которому вскоре может присоединиться Kotlin, и, конечно же, Python в качестве второго лучший язык для всего и де-факто язык для науки о данных.
Помимо языков, за большими данными стоят некоторые термины и фундаментальные концепции, которые, как мне кажется, следует изучить, такие как горизонтальное масштабирование, распределенные системы, асинхронная коммуникация, теорема CAP, конечная согласованность, проблемы консенсуса, доступность, долговечность, надежность, отказоустойчивость. , отказоустойчивость, аварийное восстановление и т. д. Нет необходимости в их глубоком понимании, но если вы хотите добиться успеха в этой области, по крайней мере, лучше погуглить.
А теперь поговорим о том, как развивается эта отрасль, а точнее о проблемах, с которыми она сталкивается.
Проблемы с данными
Проблемы данных в больших данных
Проблемы управления
Управленческие вызовы в больших данных
Аналитические вызовы
Аналитические вызовы больших данных
Операционные проблемы больших данных
Операционные вызовы в больших данных
Вывод
Получилось много и вроде ничего не сказал. Доступно слишком много товаров. Большинство из них заявляют, что решают все проблемы с данными, с которыми сталкивается ваша компания. Но это неправда.
Я не считаю себя экспертом во всем и спекулирую здесь только технологиями. Но, как вы можете видеть даже из моей статьи, многие навыки пересекаются в нескольких областях больших данных и на этом не заканчиваются. Имея их, можно не бояться, что не найдешь работу.
Не гонитесь за тенденциями - развивайте навыки, которые остаются актуальными. И, вероятно, наиболее актуальными навыками являются межличностные навыки.
Крутая кривая обучения, связанная с большим количеством операций по инженерии данных, становится обрывом. Проекты ручного кодирования разработчиков требуют глубоких знаний многих аспектов организации, а также множества инструментов и существующих решений.
В области управления данными мы все еще находимся на Диком Западе, особенно в области машинного обучения ...
Спасибо за внимание!
Любые вопросы? Оставьте свой комментарий ниже, чтобы начать фантастические обсуждения!
Зайдите в мой блог, или приходите поздороваться в Twitter, или подпишитесь на мой телеграмм канал.
Планируйте как можно лучше!
