Я хочу рассказать свою историю о том, каков был мой опыт работы Data Engineer и о том пути, который я прошел, чтобы достичь того, что я есть. В настоящее время я выполняю функции инженера-менеджера в том месте, где я сейчас работаю. Да, я начинал как разработчик облачных данных, по сути инженер данных, и продвигался по служебной лестнице. До этого я пару месяцев был менеджером интеграционной команды. До этого я был менеджером BI & Analytics.
Никогда не думал, что буду работать в этой сфере. Тем не менее, технически все, что мы делаем как разработчики, архитекторы и системные инженеры, так или иначе отображает данные.
В последнее время я пытался понять, что значит вводить данные в приложение самым быстрым способом. Мне посчастливилось работать с такими великими людьми, как Майкл Лэнхэм, и я не собираюсь притворяться, что знаю, о чем говорю. Он намного более осведомлен, и я свяжусь с ним и предоставлю несколько замечательных идей о том, как это сделать. Посетите его страницу на Medium; у него отличные статьи, и он плодовитый писатель. Я хочу изучить Python и прием данных через него. Я использовал только многие готовые инструменты или прямо TRUNCATE LOAD в таблицы, которые затем агрегировались и использовались для создания идей или аналогичных целей.
Я могу ошибаться, исследуя это, поскольку я не первый, кто это делает. Flink, Databricks и другие делают это, но есть ли еще более быстрый и дешевый способ загрузки данных? Как насчет того, чтобы быть достаточно гибким, чтобы иметь возможность захватывать любой файл и схему и беспрепятственно работать с ними?
Я буду продолжать публиковать свои мысли и делать эти мозговые свалки того, что приходит мне в голову.
Я надеюсь, что этот блог станет более последовательным и полезным в будущем.
