Публикации по теме 'data-engineer'


Переполнение данных: соревнование по программированию данных
Меня спрашивают, чем инженер-программист отличается от дата-инженера, и я всегда говорю так: представьте, к вам домой пришло 5 человек, и вам нужно заварить чай (без обид, кофеманы, вы можете заварить кофе), для их, вы бы сделали это без каких-либо проблем. Предположим, вы получите 20 из них, вы все еще можете обойтись методом выпросить-одолжить-украсть. Но предположим, у вас будет несколько сотен гостей? Вы обязательно поднимете руки и сдадитесь, я уверен. И представьте, вы даже не..
Восприятие дисциплин данных
Пока я говорил с людьми о дисциплинах обработки данных как в академии, так и в промышленности, восприятие «исполнителей данных» сильно различается. До сих пор я наблюдал за множеством сообщений о вакансиях, связанных с дисциплиной в области данных, и, честно говоря, когда я вхожу в описание должностей, я вижу, что большинство людей, публикующих вакансии на должности, занимающейся дисциплиной обработки данных, на самом деле не публикуют точную должность, которая они хотят нанять. Хотя..
Машинное обучение в производстве — Как управлять фабрикой моделей
Как использовать принципы MLOps для более эффективных инициатив машинного обучения Пару лет назад я коснулся некоторых ключевых принципов работы с развертыванием моделей машинного обучения. В наши дни простого развертывания моделей машинного обучения в рабочей среде часто недостаточно. Что…
Распаковать файлы Z в CSV с помощью Python
Краткое руководство о том, как легко преобразовать файлы Z в файлы CSV. Шаг 1. Установите пакет unlzw3 если вы используете Windows/Mac, вы можете установить с помощью следующей команды pip install unlzw3 Если вы используете блокнот Python, используйте этот код !pip install unlzw3 Шаг 2. Сделайте обязательный импорт Импортируйте их в эти пакеты в начале кода from pathlib import Path import unlzw3 import csv Шаг 3. Конвертируйте Z-файлы в CSV Распаковка данных..
Инженер данных против специалиста по данным
Инженеры данных и специалисты по данным — две широко известные роли в области науки о данных. В этой статье вы узнаете, что это за роли и каковы их основные обязанности. Вы также откроете для себя навыки, которые вы должны приобрести, чтобы стать инженером данных или специалистом по данным. Инженеры данных Инженеры данных в основном занимаются проектированием, созданием и развертыванием систем и инфраструктуры, чтобы сделать данные доступными для аналитиков данных и специалистов..
Простая задача HackerRank с использованием python
Сегодня мы попробуем решить очень простую задачу на питоне. Давайте сначала ясно поймем постановку задачи, как показано ниже. Исходный код будет читать целое число. Обратите внимание, что «» представляет последовательные значения между ними. Пример Распечатайте строку. Формат ввода Первая строка содержит целое число. Ограничения 1 ≤ n ≤ 150 Формат вывода Выведите список целых чисел от до в виде строки без пробелов. Образец ввода 0 3 Пример вывода 0..
Блог Data Engineer 20210915
Я хочу рассказать свою историю о том, каков был мой опыт работы Data Engineer и о том пути, который я прошел, чтобы достичь того, что я есть. В настоящее время я выполняю функции инженера-менеджера в том месте, где я сейчас работаю. Да, я начинал как разработчик облачных данных, по сути инженер данных, и продвигался по служебной лестнице. До этого я пару месяцев был менеджером интеграционной команды. До этого я был менеджером BI & Analytics. Никогда не думал, что буду работать в этой..