Что такое инженерия данных?
Объем данных, собранных из многих источников за последние 50 лет, неуклонно растет день ото дня. Следовательно, теперь очень сложно обрабатывать и хранить эти данные. Мы можем разумно управлять этими данными и сделать их ценными для бизнеса и пользователей с помощью новых технологий, таких как инженерия данных, искусственный интеллект и машинное обучение.
Крупномасштабные системы сбора, хранения и анализа данных проектируются и строятся в процессе обработки данных. Он охватывает широкий круг тем и имеет варианты использования практически во всех отраслях. Мы можем собирать огромные объемы данных, но чтобы убедиться, что данные пригодны для использования к тому времени, когда они попадут к специалистам по данным и аналитикам, нужны правильные люди и технологии.
Этот пост из серии призван познакомить читателя с инженерией данных и инструментами, которые они, вероятно, будут использовать на этом пути. Конвейеры ETL (извлечение, преобразование и загрузка) могут использоваться для достижения цели обработки данных, которая состоит в том, чтобы сделать данные доступными и доступными для процессов, управляемых данными.
Роли инженеров данных, специалистов по данным и аналитиков данных
Исследователи данных также являются статистиками и менеджерами данных. Они занимаются целыми инициативами в области науки о данных. Они поддерживают создание процессов прогнозного моделирования, крупномасштабное архивирование данных и отчеты о результатах.
Аналитики данных, которых часто называют бизнес-аналитиками, часто помогают сотрудникам организации понять определенные диаграммы запросов из данных с помощью информационных панелей.
Инженеры данных более тесно связаны с администраторами баз данных и архитекторами данных. Это адаптируемые универсалы, которые используют инструменты для анализа огромных объемов данных. Обычно они концентрируются на кодировании, получении и очистке наборов данных, а также на выполнении запросов данных от специалистов по данным.
Инструменты и технологии
Инженеры данных постоянно используют набор инструментов, технологий и методов для передачи данных из одной системы в другую для хранения и обработки, преобразования данных, построения конвейеров данных и обслуживания инфраструктуры данных. Некоторые из них включают:
Языки программирования
· Питон, Скала
Сценарии и автоматизация
· Скрипты оболочки, CRON, ETL
Реляционные базы данных
· Моделирование данных
· РСУБД — PostgreSQL, MySQL
· Большой запрос
Базы данных NoSQL и Map-Reduce
· Расширенный ETL
· Хранилище данных
· API данных
· Уменьшение карты
Облачные вычисления
· AWS, Azure, GCP
Обработка данных
· Пакетная обработка — Apache Spark
· Потоковая обработка — Spark Streaming
· Базовое машинное обучение
Инфраструктура
· Докер, Кубернетес
Рабочие процессы
· Воздушный поток Apache
Следующая часть этой серии посвящена использованию Python для проектирования данных с полезными примерами.
