Публикации по теме 'apache-airflow'


Elyra 3.3: Конвейеры, пользовательские компоненты и каталоги
С выпуском версии 3.3 сообщество открытого исходного кода Elyra стало важной вехой в нашей дорожной карте, позволив пользователям создавать конвейеры с использованием пользовательских компонентов. В этом посте я кратко расскажу, что такое пользовательские компоненты и как их использовать. Версия 3.6 включает расширенную поддержку встроенных и сетевых операторов Apache Airflow . Визуальный конвейерный редактор — самая заметная функция Elyra. Он предоставляет пользователям..
Построение конвейера линейной регрессии с Airflow
Введение В этой статье мы покажем, как построить сквозной конвейер для чтения данных CSV, их предварительной обработки, обучения модели линейной регрессии и тестирования модели с помощью Apache Airflow. Если у вас не установлен apache airflow, вы можете воспользоваться этим кратким и простым в настройке руководством здесь . Airflow — это система управления рабочими процессами с открытым исходным кодом, которая позволяет легко создавать, планировать и отслеживать сложные конвейеры..
Организация конвейеров данных в Lyft: сравнение Flyte и Airflow
Введение В компании, работающей с данными, такой как Lyft, данные являются основой для многих компонентов приложений. Аналитика данных дает нам стимулы для улучшения существующих функций и создания новых. Сегодня Lyft собирает и обрабатывает около 9 триллионов аналитических событий в месяц, запуская около 750 тысяч конвейеров данных и 400 тысяч заданий Spark с использованием миллионов контейнеров. При наличии вычислительных заданий на таких движках, как Spark , Hive , Trino , и..
Познакомьтесь с Сарой Шаттшнайдер: наслаждайтесь своим конвейером данных с Apache Airflow
Привет, питонисты, присоединяйтесь к нам через две недели на PyBay2019 ! Посмотрите на наших замечательных спикеров здесь. Приходите и станьте частью замечательного сообщества Python, завязывайте знакомства, приходите учиться и, самое главное, приходите повеселиться. Разработка и поддержка вашего конвейера данных утомляли вас в последнее время? Приходите и повеселитесь с Сарой Шаттшнайдер и Apache Airflow на PyBay2019. Вот Сара! (Принесите с собой конвейер данных;) О чем вы..
Запустите Apache-Airflow как службу на сервере Ubuntu 18.04
В этой статье предполагается, что вы уже запустили apache-airflow на машине с Ubuntu и теперь хотите, чтобы он запускался как системная служба или так называемая служба демона. В Ubuntu есть встроенный механизм для создания настраиваемых служб, позволяющий им запускаться во время загрузки системы и запускать / останавливать их как службу. В этом посте я расскажу о простом и элегантном способе создания служебной оболочки для вашего веб-сервера apache-airflow, чтобы вы могли запускать ее..
Введение в Apache Airflow
Apache Airflow - это инструмент, созданный сообществом для программного создания, планирования и мониторинга рабочих процессов. Самым большим преимуществом Airflow является то, что он не ограничивает объем трубопроводов. Airflow можно использовать для построения моделей машинного обучения, передачи данных или управления инфраструктурой. Давайте подробнее рассмотрим популярный инструмент управления рабочим процессом. Чистый питон Apache Airflow - один из немногих проектов Apache,..
Индустриализация модели машинного обучения с использованием Airflow и Apache BEAM
Вступление Рабочий процесс модели машинного обучения состоит из следующих шагов, изображенных на схеме ниже. В этой статье будет обсуждаться индустриализация фазы вывода (белые прямоугольники выше) с использованием воздушного потока для планирования нескольких задач и Apache BEAM для применения модели, которая уже обучена, ко всем точкам данных. . Некоторый контекст Я инженер по обработке данных, и одна из моих миссий - запустить модели машинного обучения в производство,..