Публикации по теме 'airflow'
Интеграция PrimeHub и Apache Airflow
Автор Эш Ву и Эвен Вэй
В области машинного обучения существует множество инструментов. Очень часто можно использовать PrimeHub вместе с другими инструментами — независимо от того, что PrimeHub не охватил или это незаменимая часть вашего существующего рабочего процесса.
Мы хотим, чтобы PrimeHub хорошо сочетался с другими инструментами в этой области, пока мы создаем PrimeHub. Есть два подхода: фаппликации позволяют нам интегрировать другие инструменты в PrimeHub. А с помощью..
Запуск конвейеров машинного обучения с помощью Kedro, Kubeflow и Airflow
Одной из самых больших проблем современного мира машинного обучения является отсутствие стандартизации, когда речь идет об обучении моделей.
Все мы знаем, что данные необходимо очищать, разделять на обучающие и тестовые наборы, помещать в модель и проверять на основе наблюдений из тестового подмножества. Возможно, должна быть задействована перекрестная проверка, настройка гиперпараметров тоже неплохая идея. Все специалисты по данным знают, как эффективно работать с моделями, но..
Поток воздуха
В FLYR мы используем Apache Airflow для многих наших запланированных заданий по приему данных. Airflow - это планировщик и монитор с графическим интерфейсом, который отображает рабочие процессы в виде направленных ациклических графиков (DAG).
Методом проб и ошибок мы узнали, что Airflow хорош в некоторых ситуациях, но имеет конкретные ограничения, которые делают его неэффективным для определенных приложений. В этой статье мы обсудим преимущества использования Airflow, решения..
Как запустить Airflow локально с помощью Docker
Пошаговое руководство по запуску Airflow с Docker на локальном компьютере
Введение
Apache Airflow — одна из самых популярных технологий в области проектирования данных, которая позволяет пользователям создавать, организовывать и отслеживать конвейеры данных в любом масштабе.
Есть определенный шанс, что вы уже пытались запустить Airflow локально, установив его через pip , но есть вероятность, что вы столкнетесь с проблемами и, что еще хуже, испортите свою локальную среду.
Если вы..
Prefect vs Airflow: Битва инструментов управления рабочим процессом
Конвейер машинного обучения (ML) может стать перегруженным по мере продвижения проекта, поскольку со временем добавляется несколько слоев. Чтобы упростить процесс для разработчиков, инструменты мониторинга и управления рабочими процессами используются для представления сквозного потока данных. Некоторые функции инструментов управления рабочими процессами включают MLOps, автоматизацию конвейера, пакетную обработку и многое другое.
Два самых популярных инструмента управления рабочим..
Интеграция Airflow и MLFlow
Поток воздуха
Airflow - это платформа для программного создания, планирования и мониторинга рабочих процессов. Используйте Airflow для создания рабочих процессов в виде направленных ациклических графиков (DAG) задач.
Основные 4 компонента Airflow - это веб-сервер, планировщик, исполнитель и база данных метаданных. Подробности об этих 4 компонентах можно найти здесь .
Дело в том, что если мы начнем подробно обсуждать Airflow, для завершения обсуждения потребуется много времени...
Надежные трубопроводы машинного обучения с часовым механизмом
Как мы управляем планированием и автоматизацией конвейеров машинного обучения в Kubernetes.
В следующей серии статей Платформа машинного обучения компании Gojek мы рассмотрим планирование и автоматизацию конвейеров данных и обучение моделей.
Одна «несексуальная» сторона науки о данных - это количество повторяющейся работы. Новые данные необходимо принимать и преобразовывать в полезные функции. Моделей нужно переучивать. Метрики необходимо вычислять и сообщать. Обычно это..
