Вопросы по теме 'airflow-operator'
Использование входных переменных Json в действиях оператора EMR воздушного потока
В настоящее время я следую приведенному здесь шаблону: https://github.com/apache/airflow/blob/master/airflow/contrib/example_dags/example_emr_job_flow_manual_steps.py , чтобы создать DAG для вызова экземпляра emr с помощью искровой отправки. При...
985 просмотров
schedule
08.11.2022
В запросе не было подходящей крошки
Я запускаю докер Jenkins вместе с воздушным потоком на моем локальном компьютере. Задача воздушного потока, предназначенная для запуска уже созданного задания Jenkins с помощью JenkinsJobTriggerOperator, завершается ошибкой без включения крошки....
550 просмотров
schedule
31.05.2022
Почему не удалось выполнить задачу Airflow PythonOperator, но код возврата равен 0?
У меня есть Airflow DAG, который работает с PythonOperator, мне интересно, почему моя задача не выполняется, но выходит с кодом возврата 0?
Ошибка выполнения с нулевым кодом возврата заставила меня считать задачу успешно выполненной.
Вы можете...
3330 просмотров
schedule
26.06.2023
Зачем использовать CustomOperator вместо PythonOperator в Apache Airflow?
Поскольку я использую Apache Airflow, я не могу понять, зачем кому-то создавать CustomOperator вместо PythonOperator . Разве это не привело бы к тем же результатам, если бы я использовал функцию python внутри PythonOperator вместо...
471 просмотров
schedule
12.06.2022
Флаг Catchup в dag Airflow не работает должным образом
Шаги (сегодня 7 января 2020 года):
1) Поместите следующий тег в каталог Airflow:
from datetime import datetime
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
dag = DAG(dag_id='example_dag',...
993 просмотров
schedule
14.06.2022
При использовании воздушного потока с BigQuery и облачным SDK возникает ошибка. Пользователь должен пройти аутентификацию при предоставлении пользовательского проекта.
Я пытаюсь запустить воздушный поток локально. В моей группе DAG есть BigQueryOperator, и я хочу использовать облачный SDK для аутентификации. Я запускаю "gcloud auth application-default login", чтобы получить файл json с учетными данными. Я пытаюсь...
1003 просмотров
schedule
16.01.2023
планировщик воздушного потока выполняет dag раньше, чем дата его начала
Я пытаюсь выполнить даг на start_date= datetime.strptime('3/2/2020 8:20:00', '%m/%d/%Y %H:%M:%S') и schedule_interval=schedule_interval='20/5 8 * * *' , но даг выполняется до фактической start_date.
from datetime import datetime
from airflow...
53 просмотров
schedule
12.08.2022
Conn_id не определен в Airflow JenkinsJobTriggerOperator
Я пытаюсь запустить работу в Jenkins с помощью метки Airflow. Я пробовал следующее,
dag = DAG("test_jenkins", default_args=default_args, schedule_interval=None)
job_trigger = JenkinsJobTriggerOperator(
dag=dag,
task_id="trigger_job",...
1109 просмотров
schedule
11.02.2023
Как исправить эту ошибку Apache Airflow? [Errno 2] Нет такого файла или каталога:
Я новичок в Airlfow, но я понимаю, что воздушный поток копирует каждый DAG во временный каталог перед его выполнением. Я предполагаю, что это временный каталог, который не может быть найден, отсюда и ошибка. Однако странно то, что конфигурация не...
546 просмотров
schedule
28.07.2023
Airflow: как сценарий Python может сигнализировать о сбое задачи при запуске с помощью BashOperator
При запуске сценария Python с использованием BashOperator из Airflow 1.10.9,
task_1 = BashOperator(
task_id='task_1',
bash_command='/path/to/env/python /path/to/task_1.py'
dag=dag)
что можно сделать внутри скрипта Python, чтобы...
224 просмотров
schedule
02.03.2023
Воздушный поток: пропустить строку перед оператором битового сдвига
Можно ли разорвать строки между оператором bitfshift при настройке зависимостей задач в DAG?
В моем DAG 10 задач, и все они должны выполняться последовательно, без распараллеливания.
Я хотел бы связать их в своем коде вертикально, как показано...
565 просмотров
schedule
29.07.2022
Пример Airflow kubernetesPorOperator не запускается
При попытке запустить образец kubernetesPodOperator получает:
[2020-05-25 20: 00: 40,475] {{ init .py: 51}} ИНФОРМАЦИЯ - Использование исполнителя LocalExecutor [2020-05-25 20: 00: 40,475] {{ dagbag.py:396}} ИНФОРМАЦИЯ - заполнение DagBag из...
272 просмотров
schedule
02.05.2022
Airflow: используйте LivyBatchOperator для отправки приложений pyspark в пряжу.
Я столкнулся с чем-то под названием LivyBatchOperator , но не смог найти очень хороший пример для отправки приложений pyspark в потоке воздуха. Любая информация об этом будет действительно оценена. Заранее спасибо.
872 просмотров
schedule
15.01.2023
Получение java.lang.RuntimeException: класс драйвера не найден при использовании jdbc_hook более одного раза в операторе воздушного потока
Вариант использования — запустить список sql в улье и обновить метаданные impala. Как показано ниже, два метода для hive и impala используют jdbc_hook. В каком бы порядке я ни вызывал эти методы, только первый запускается, а второй выдает ОШИБКУ —...
94 просмотров
schedule
28.08.2022
неуспешная задача, основанная на Debian_on_past в операторах воздушного потока
Скажем, у меня есть даг, в котором одна задача зависит от 4 задач. Все 4 задачи должны запускаться только в том случае, если та же задача предыдущего запуска dag была успешной. Таким образом, все задачи имеют значение depends_on_past как True....
206 просмотров
schedule
04.08.2022
Невозможно использовать воздушный поток KubernetesPodOperator на машине разработки
Я пытаюсь использовать KubernetesPodOperator для тестирования на машине разработки iMac (10.15.6). Версии, используемые для minikube и kubectl, показаны ниже. версия воздушного потока использовала apache-airflow[kubernetes]==1.10.11
Я не могу...
1423 просмотров
schedule
12.07.2022
Ошибка при запуске системной задачи Системная задача - Airflow DAG / SQL Server
После того, как я запустил и обновил задачу dag, она перешла из состояния выполнения, задержки в состояние сбоя. Журнал ошибок из воздушного потока сказал мне проверить ошибку с сервера sql, который я получил. Не удалось запустить системную задачу...
91 просмотров
schedule
05.08.2022
Airflow задайте run_id с параметром из конфигурации JSON
Я хочу автоматически установить для run_id более осмысленное имя.
Как я понял, сейчас run_id задается в TriggerDagRunOperator. Я видел в этом потоке предложение по замене TriggerDagRunOperator для данные.
Я также хочу, чтобы изменение...
109 просмотров
schedule
13.03.2023
Получить и передать результат задачи Airflow SSHOperator другой задаче?
Мне нужно получить вывод команды bash (размером с файл) в SSHOperator. Я буду использовать это значение в качестве проверки условия для перехода к другим задачам. Я использую xcom, чтобы попытаться получить значение, и оператор branchpython для...
891 просмотров
schedule
27.05.2024
Пропуск задачи Aiflow в правиле триггера ONE_SUCCESS
Я использую правило триггера one_success, так что если какая-либо из родительских задач проходит, а дочерняя задача выполняется, как и ожидалось. Однако у меня возникает проблема, когда оба не работают. В этом случае дочерняя задача будет пропущена...
410 просмотров
schedule
18.04.2022
