Я пытаюсь использовать Airflow для выполнения 11 шагов на AWS EMR и следую этому код для справки. Поскольку использование EmrAddStepsOperator и EmrStepSensor для 11 шагов было бы слишком большим повторением. Итак, я пытаюсь пройти через это. Я...

Я вручную подготовил Glue Crawler и теперь пытаюсь запустить его через Airflow (в AWS). На основе документов из здесь кажется, что существует множество способов справиться с этой задачей по сравнению с другими задачами в среде Glue. Однако у меня...

В MWAA я использую следующий код для доступа к файлам в моей корзине S3. Ковш S3 имеет следующую форму: aws s3 ls s3://example-bucket/incoming/driver-events/ingestDate=2021-05-26/ Приведенная выше команда работает нормально. Теперь я пытаюсь...

В настоящее время я использую MWAA ( версия Airflow: 2.0.2 ) для создания конвейера данных. cx_Oracle выдает исключение, когда я пытаюсь подключиться к базе данных Oracle (Oracle 10g) с помощью поставщика. Выполнить после установки apache-airflow...

Используя AWS MWAA, я пытаюсь запускать задачи. Иногда, может быть, в 5% задач задачи завершатся сбоем без журналов и доказательств того, что они когда-либо доходили до работника. (EDIT: заметил, что это происходит, когда две задачи отправляются...