Как я могу предоставить значения параметров / аргументов времени выполнения через файл для конвейера CDAP

Как добавить параметр / аргументы времени выполнения в конвейер CDAP.

Мы можем установить параметры во всех узлах Transforms, Source и Target и вручную ввести значения во время выполнения в средах Datafusion.

Однако в производственных средах я хотел бы, чтобы файл параметров передавал значения в конвейер, как мне достичь этой функции.

В документации CDAP я не нахожу ничего полезного относительно аргументов времени выполнения. Я новичок в слиянии данных и не очень знаком с интерфейсом. Если на этот вопрос уже дан ответ, также будет полезно перенаправление в ветку.


cdap
person Trishit Ghosh    schedule 10.01.2020    source источник

Ответы (1)


arrow_upward
0
arrow_downward

При запуске конвейера вы можете указать аргументы времени выполнения в виде карты JSON в теле запроса.

Во-первых, ваш конвейер должен содержать макросы поиска свойств, которые задокументированы здесь. Например, определение json конвейера может содержать следующую конфигурацию для плагина BigQuery Sink (окружающие поля удалены для краткости):

  {
    "name": "BigQuerySink",
    "plugin": {
      "properties": {
        "table": "${bqsink_table}"
      }
    },

Затем при запуске конвейера вы можете указать значения для макросов, как указано в здесь.

В этом примере вы должны отправить запрос POST на v3/namespaces/<namespace-id>/apps/<app-id>/workflows/DataPipelineWorkflow/start с телом запроса:

{ "bqsink_table": "myTable" }
person Derek    schedule 15.01.2020
comment
Я должен добавить, если вы вместо этого предпочитаете устанавливать значения по умолчанию для всех параметров сразу, вы можете использовать API настроек - person Derek; 15.01.2020