Передача свойств в действие U-SQL через конвейер фабрики данных Azure с помощью параметров?

Я хочу передать свойства времени начала/окончания фрагмента конвейера в действие U-SQL через свойство «параметры» действия/конвейера.

Цель состоит в том, чтобы генерировать динамические имена файлов на основе даты запуска слайса и организовывать процесс для ежедневного запуска и обработки файла с этой датой.

Это выполнимо?


azure-data-lake azure-data-factory u-sql
person Tayyab Anwar    schedule 17.05.2016    source источник

Ответы (1)


arrow_upward
2
arrow_downward

Это должно быть возможно. Вот пример того, как я использую дату фрагмента для динамического определения структуры папок.

"typeProperties": {
                "scriptPath": "script.usql",
                "scriptLinkedService": "LinkedService_AS_Storage",
                "degreeOfParallelism": 3,
                "priority": 100,
                "parameters": {
                    "in": "$$Text.Format('/RawData/{0:yyyy}/{0:MM}/{0:dd}/In.csv',SliceStart)",
                    "out": "$$Text.Format('/TempData/{0:yyyy}/{0:MM}/{0:dd}/Out.csv',SliceStart)"
                }
            }

Внутри сценария USQL вы просто ссылаетесь на параметры @in или @out. Будьте осторожны, синтаксис U-SQL чувствителен к регистру. Фактически они добавляются в начало файла сценария, когда фабрика данных Azure получает его из хранилища для запуска.

Надеюсь это поможет.

person JustLogic    schedule 17.05.2016
comment
Да, именно так это и работает. Спасибо за помощь! - person Tayyab Anwar; 19.05.2016