Использование SqlReaderQuery в конвейере данных

Я копирую данные из базы данных SQL Azure в большой двоичный объект с помощью запроса.

Вот сценарий активности:

{
    "type": "Copy",
    "typeProperties": {
        "source": {
            "type": "SqlSource",
            "sqlReaderQuery": "select distinct a.*, b.Name from [dbo].[Transactxxxxxxx] a join dbo.Anxxxxx b on a.[Clixxxxx] = b.[Fixxxxxx] where b.Name = 'associations'"
        },
        "sink": {
            "type": "BlobSink",
            "writeBatchSize": 0,
            "writeBatchTimeout": "00:00:00"
        }
    },
    "inputs": [
        {
            "name": "Txnsxxxxxxxxxxx"
        }
    ],
    "outputs": [
        {
            "name": "Txnxxxxxxxxxxxx"
        }
    ],
    "policy": {
        "timeout": "01:00:00",
        "concurrency": 1,
        "retry": 3
    },
    "scheduler": {
        "frequency": "Hour",
        "interval": 1
    },
    "name": "Copyxxxxxxxxxx"
}

Кажется, что действие работает, но оно не помещает ни один файл в приемник.

Набор данных указывает на правильный контейнер.


azure azure-data-factory
person Dario Federici    schedule 02.06.2016    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Согласно предоставленной вами информации, я нашел журналы успешных запусков в нашем сервисе. Я заметил, что целевой большой двоичный объект указан как «experimentinput/Inxxx_To_xx_Associations.csv/Inxxx_To_xx.csv». Имя большого двоичного объекта является статическим, и несколько запусков среза перезаписывают один и тот же файл большого двоичного объекта. Вы можете использовать свойство partitionBy, чтобы иметь динамическое имя большого двоичного объекта. Дополнительные сведения см. в этой статье: https://azure.microsoft.com/en-us/documentation/articles/data-factory-azure-blob-connector/#azure-blob-dataset-type-свойства .

person Yingqin    schedule 08.06.2016