Загрузка Azure DataWarehouse CSV с внешней таблицей

Я не могу найти полный пример того, как я мог бы напрямую загрузить файл CSV с внешней таблицей в хранилище данных Sql. Файл находится в учетной записи хранения https://tstodummy.blob.core.windows.net/ Контейнер BLOB-объектов referencedata-in, папка csv-uploads, файл something.csv. это мой код

CREATE DATABASE SCOPED CREDENTIAL tstodummy_refdata_credential
  WITH IDENTITY = 'USER',
  SECRET = '....'
GO

CREATE EXTERNAL DATA SOURCE tstodummy_referencedata
  WITH ( TYPE = HADOOP,
         LOCATION = 'wasb://[email protected]',
         CREDENTIAL = tstodummy_refdata_credential);
GO

CREATE EXTERNAL FILE FORMAT aps_bma_referencedata_ff
WITH (FORMAT_TYPE = DELIMITEDTEXT,
      FORMAT_OPTIONS(
          FIELD_TERMINATOR = ';',
          STRING_DELIMITER = '"',
          FIRST_ROW = 2, 
          USE_TYPE_DEFAULT = True)
)

CREATE EXTERNAL TABLE [stg_aps_bma_refdata].[PlanDeMaintenance]
  ( [Version]     VARCHAR(255) NULL
  , [Description] VARCHAR(255) NULL
  , [Date_Start]  VARCHAR(255) NULL
  , [Date_Stop]   VARCHAR(255) NULL
  ) WITH ( LOCATION = '\referencedata-in\csv-uploads\PlanDeMaintanance'
         , DATA_SOURCE = tstodummy_referencedata
         , FILE_FORMAT = aps_bma_referencedata_ff
         , REJECT_TYPE = VALUE
         , REJECT_VALUE = 0
         )

Я играл со всякими комбинациями в Локации... Но, Nogo Ошибка такая

Msg 105002, Level 16, State 1, Line 26
EXTERNAL TABLE access failed because the specified path name '/referencedata-in/csv-uploads/PlanDeMaintanance.csv' does not exist. Enter a valid path and try again.

azure-storage-blobs sql-data-warehouse
person Harry Leboeuf    schedule 11.09.2018    source источник

Ответы (2)


arrow_upward
0
arrow_downward

Я не вижу вашей структуры хранения, но думаю, вы обнаружите, что проблема заключается в включении "/referencedata-in" во внешней таблице.

Одна небольшая вещь: вы также можете рассмотреть префикс «wabs» в URL-адресе вашего хранилища, чтобы к передаче применялось шифрование SSL.

person Ron Dunn    schedule 12.09.2018

arrow_upward
0
arrow_downward

Наконец, это помогло в случае, если другие столкнулись с проблемами продажи. Я еще не добавлял, в этом коде реплику я получил, тем временем сделал.

CREATE EXTERNAL DATA SOURCE tsto_referencedata
  WITH ( TYPE = HADOOP,
         LOCATION = 'wasb://[email protected]',
         CREDENTIAL = tsto_refdata_credential);
GO

CREATE EXTERNAL FILE FORMAT aps_bma_referencedata_ff
WITH (FORMAT_TYPE = DELIMITEDTEXT,
      FORMAT_OPTIONS(
          FIELD_TERMINATOR = ',',
          STRING_DELIMITER = '"',
          FIRST_ROW = 2, 
          USE_TYPE_DEFAULT = True)
)

CREATE EXTERNAL TABLE [stg_aps_bma_refdata].[PlanDeMaintenance.csv]
  ( [Version]     VARCHAR(255) NULL
  , [Description] VARCHAR(255) NULL
  , [Date_Start]  VARCHAR(255) NULL
  , [Date_Stop]   VARCHAR(255) NULL
  ) WITH ( LOCATION = '/csv-uploads/PlanDeMaintenance.csv'
         , DATA_SOURCE = tsto_referencedata
         , FILE_FORMAT = aps_bma_referencedata_ff
         , REJECT_TYPE = VALUE
         , REJECT_VALUE = 0
         )
person Harry Leboeuf    schedule 12.09.2018