файл озера данных для снижения производительности большого двоичного объекта

Я использую azcopy для загрузки локальных файлов в хранилище BLOB-объектов.

Я использую команду:

azcopy copy "localpath" "destinationpath(with SAS)" --include="*.csv" --recursive=true

Я тоже пробовал

azcopy sync "localpath" "destinationpath(with SAS)" --include="*.csv"

Размер файлов, которые я пытаюсь загрузить, превышает 1 ГБ. Когда я вручную загружаю файл в озеро данных, для 1 файла требуется 40 минут +. Если я делаю это с помощью azcopy, это занимает 30 минут + на файл и часто терпит неудачу.

Это нормально, что это занимает так много времени? Я что-то делаю не так или есть более быстрый способ сделать это?


azure azure-data-lake azcopy
person mrdeadsven    schedule 30.09.2019    source источник
comment
вы загружаете в хранилище BLOB-объектов или в лазурное озеро данных (поколение 1 или поколение 2)?   -  person Ivan Yang    schedule 02.10.2019
comment
Хранилище BLOB-объектов @IvanYang gen1   -  person mrdeadsven    schedule 03.10.2019

Ответы (1)


arrow_upward
1
arrow_downward

Как вы, возможно, знаете, azcopy оптимизирован для повышения производительности. Я вижу ваш код, ничего не пропало. Если это так, мы ничего не можем сделать (или, может быть, вы можете проверить, проблема с сетью?).

Вы можете попробовать Azure Data Factory, он обеспечивает очень высокую производительность, которая может достигать скорости загрузки данных до 1 ГБ / с в Data Lake Storage Gen1.

person Ivan Yang    schedule 03.10.2019
comment
Да, мы только что нашли проблему. Мы должны использовать прокси-сервер, но очевидно, что прокси-сервер ограничен и дал нам очень плохую скорость загрузки. Мы поговорили с нашей сетевой командой, и теперь она решена, так что это действительно была проблема, связанная с сетью. - person mrdeadsven; 03.10.2019