Копирование файлов с AWS S3 на уровень архива хранилища Azure

Я пытаюсь напрямую скопировать файлы с AWS S3 на уровень доступа к архивам хранилища Azure. Используя azcopy, я могу скопировать файлы из S3 в Azure, но при использовании флага --block-blob-tier Archive я обнаружил ошибку:

failed to parse user input due to error: blob-tier is not supported while copying from sevice to service

Единственный способ обойти это, что я могу найти, - либо загрузить файлы локально, а затем загрузить их в Azure, либо изменить уровень доступа после загрузки. Первое - лучшее решение, так как второе будет вдвое дороже (оплата операции записи при смене уровня). Есть ли у кого-нибудь другой вариант или знает, почему azcopy не поддерживает это?

Ошибка azcopy:

amazon-s3 azure-storage azcopy
person Connor Carolan    schedule 26.03.2020    source источник

Ответы (2)


arrow_upward
1
arrow_downward

Вместо того, чтобы загружать файлы с S3 на локальный компьютер и затем отправлять их обратно в хранилище Azure, вы можете просто скопировать файл с S3 в хранилище Azure без явной настройки уровня доступа к большим двоичным объектам. Уровень доступа результирующего большого двоичного объекта будет Hot. После успешного завершения операции копирования вы можете изменить уровень доступа.

Преимущество этого подхода в том, что копирование происходит напрямую между S3 и хранилищем Azure. Однако этот процесс является асинхронным, и вы должны дождаться завершения операции копирования (вместо того, чтобы просто принять ее), прежде чем инициировать операцию изменения уровня доступа.

ОБНОВЛЕНИЕ

Если копирование напрямую из S3 в хранилище BLOB-объектов Azure, а затем изменение уровня доступа нецелесообразно для вас с точки зрения затрат, вы можете загрузить объект из S3 и отправить его непосредственно на уровень архива хранилища BLOB-объектов Azure. Эта функция находится в предварительном просмотре на момент написания этого сообщения. Эта функция доступна в Storage REST API версии 02.02.2019. Из release notes link:

API-интерфейсы Copy Blob, Put Block List и Put Blob поддерживают заголовок x-ms-access-tier для блочных BLOB-объектов, чтобы установить уровень для результата без необходимости второго вызова API.

person Gaurav Mantri    schedule 26.03.2020
comment
Моя проблема заключается в дополнительных затратах, необходимых для перемещения файлов на уровень архива. На основе документация Я бы заплатил за загрузку файлов, а затем я бы также заплатил стоимость операции записи, чтобы передать их в архив - person Connor Carolan; 26.03.2020
comment
Понял. Обновил мой ответ, чтобы включить прямую загрузку на уровень архива. - person Gaurav Mantri; 27.03.2020

arrow_upward
0
arrow_downward

вы можете использовать портал Flexify.io, на котором вам нужно добавить учетные данные корзины s3 и хранилище BLOB-объектов Azure, а также ключ, а затем скопировать из s3 в блок и наоборот. даже перемещение данных

person naveen dev manilal    schedule 22.04.2020