Amazon Glacier — поиск файлов по префиксу

Ваши предложения будут большим подспорьем для моего проекта.

Планируется использовать Amazon glacier для хранения выходных данных задания cron для длительного хранения. Выходные данные Cron Job будут генерироваться ежедневно, и каждый файл будет иметь формат, указанный ниже.

03-04-2017-output-1.txt
03-04-2017-output-2.txt
04-04-2017-output-1.txt
04-04-2017-output-2.txt

Можно ли получить один файл, который представляет собой объединение файлов с префиксом даты? Например, я хочу получить файлы, созданные 03-04-2017, поэтому один единственный zip-файл, содержащий 03-04-2017-output-1.txt, 03-04-2017-output-2.txt Можно ли выбрать файлы на основе имен файлов и извлечения?

Я посетил документы ледника Амазонки AWS и понял о поиске диапазона, который основан на МБ, возможно ли получить на основе имени файла?


amazon-web-services amazon-glacier
person DPK    schedule 04.04.2017    source источник
comment
НЕ ИСПОЛЬЗУЙТЕ GLACIR, если вы не уверены в том, что делаете. Глядя на то, как вы извлекаете файл, держу пари, вы действительно не знаете скрытую цену за glacier. Сделайте оценку потребности в хранилище, а затем ознакомьтесь с ценами на S3 в стандартной комплектации и IA. Приятно учить других людей, как показано здесь --› download-from-amazon-glacier-6cb77b288c3e" rel="nofollow noreferrer">medium.com/@karppinen/   -  person mootmoot    schedule 04.04.2017
comment
Привет @mootmoot, спасибо за ваше предупреждение .. будем помнить о стоимости загрузки и выгрузки Amazon glacier .. Тем не менее, мы выбрали glacier для длительного хранения, а не для частого доступа .. просто хотели знать, основан ли этот режим консолидации файлов по именам файлов при извлечении возможно или нет?   -  person DPK    schedule 04.04.2017

Ответы (1)


arrow_upward
0
arrow_downward

Вы упомянули хранилище файлов внутри zip-файла, это действительно не имеет отношения ко всем службам хранения, потому что копаться в содержимом ZIP - это пустая трата ресурсов ЦП и практика с высоким риском (например, архивная бомба / zip-бомба).

Поэтому вам нужно иметь дело непосредственно с хранимым объектом.

ИМХО, лучше всего создать хранилище S3. До тех пор, пока вы убедитесь, что в вашем заархивированном файле журнала указан правильный префикс/суффикс индекса даты/и т.д. Это также полезно, если вы хотите хранить среднесрочное содержимое в стандартном хранилище S3 и стандартном хранилище IA.

Как указано в часто задаваемых вопросах по AWS Glacier

Вопрос. Могу ли я посмотреть, какие архивы хранятся в Amazon Glacier?

да. Хотя вам потребуется вести собственный индекс данных, которые вы загружаете в Amazon Glacier, инвентаризация всех архивов в каждом из ваших хранилищ ведется для аварийного восстановления или периодического согласования. Инвентарь хранилища обновляется примерно раз в сутки. Вы можете запросить инвентаризацию хранилища в виде файла JSON или CSV, и он будет содержать сведения об архивах в вашем хранилище, включая размер, дату создания и описание архива (если вы предоставили его во время загрузки). Инвентаризация будет представлять состояние хранилища на момент последнего обновления инвентаризации.

person mootmoot    schedule 05.04.2017