Стратегия сжатия и навигации по большим сжатым каталогам

Я управляю компьютерным кластером. Это многопользовательская система. У меня есть большой каталог, заполненный файлами (размером в терабайты). Я хотел бы сжать его, чтобы пользователь, которому он принадлежит, мог сэкономить место и по-прежнему иметь возможность извлекать из него файлы.

Задачи с возможными решениями:

  1. tar : размер каталога затрудняет распаковку последующего tar-архива из-за плохого произвольного чтения tar. Я имею в виду канонический способ сжатия, то есть tar cvzf mytarball.tar.gz mybigdir

  2. squashfs: похоже, это отличное решение, за исключением того, что для его монтирования нужно требуется root-доступ. Я действительно не хочу участвовать в монтировании их файла squashfs каждый раз, когда они хотят получить доступ к файлу.

  3. Сжать, а затем tar: я мог бы сначала сжать файлы, а затем использовать tar для создания архива. Недостатком этого было бы то, что я не сэкономил бы столько места при сжатии и не получил бы никаких инодов.

Подобные вопросы (здесь) уже задавались ранее, но решения в данном случае не подходят.

ВОПРОС:

Есть ли удобный способ сжать большой каталог, чтобы по нему можно было быстро и легко перемещаться и не требовалось прав суперпользователя?


person irritable_phd_syndrome    schedule 02.01.2020    source источник


Ответы (1)


Вы добавляете его в теги, но не упоминаете в вопросе. Для меня zip это самый простой способ управления большими архивами (со многими файлами). Кроме того, tar+gzip на самом деле является двухэтапной операцией, для ускорения которой требуются специальные операции. И zip доступен для многих платформ, так что вы выигрываете и в этом направлении.

person Romeo Ninov    schedule 02.01.2020
comment
Может, привести пример? - person irritable_phd_syndrome; 03.01.2020
comment
@irritable_phd_syndrom, ваш вопрос слишком широк. Уделите больше внимания конкретной проблеме, чтобы я мог привести пример. - person Romeo Ninov; 03.01.2020