Более эффективный способ поиска и архивирования миллионов файлов

Если вы уже выполнили вторую команду, которая создала список файлов, просто используйте параметр -T, чтобы программа tar считывала имена файлов из этого сохраненного списка файлов. Намного лучше будет запустить 1 команду tar против N команд tar.

Один из вариантов - использовать cpio для создания архива в формате tar:

$ find data/ -name "filepattern-*2009*" | cpio -ov --format=ustar > 2009.tar

cpio изначально работает со списком имен файлов из стандартного ввода, а не с каталогом верхнего уровня, что делает его идеальным инструментом в этой ситуации.

Вот комбинация find-tar, которая может делать то, что вы хотите, без использования xargs или exec (что должно привести к заметному ускорению):

tar --version    # tar (GNU tar) 1.14 

# FreeBSD find (on Mac OS X)
find -x data -name "filepattern-*2009*" -print0 | tar --null --no-recursion -uf 2009.tar --files-from -

# for GNU find use -xdev instead of -x
gfind data -xdev -name "filepattern-*2009*" -print0 | tar --null --no-recursion -uf 2009.tar --files-from -

# added: set permissions via tar
find -x data -name "filepattern-*2009*" -print0 | \
    tar --null --no-recursion --owner=... --group=... --mode=... -uf 2009.tar --files-from -

Для этого есть xargs:

find data/ -name filepattern-*2009* -print0 | xargs -0 tar uf 2009.tar

Догадаться, почему это так медленно, сложно, поскольку информации не так много. Какова структура каталога, какую файловую систему вы используете, как она была настроена при создании. Наличие миллионов файлов в одном каталоге - довольно сложная ситуация для большинства файловых систем.

Чтобы правильно обрабатывать имена файлов со странными (но допустимыми) символами (такими как новые строки, ...), вы должны записать свой список файлов в filesOfInterest.txt, используя команду find -print0:

find -x data -name "filepattern-*2009*" -print0 > filesOfInterest.txt
tar --null --no-recursion -uf 2009.tar --files-from filesOfInterest.txt 

Как и в настоящее время, вы вызываете команду tar каждый раз, когда она находит файл, что неудивительно медленно. Вместо того, чтобы потратить два часа на печать плюс время, необходимое для открытия tar-архива, посмотреть, не устарели ли файлы, и добавить их в архив, вы фактически умножаете это время вместе. Возможно, вы добьетесь большего успеха, вызвав команду tar один раз, после того, как вы объедините все имена, возможно, используя xargs для выполнения вызова. Кстати, я надеюсь, что вы используете 'filepattern- * 2009 *', а не filepattern- * 2009 *, поскольку звездочки будут расширяться оболочкой без кавычек.

Для этого есть утилита tarsplitter.

tarsplitter -m archive -i folder/*.json -o archive.tar -p 8

будет использовать 8 потоков для архивирования файлов, соответствующих "folder / *. json", в выходной архив "archive.tar"

https://github.com/AQUAOSOTech/tarsplitter

Я долго боролся с Linux, прежде чем нашел гораздо более простое и потенциально более быстрое решение с использованием библиотеки tarfile Python.

1. Используйте glob.glob для поиска нужных путей к файлам
2. Создать новый архив в режиме добавления
3. Добавить каждый путь к файлу в этот архив
4. Закрыть архив

Вот мой пример кода:

import tarfile
import glob
from tqdm import tqdm

filepaths = glob.glob("Images/7 *.jpeg")
n = len(filepaths)
print ("{} files found.".format(n))
print ("Creating Archive...")
out = tarfile.open("Images.tar.gz", mode = "a")
for filepath in tqdm(filepaths, "Appending files to the archive..."):
  try:
    out.add(filepath)
  except:
    print ("Failed to add: {}".format(filepath))

print ("Closing the archive...")
out.close()

Это заняло в общей сложности около 12 секунд, чтобы найти 16222 пути к файлам и создать архив, однако в основном это было занято простым поиском путей к файлам. На создание tar-архива с 16000 путей к файлам ушло всего 7 секунд. С некоторой многопоточностью это могло бы быть намного быстрее.

Если вы ищете многопоточную реализацию, я ее сделал и разместил здесь:

import tarfile
import glob
from tqdm import tqdm
import threading

filepaths = glob.glob("Images/7 *.jpeg")
n = len(filepaths)
print ("{} files found.".format(n))
print ("Creating Archive...")
out = tarfile.open("Images.tar.gz", mode = "a")

def add(filepath):
  try:
    out.add(filepath)
  except:
    print ("Failed to add: {}".format(filepath))

def add_multiple(filepaths):
  for filepath in filepaths:
    add(filepath)

max_threads = 16
filepaths_per_thread = 16

interval = max_threads * filepaths_per_thread

for i in tqdm(range(0, n, interval), "Appending files to the archive..."):
  threads = [threading.Thread(target = add_multiple, args = (filepaths[j:j + filepaths_per_thread],)) for j in range(i, min([n, i + interval]), filepaths_per_thread)]
  for thread in threads:
    thread.start()
  for thread in threads:
    thread.join()

print ("Closing the archive...")
out.close()

Конечно, вам нужно убедиться, что значения max_threads и filepaths_per_thread оптимизированы; для создания потоков требуется время, поэтому время может фактически увеличиваться для определенных значений. И последнее, что следует отметить: поскольку мы используем режим добавления, мы автоматически создаем новый архив с указанным именем, если он еще не существует. Однако, если один действительно уже существует, он просто добавится к уже существующему архиву, а не сбросит его или создаст новый.

Самый простой (также удалить файл после создания архива):

find *.1  -exec tar czf '{}.tgz' '{}' --remove-files \;