Поиск дубликатов файлов через hashlib?

Очевидным инструментом для выявления дубликатов является хэш-таблица. Если вы не работаете с очень большим количеством файлов, вы можете сделать что-то вроде этого:

from collections import defaultdict

file_dict = defaultdict(list)
for filename in files:
    file_dict[get_file_hash(filename)].append(filename)

В конце этого процесса file_dict будет содержать список для каждого уникального хэша; когда два файла имеют одинаковый хеш, они оба появятся в списке для этого хэша. Затем отфильтруйте dict в поисках списков значений длиннее 1 и сравните файлы, чтобы убедиться, что они одинаковы - что-то вроде этого:

for duplicates in file_dict.values():   # file_dict.itervalues() in Python 2
    if len(duplicates) > 1:
        # double-check reported duplicates and generate output

Или это:

duplicates = [files for files in file_dict.values() if len(files) > 1]

get_file_hash может использовать MD5; или он может просто получить первый и последний байты файла, как предложил Рамчандра Апте в комментариях выше; или он может просто использовать размеры файлов, как tdelaney предложил в комментариях выше. Однако каждая из двух последних стратегий чаще приводит к ложным срабатываниям. Вы можете комбинировать их, чтобы уменьшить количество ложных срабатываний.

Если вы работаете с очень большим количеством файлов, вы можете использовать более сложную структуру данных, такую ​​как Фильтр Блума.

У @senderle есть отличный ответ, но, поскольку он упомянул, что мое решение будет давать ложные срабатывания, я решил, что перчатка закрыта, и мне лучше показать код. Я уменьшил вашу функцию md5 (она всегда должна использовать регистр «fileSliceLimitation» и должна быть менее скупа на свой входной буфер), а затем предварительно отфильтровала по размеру перед выполнением md5s.

import sys
import os
import hashlib
from collections import defaultdict

searchdirpath = sys.argv[1]

size_map = defaultdict(list)

def getFileHashMD5(filename):
    m = hashlib.md5()
    with open(filename, 'rb', 1024*1024) as fh:
          while True:
            data = fh.read(1024*1024)
            if not data:
                break
            m.update(data)
    return m.hexdigest()

# group files by size
for dirname, dirnames, filenames in os.walk(searchdirpath):
    for filename in filenames:
        fullname = os.path.join(dirname, filename)
        size_map[os.stat(fullname).st_size].append(fullname)

# scan files of same size
for fullnames in size_map.itervalues():
    if len(fullnames) > 0:
        hash_map = defaultdict(list)
        for fullname in fullnames:
            hash_map[getFileHashMD5(fullname)].append(fullname)
        for fullnames in hash_map.itervalues():
            if len(fullnames) > 1:
                print "duplicates:"
                for fullname in fullnames:
                    print "   ", fullname

(РЕДАКТИРОВАТЬ)

Было несколько вопросов об этой реализации, на которые я постараюсь ответить здесь:

1) почему размер (1024*1024) не "5000000"

Ваш исходный код читается с шагом 8192 (8 КиБ), что очень мало для современных систем. Вы, вероятно, получите лучшую производительность, захватив больше сразу. 1024*1024 — это 1048576 (1 МБ) байт, и это всего лишь предположение о разумном числе. Что касается того, почему я написал это таким странным образом, 1000 (десятичный килобайт) любят люди, а 1024 (двоичный кибибайт) любят компьютеры и файловые системы. У меня есть привычка писать some_number*1024, поэтому легко увидеть, что я имею в виду приращение в 1 КиБ. 5000000 — это тоже разумное число, но вы должны учитывать 5*1024*1024 (то есть 5 МБ), чтобы получить что-то, хорошо выровненное для файловой системы.

2) что именно делает этот бит: size_map = defaultdict(list)

Он создает «defaultdict», который добавляет функциональность к обычному объекту dict. Обычный dict вызывает исключение KeyError, когда он индексируется по несуществующему ключу. defaultdict создает значение по умолчанию и вместо этого добавляет эту пару ключ/значение в словарь. В нашем случае size_map[some_size] говорит: «Дайте мне список файлов некоторого_размера и создайте новый пустой список, если у вас его нет».

size_map[os.stat(fullname).st_size].append(fullname). Это разбивается на:

stat = os.stat(fullname)
size = stat.st_size
filelist = size_map[size]    # this is the same as:
                             #    if size not in size_map:
                             #        size_map[size] = list()
                             #    filelist = size_map[size]
filelist.append(fullname)

3) sys.argv[1] Я предполагаю, что sys.argv[1] просто заставляет работать аргумент python py.py 'filepath' (где filepath - это argv[1]?

Да, когда вы вызываете скрипт Python, sys.argv[0] — это имя скрипта, а sys.argv[1:] (arg 1 и последующие) — любые дополнительные аргументы, заданные в командной строке. Я использовал sys.argv[1] как быстрый способ протестировать сценарий, когда писал его, и вы должны изменить его в соответствии со своими потребностями.

Первое, что вам нужно сделать, это сохранить h_md5 в список, когда вы будете перебирать свои файлы. Что-то вроде:

h_md5=[]

прежде чем вы перебираете свой каталог. И

h_md5.append(getFileHashMD5(fullname))

внутри вашего цикла. Теперь у вас есть список хэшей для сравнения с вашим выходным файлом, а не просто с последним, который вы сделали в своем цикле.

Кроме того, очевидно, что с вашим текущим кодом вы каждый раз будете находить одно совпадение для каждого файла, потому что вы найдете хеш для этого конкретного файла в своем списке. Поэтому, если вы хотите найти дубликаты, вам придется искать экземпляры, в которых найдены два разных совпадения.

редактировать: ответ выше @senderle - гораздо лучший способ сделать это, если вы хотите изменить свой код.