Я пишу p2p-приложение на Python и использую модуль hashlib для идентификации файлов с одинаковым содержимым, но разными именами в сети.
Дело в том, что я тестировал код, который делает хэш для файлов в Windows (Vista), с Python 2.7, и он очень быстрый (менее секунды, для пары гигабайт). Итак, в Linux (Fedora 12, с Python 2.6.2 и Python 2.7.1, скомпилированными мной, т.к. я не нашел rpm с yum) это происходит намного медленнее, почти минуту для файлов меньше 1gb.
Вопрос в том, Почему? и Могу ли я сделать что-то для повышения производительности в Linux?
Код для хэша
import hashlib
...
def crear_lista(directorio):
lista = open(archivo, "w")
for (root, dirs, files) in os.walk(directorio):
for f in files:
#archivo para hacerle el hash
h = open(os.path.join(root, f), "r")
#calcular el hash de los archivos
md5 = hashlib.md5()
while True:
trozo = h.read(md5.block_size)
if not trozo: break
md5.update(trozo)
#cada linea es el nombre de archivo y su hash
size = str(os.path.getsize(os.path.join(root, f)) / 1024)
digest = md5.hexdigest()
#primera linea: nombre del archivo
#segunda: tamaño en KBs
#tercera: hash
lines = f + "\n" + size + "\n" + digest + "\n"
lista.write(lines)
del md5
h.close()
lista.close()
Я заменил r
на rb
и rU
, но результат тот же.