лучший способ разбора больших файлов с помощью regex python

Как уже говорили другие, профилируйте свой код, чтобы понять, почему он медленный. Модуль cProfile в сочетании с инструментом gprof2dot может создавать удобочитаемую информацию.

Не видя вашего медленного кода, я могу предположить несколько вещей, которые могут помочь:

Во-первых, вы, вероятно, можете обойтись без использования встроенных строковых методов вместо регулярного выражения - это может быть немного быстрее. Если вам нужно использовать регулярные выражения, стоит выполнить предварительную компиляцию вне основного цикла, используя re.compile

Во-вторых, не делать один запрос на вставку в строку, вместо этого делать вставки в пакетах, например, добавить проанализированную информацию в список, а затем, когда он достигнет определенного размера, выполнить один запрос INSERT с executemany.

Какой-то неполный код, как пример выше:

import fileinput

parsed_info = []
for linenum, line in enumerate(fileinput.input()):
    if not line.startswith("#DEBUG"):
        continue # Skip line

    msg = line.partition("MSG")[1] # Get everything after MSG
    words = msg.split() # Split on words
    info = {}
    for w in words:
        k, _, v = w.partition(":") # Split each word on first :
        info[k] = v

    parsed_info.append(info)

    if linenum % 10000 == 0: # Or maybe  if len(parsed_info) > 500:
        # Insert everything in parsed_info to database
        ...
        parsed_info = [] # Clear

Ответ Пола имеет смысл, вам нужно сначала понять, где вы «теряете» время. Самый простой способ, если у вас нет профилировщика, - это опубликовать временную метку в миллисекундах до и после каждого «шага» вашего алгоритма (открытие файла, чтение его построчно (и внутри, время, необходимое для разделения / регулярного выражения, чтобы распознать строки отладки), вставка его в БД и т. д.).

Без дальнейшего знания вашего кода возможны «ловушки», которые отнимают очень много времени: - открытие файла журнала несколько раз - открытие БД каждый раз, когда вам нужно вставить данные внутрь вместо того, чтобы открывать одно соединение, а затем писать по ходу дела.

«Лучший способ выполнить вышеуказанную задачу за минимальное время» — это сначала выяснить, куда уходит время. Посмотрите, как профилировать ваш скрипт Python, чтобы определить, какие части работают медленно. У вас может быть неэффективное регулярное выражение. Запись на sqlite может быть проблемой. Но волшебных пуль нет — в общем, обработка 2 ГБ текста построчно с регулярным выражением в Python, вероятно, будет выполняться за минуты, а не секунды.

Вот тестовый скрипт, который покажет, сколько времени требуется, чтобы прочитать файл, строка за строкой, и больше ничего не делать:

from datetime import datetime

start = datetime.now()
for line in open("big_honkin_file.dat"):
    pass
end = datetime.now()
print (end-start)