Оптимизация поиска файлов python?

Почему бы вам не начать с простейшей реализации?

def search_file(filename, target, start_at = 0):
    with open(filename) as infile:
        for line_no, line in enumerate(infile):
            if line_no < start_at:
                continue
            if line.find(target) >= 0:
                return line_no
    return None

Я предполагаю, что ваш файл выглядит так: Header1 data11 data12 data13.. name1 value1 value2 value3... ... ... Header2 data21 data22 data23.. nameN valueN1 valueN2 valueN3.. ... Содержит ли строка «Заголовок» какие-либо постоянные форматы (т. Е. Все начинаются с «#» или sth). Если это так, вы можете прочитать строку напрямую, определить, содержит ли строка этот формат (т. Е. Если строка [0] == '#'), и написать другой код для разных типов строк (строка определения и строка данных в вашем примере) .

Класс записи:

class Record:
   def __init__(self):
       self.data={}
       self.header={}
   def set_header(self, line):
       ...
   def add_data(self, line):
       ...

повторная часть:

def parse(p_file):
   record = None
   for line in p_file:
      if line[0] == "#":
         if record : yield record
         else:
           record = Record()
           record.set_header(line)
      else:
         record.add_data(line)
   yield record

основная функция:

data_file = open(...)
for rec in parse(data_file):
    ...