чтение и анализ файла TSV, а затем управление им для сохранения в формате CSV (* эффективно *)

Мои исходные данные находятся в файле TSV, 6 столбцов и более 2 миллионов строк.

Вот чего я пытаюсь достичь:

  1. Мне нужно прочитать данные в 3 столбцах (3, 4, 5) в этом исходном файле
  2. Пятый столбец - целое число. Мне нужно использовать это целочисленное значение для дублирования записи строки с использованием данных в третьем и четвертом столбцах (количество раз).
  3. Я хочу записать вывод # 2 в выходной файл в формате CSV.

Вот что я придумал.

Мой вопрос: это эффективный способ сделать это? Кажется, что это может быть интенсивным при попытке на 2 миллиона строк.

Во-первых, я создал отдельный файл с образцами вкладок для работы и назвал его «sample.txt». Он базовый и состоит всего из четырех рядов:

Row1_Column1    Row1-Column2    Row1-Column3    Row1-Column4    2   Row1-Column6
Row2_Column1    Row2-Column2    Row2-Column3    Row2-Column4    3   Row2-Column6
Row3_Column1    Row3-Column2    Row3-Column3    Row3-Column4    1   Row3-Column6
Row4_Column1    Row4-Column2    Row4-Column3    Row4-Column4    2   Row4-Column6

тогда у меня есть этот код:

import csv 

with open('sample.txt','r') as tsv:
    AoA = [line.strip().split('\t') for line in tsv]

for a in AoA:
    count = int(a[4])
    while count > 0:
        with open('sample_new.csv', 'a', newline='') as csvfile:
            csvwriter = csv.writer(csvfile, delimiter=',')
            csvwriter.writerow([a[2], a[3]])
        count = count - 1

python csv file tab-delimited-text
person CJH    schedule 21.12.2012    source источник

Ответы (1)


arrow_upward
133
arrow_downward

Вы должны использовать модуль csv для чтения файла значений, разделенных табуляцией. Не считывайте его в памяти за один раз. В конце концов, каждая строка, которую вы читаете, содержит всю информацию, необходимую для записи строк в выходной файл CSV. Держите выходной файл открытым.

import csv

with open('sample.txt', newline='') as tsvin, open('new.csv', 'w', newline='') as csvout:
    tsvin = csv.reader(tsvin, delimiter='\t')
    csvout = csv.writer(csvout)

    for row in tsvin:
        count = int(row[4])
        if count > 0:
            csvout.writerows([row[2:4] for _ in range(count)])

или используя модуль itertools для повторения с itertools.repeat():

from itertools import repeat
import csv

with open('sample.txt', newline='') as tsvin, open('new.csv', 'w', newline='') as csvout:
    tsvin = csv.reader(tsvin, delimiter='\t')
    csvout = csv.writer(csvout)

    for row in tsvin:
        count = int(row[4])
        if count > 0:
            csvout.writerows(repeat(row[2:4], count))
person Martijn Pieters    schedule 21.12.2012
comment
Извините за мое незнание, но что означает / делать знак подчеркивания в последней строке? - person Samuel Lampa; 12.11.2013
comment
@SamuelLampa: Это просто заполнитель; это обычная переменная, такая как i или counter, но в этом контексте просто означает Мне все равно, какое значение имеет эта переменная цикла, потому что я все равно игнорирую ее. - person Martijn Pieters; 12.11.2013
comment
@MartijnPieters, хорошо, спасибо! (подозревал, что, но не был уверен, творит чудеса с индексами массива или что-то в этом роде.) - person Samuel Lampa; 12.11.2013
comment
@SamuelLampa: Другими словами, по соглашению он используется везде, где у вас должна быть цель назначения, но в противном случае вы хотите игнорировать присвоенное значение. Вы также видите это при распаковке кортежа: name, _, _, score = line.split(), например, чтобы игнорировать два средних значения линии разделения. - person Martijn Pieters; 12.11.2013