РЕДАКТИРОВАТЬ: Вместо того, чтобы самостоятельно создавать фрагменты, лучше использовать функцию фрагментирования панд, которая намного, намного быстрее, чем load_txt
numpy.
import numpy as np
import pandas as pd
## create csv file for testing
np.random.seed(1)
nrows, ncols = 100000, 4
data = np.random.uniform(size=(nrows, ncols))
np.savetxt('bigdata.csv', data, delimiter=',')
## read it back
chunk_rows = 12345
# Replace np.empty by np.memmap array for large datasets.
odata = np.empty((nrows, ncols), dtype=np.float32)
oindex = 0
chunks = pd.read_csv('bigdata.csv', chunksize=chunk_rows,
names=['a', 'b', 'c', 'd'])
for chunk in chunks:
m, _ = chunk.shape
odata[oindex:oindex+m, :] = chunk
oindex += m
# check that it worked correctly.
assert np.allclose(data, odata, atol=1e-7)
Функция pd.read_csv
в режиме фрагментирования возвращает специальный объект, который можно использовать в цикле, например for chunk in chunks:
; на каждой итерации он будет считывать фрагмент файла и возвращать его содержимое в виде pandas DataFrame
, который в этом случае можно рассматривать как массив numpy. Параметр names
необходим для предотвращения обработки первой строки CSV-файла как имен столбцов.
Старый ответ ниже
Функция numpy.loadtxt
работает с именем файла или чем-то, что будет возвращать строки в цикле в такой конструкции, как:
for line in f:
do_something()
Ему даже не нужно притворяться файлом; список строк подойдет!
Мы можем читать фрагменты файла, которые достаточно малы, чтобы поместиться в памяти, и предоставлять пакеты строк для np.loadtxt
.
def get_file_lines(fname, seek, maxlen):
"""Read lines from a section of a file.
Parameters:
- fname: filename
- seek: start position in the file
- maxlen: maximum length (bytes) to read
Return:
- lines: list of lines (only entire lines).
- seek_end: seek position at end of this chunk.
Reference: https://stackoverflow.com/a/63043614/6228891
Copying: any of CC-BY-SA, CC-BY, GPL, BSD, LPGL
Author: Han-Kwang Nienhuys
"""
f = open(fname, 'rb') # binary for Windows \r\n line endings
f.seek(seek)
buf = f.read(maxlen)
n = len(buf)
if n == 0:
return [], seek
# find a newline near the end
for i in range(min(10000, n)):
if buf[-i] == 0x0a:
# newline
buflen = n - i + 1
lines = buf[:buflen].decode('utf-8').split('\n')
seek_end = seek + buflen
return lines, seek_end
else:
raise ValueError('Could not find end of line')
import numpy as np
## create csv file for testing
np.random.seed(1)
nrows, ncols = 10000, 4
data = np.random.uniform(size=(nrows, ncols))
np.savetxt('bigdata.csv', data, delimiter=',')
# read it back
fpos = 0
chunksize = 456 # Small value for testing; make this big (megabytes).
# we will store the data here. Replace by memmap array if necessary.
odata = np.empty((nrows, ncols), dtype=np.float32)
oindex = 0
while True:
lines, fpos = get_file_lines('bigdata.csv', fpos, chunksize)
if not lines:
# end of file
break
rdata = np.loadtxt(lines, delimiter=',')
m, _ = rdata.shape
odata[oindex:oindex+m, :] = rdata
oindex += m
assert np.allclose(data, odata, atol=1e-7)
Отказ от ответственности: я тестировал это в Linux. Я ожидаю, что это будет работать в Windows, но может случиться так, что обработка символов '\r' вызывает проблемы.
person
Han-Kwang Nienhuys
schedule
22.07.2020
nrows, ncols
в вашем примере представляет 320 МБ данных, которые должны легко поместиться в памяти. Насколько он велик на самом деле? - person Han-Kwang Nienhuys   schedule 22.07.2020loadtxt
(иgenfromtxt
) читают CSV-файлы построчно, накапливая значения в списке списков (или массивов), который в конце преобразуется в массив.pandas
имеет режим на основеc
для своегоpd.read_csv
, который быстрее, но результатом является кадр данных. - person hpaulj   schedule 23.07.2020