Я тестировал pandas и pytables для некоторых больших наборов финансовых данных и столкнулся с настоящим камнем преткновения:
При сохранении в файле pytables панды, по-видимому, хранят многомерные данные в очень длинных строках, а не в столбцах.
попробуй это:
from pandas import *
df = DataFrame({'col1':randn(100000000),'col2':randn(100000000)})
store = HDFStore('test.h5')
store['data'] = df #should be a warning here about exceeding the maximum recommended rowsize
store.handle
выход:
File(filename=test7.h5, title='', mode='a', rootUEP='/', filters=Filters(complevel=0, shuffle=False, fletcher32=False))
/ (RootGroup) ''
/data (Group) ''
/data/axis0 (Array(2,)) ''
atom := StringAtom(itemsize=4, shape=(), dflt='')
maindim := 0
flavor := 'numpy'
byteorder := 'irrelevant'
chunkshape := None
/data/axis1 (Array(100000000,)) ''
atom := Int64Atom(shape=(), dflt=0)
maindim := 0
flavor := 'numpy'
byteorder := 'little'
chunkshape := None
/data/block0_items (Array(2,)) ''
atom := StringAtom(itemsize=4, shape=(), dflt='')
maindim := 0
flavor := 'numpy'
byteorder := 'irrelevant'
chunkshape := None
/data/block0_values (Array(2, 100000000)) ''
atom := Float64Atom(shape=(), dflt=0.0)
maindim := 0
flavor := 'numpy'
byteorder := 'little'
chunkshape := None
Я не совсем уверен, но я считаю, что в сочетании с сообщением об ошибке массив (2 100000000) означает двумерный массив с 2 строками и 100 000 000 столбцов. Это также показано в HDFView.
У меня очень низкая производительность (в некоторых случаях 10 секунд для data['ticks'].head()), в чем виноват?
