У меня есть объект dataframe pandas, который я предварительно выделил 400 000 записей. 2 столбца: метка времени типа datetime.datetime и число с плавающей запятой. Когда я пытаюсь вставить (перезаписать) строку в таблицу, это кажется довольно...

Когда я запрашиваю большой файл hdfstore (> 10G) следующим образом: hdf = pd.HDFStore('raw_sample_storage.h5') nrows = hdf.get_storer('raw_sample_all').nrows chunksize = 300000 for i in xrange(nrows//chunksize + 1): chunk =...

Сначала я создаю серию с двумерным иерархическим индексом. Тип индекса (pandas.period, numpy.int32) In [265]: import pandas as pd In [266]: import numpy as np In [267]: hdf_file = r'F:\test.h5' In [268]: data = np.random.randint(10, size=(7,...

Я разбираю данные из большого CSV размером 800 ГБ. Для каждой строки данных я сохраняю это как фрейм данных pandas. readcsvfile = csv.reader(csvfile) for i, line in readcsvfile: # parse create dictionary of key:value pairs by csv field:value,...

Я делаю запрос (т. е. выбираю несколько строк на основе некоторого условия), используя PyTables, с функциями tables.Table.read() и tables.Table.read_where() . По сути, это основано на numpy и pandas с NumExpr:...

Я использую Python 2.7 с пандами и HDFStore. Я пытаюсь обработать большой набор данных, который помещается на диск, но не в память. Я храню набор данных большого размера в файле .h5, размер данных в каждом столбце не является постоянным,...

Я использую pandas HDFStore для хранения данных в файлах hfd5. Как правило, данные добавляются по одной выборке за раз, а не длинными пакетами. Я заметил, что файлы растут довольно быстро, и я могу существенно уменьшить их с помощью ptrepack....

Когда я инициализирую HDFStore import numpy as np import pandas as pd hdf = pd.HDFStore('polar.h5') Я вижу ошибку во флейворе.py: NameError, имя '_conv_python_to_python' не определено Я использую anaconda, а pandas...

Как я могу добавить кадр данных к другому кадру данных, который уже сохранен в файле, не загружая его из файла? (Python 3.6 и Pandas 1.0.1) Пример: import pandas as pd data =...