Вопросы по теме 'pytables'
Проблемы с запуском встроенных PyTables на Mac
Я построил numpy 1.5.1, numexpr 1.4.2 и PyTables 2.2.1 на Mac и получаю следующую ошибку. Я погуглил, но нашел только одно место, где кто-то упоминает эту конкретную ошибку, и не нашел решения.
Кто-нибудь знает что это значит?
Спасибо, Дэйв...
1061 просмотров
schedule
27.07.2023
Проблема для вставки с использованием psycopg
Я читаю данные из файла .mat с помощью модуля Pytables. После прочтения данных я хочу вставить эти данные в базу данных с помощью psycopg. Вот пример кода:
file = tables.openFile(matFile)
x = 0
#populate the matData list
for var in dest:
data...
1363 просмотров
schedule
19.07.2022
Использование pytables, что более эффективно: scipy.sparse или плотная матрица numpy?
При использовании pytables нет поддержки (насколько я могу судить) для форматов матриц scipy.sparse , поэтому для хранения матрицы мне нужно выполнить некоторое преобразование, например.
def store_sparse_matrix(self):
grp1 =...
2102 просмотров
schedule
12.07.2023
Pytables - удалить строки из таблицы по некоторым критериям
У меня есть одна таблица со столбцом Time32 и большим количеством строк. Моя проблема следующая.
Когда моя таблица достигает тысячи миллионов строк, я хочу начать архивировать каждую строку старше указанного значения. Для создания запроса я буду...
1055 просмотров
schedule
05.08.2022
Как заставить Pypy распознавать сторонние модули
Просто быстрый вопрос: как мне заставить pypy распознавать сторонние модули, которые у меня есть в Python? Например, я получаю следующую ошибку.
from tables import *
ImportError: No Module named tables
Что в основном говорит о том, что он не...
14042 просмотров
schedule
16.10.2022
Предупреждения Pandas Pytables и низкая производительность
Я тестировал pandas и pytables для некоторых больших наборов финансовых данных и столкнулся с настоящим камнем преткновения:
При сохранении в файле pytables панды, по-видимому, хранят многомерные данные в очень длинных строках, а не в столбцах....
2442 просмотров
schedule
04.11.2022
Неподдерживаемая версия HDF5
Пытаюсь установить Pytables, и я установил почти все зависимости: Однако, когда я пытаюсь установить pytables:
* Found numpy 1.7.0b1 package installed.
* Found numexpr 2.0.1 package installed.
* Found Cython 0.16 package installed.
* Found HDF5...
514 просмотров
schedule
09.07.2022
Дополнительные записи появляются в таблице pytable при создании/добавлении из numpy zero recarray
(этот вопрос был изменен первоначальным автором, а пример кода изменен, чтобы вы могли запустить его на своем компьютере)
Я загружаю данные временных рядов в pytables (~ 2 миллиона строк, 23 столбца в основном с плавающей запятой в этом тестовом...
253 просмотров
schedule
13.09.2023
вложенные pytables
Предположим, вы передаете словарь конструктору pytable:
h5f.createTable('/','table',{'col1':Float64Col(pos=0),'col2':StringCol(16,pos=1)})
У меня есть следующие три вопроса новичка, связанные с вложенными таблицами pytables:
1) Как вы...
297 просмотров
schedule
12.06.2023
Python: могу ли я установить глобальные переменные в модуле пакета __init__?
Итак, я читаю ответ Алекса Мартелли на другой вопрос ...
«Один пример, в котором мне может понадобиться инициализация, — это когда во время загрузки пакета я хочу раз и навсегда прочитать кучу данных (скажем, из файлов, БД или Интернета) — в...
8299 просмотров
schedule
07.07.2023
Проблемы с тем, чтобы HDF5 работал с pyTables
Я бился головой о стену, пытаясь настроить pyTables на OSX 10.8. Я использую дистрибутив Python Enthought, установил pyTables и numexpr с PIP и использовал Homebrew для установки пакета HDF5.
Однако, когда я пытаюсь импортировать таблицы в python,...
789 просмотров
schedule
20.03.2023
Эффективно хранить большую разреженную матрицу (с плавающей запятой)
Я ищу решение для хранения около 10 миллионов чисел с плавающей запятой (двойной точности) разреженной матрицы. Матрица на самом деле представляет собой двумерную треугольную матрицу, состоящую из 1 миллиона на 1 миллион элементов. Элемент (i,j)...
1636 просмотров
schedule
21.10.2023
PyTables, работающие с данными, размер которых во много раз превышает размер памяти.
Я пытаюсь понять, как PyTables управляет данными, размер которых больше размера памяти. Вот комментарий в коде PyTables ( ссылка на GitHub ):
# Nodes referenced by a variable are kept in `_aliveNodes`.
# When they are no longer referenced, they...
2162 просмотров
schedule
02.07.2023
Поиск PyTables в ядре на Time64Col
Я использую PyTables 2.4.0 и Python 2.7. У меня есть база данных, содержащая следующую типичную таблицу:
/anc/asc_wind_speed (Table(87591,), shuffle, blosc(3)) 'Wind speed'
description := {
"value_seconds": Time64Col(shape=(), dflt=0.0,...
387 просмотров
schedule
10.03.2023
Порядок вложенных структур в таблице PyTable
Предположим, у меня есть следующий дескриптор столбца PyTable:
import numpy as np
import tables as pt
class Date_t(pt.IsDescription):
year = pt.Int32Col(shape=(), dflt=2013, pos=0)
month = pt.Int32Col(shape=(), dflt=1, pos=1)...
138 просмотров
schedule
31.07.2023
PyTables, Создание таблицы без открытия файла hdf5
Можно ли создать таблицу PyTables, не открывая и не создавая файл hdf5? Что я имею в виду и что мне нужно, так это создать таблицу (ну на самом деле очень много таблиц) в разных процессах, работать с этими таблицами и сохранять таблицы в файл hdf5...
725 просмотров
schedule
04.07.2022
В чем преимущество PyTables?
Недавно я начал изучать PyTables и нашел это очень интересным. Мой вопрос:
Каковы основные преимущества PyTables по сравнению с базами данных, когда речь идет об огромных наборах данных?
Какова основная цель этого пакета (я могу сделать такое...
3761 просмотров
schedule
26.12.2022
Обновить pandas DataFrame, хранящийся в Pytable, с другим pandas DataFrame
Я пытаюсь создать функцию, которая обновляет сохраненный DataFrame pandas, который я сохранил в PyTable, новыми данными из DataFrame pandas. Я хочу проверить, отсутствуют ли некоторые данные в PyTable для определенных DatetimeIndexes (значение NaN...
2563 просмотров
schedule
17.11.2023
ptrepack sortby нужен «полный» индекс
Я пытаюсь ptrepack файл HDF, созданный с помощью интерфейса pytables pandas HDFStore. Основным индексом фрейма данных было время, но я сделал еще несколько столбцов data_columns , чтобы я мог фильтровать данные на диске через эти столбцы данных....
4221 просмотров
schedule
11.07.2022
Не удается открыть файлы Matlab с использованием последней версии HDF5
Недавно я обновил таблицы в своей установке Python, и, похоже, с библиотеками HDF5 происходят некоторые странные вещи.
У меня есть куча данных, которые изначально были сохранены в виде файла .mat, в котором используется формат HDF5. Я читал это в...
753 просмотров
schedule
26.05.2024
