Как отсортировать файл HDF5 в Python

Я храню большой текстовый файл (10 ГБ, N строк и 4 столбца) в файле HDF5, используя пакет h5py. В первую очередь потому, что я не хочу использовать свою оперативную память.

Я хотел бы отсортировать элементы в файле на основе второго столбца. Любые предложения о том, как это сделать?

Я также слышал, что это можно сделать кусками, помогите, пожалуйста?

Спасибо!


python numpy h5py hdf5 numpy-memmap
person nuki    schedule 23.07.2020    source источник
comment
Помогает ли это - stackoverflow.com/questions/ 21271727/?   -  person bigbounty    schedule 23.07.2020
comment
Вместо h5py используйте Pytables (он же tables). Он имеет оптимизированные алгоритмы сортировки и поиска. Оба могут создавать и работать с файлом HDF5. (Очевидно, что вам сначала нужно будет прочитать текстовые данные в файл HDF5. Есть и другие сообщения SO, которые показывают, как это сделать.)   -  person kcw78    schedule 23.07.2020
comment
@ kcw78: спасибо, я могу хранить свои данные в файле HDF5, но не могу понять, как их сортировать. Не могли бы вы поделиться MWE?   -  person nuki    schedule 28.07.2020
comment
@bigbounty: эта ссылка дает команды, где я могу использовать эти команды в своем скрипте Python? Считайте меня на начальном уровне; был бы признателен, если бы вы могли предоставить MWE.   -  person nuki    schedule 28.07.2020