Вопросы по теме 'hdf'
Pandas — read_hdf или store.select возвращают неверные результаты для запроса
У меня есть большой набор данных (4 миллиона строк, 50 столбцов), хранящийся через pandas store.append. Когда я использую либо store.select, либо read_hdf с запросом на 2 столбца, превышающим определенное значение (например, «(a > 10) & (b > 1)», я...
773 просмотров
schedule
29.12.2023
Как сохранить изображения с цветовой картой в MATLAB
Я использую спутниковые данные HDF для извлечения полос, из которых я заключаю различные индексы растительности. Каждая полоса в данных hdf представлена в формате серого цвета, это изображение в шкале серого цвета. После обработки данных HDF я...
254 просмотров
schedule
09.01.2023
Сравнение 1 миллиона биометрических (маленьких) файлов с использованием Hadoop/HDFS
Я новичок в Hadoop, прочитал проблему с небольшим файлом в Hadoop, теперь у меня есть проблема, которую нужно решить, помогите мне начать
Проблема:
Исходный результат: более 1 миллиона (приблизительно) файлов, каждый из которых имеет размер...
241 просмотров
schedule
23.08.2022
Альтернатива файлам npz?
Я использую массивы, хранящиеся в формате Python .npz. У меня есть много таких файлов, которые имеют одинаковую общую структуру: имя файла my_file_var1_var2_var3.npz содержит следующие элементы (все массивы представляют собой 32-битные числа с...
629 просмотров
schedule
11.10.2022
Как создать мозаику из одних и тех же файлов HDF с помощью этой функции R?
В папке более 1000 изображений MODIS HDF:
M:\join
Их имена показывают нам, какие файлы должны быть объединены в мозаику.
Например, в приведенных ниже файлах 2009090 означает, что эти три изображения должны быть объединены в мозаику:...
817 просмотров
schedule
22.08.2022
Чтение массива неизвестной длины из файла HDF в Fortran
Я хочу прочитать массив размерности один произвольного размера из файла hdf. Я работаю над примером «Чтение/запись во внешний набор данных» здесь , но так как я заранее не знаю размеров массива, мне нужно вызвать несколько дополнительных...
1119 просмотров
schedule
23.05.2022
Данные в файле HDF с использованием Python отсутствуют
Я пытаюсь прочитать файл hdf, но группы не отображаются. Я пробовал несколько разных методов с использованием таблиц и h5py, но ни один из них не работал при отображении групп в файле. Я проверил, и это файл «Иерархический формат данных (версия 5)...
902 просмотров
schedule
09.07.2023
Сбой настройки HDF-EOS, компилятор C не может создавать исполняемые файлы
Я пытаюсь установить библиотеку HDF-EOS C с помощью ./configure, и во время выполнения configure я получаю следующий вывод:
./configure CC=/usr/local/hdf-4.2.12-linux-centos7-x86_64/bin/h4cc
checking for a BSD-compatible install......
1086 просмотров
schedule
24.05.2023
Ошибка с включенными файлами при попытке скомпилировать программу HDF4
Я пытаюсь скомпилировать программу, использующую библиотеки HDF4. Я установил HDF4 на свой компьютер в /usr/local/ и убедился, что все необходимые скрипты, включаемые файлы и библиотеки установлены и все переменные среды установлены правильно. Я...
59 просмотров
schedule
05.09.2023
С++ HDF5 извлекает один член составного типа данных
Я пишу библиотеку С++, которая читает файлы hdf5, созданные другой библиотекой.
Эти файлы hdf5 содержат множество составных наборов данных с различными составными типами данных. Я хочу перевести каждый составной тип данных в структуру C++.
Для...
528 просмотров
schedule
01.02.2023
Сравнение файлов h5
Мне часто приходится сравнивать hdf файлы. Как я это делаю, либо с двоичным diff (что говорит мне, что файлы разные, даже если фактические числа внутри одинаковы), либо путем сброса содержимого в txt-файл с h5dump и сравнением содержимого двух...
3156 просмотров
schedule
03.05.2023
Преобразование HDF в файл с географической привязкой (geotiff, shapefile)
Я имею дело с 28 файлами HDF4 по первичной продуктивности океана (годовые файлы .tar можно найти здесь: http://orca.science.oregonstate.edu/1080.by.2160.monthly.hdf.cbpm2.v.php ) Моя цель - сделать некоторые вычисления (Мне нужно рассчитать...
2157 просмотров
schedule
17.03.2023
Нифи java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.reloadExistingConfigurations
Я перехожу по этой ссылке, чтобы настроить Nifi putHDFS для записи в Azure Data Lake. nifi-dataflow.html" rel="nofollow noreferrer">Подключение к Azure Data Lake из потока данных NiFi
Nifi находится в виртуальной машине HDF 3.1, а версия Nifi —...
2879 просмотров
schedule
01.07.2023
Странное расположение таблиц HDF от pandas.HDFStore
Когда я вывожу pandas.DataFrame в виде таблицы в HDFStore:
import pandas as pd
df=pd.DataFrame({'A': [1, 2], 'B': [3, 4]}, index=range(2))
with pd.HDFStore("test.hdf5") as store:
store.put("test", df, format="table")
При чтении в...
88 просмотров
schedule
05.12.2022
Преобразование HDF4 в растр; с сетками долготы/широты доступны в другом файле HDF
Я пытаюсь преобразовать файлы HDF4 (представляющие ежедневную концентрацию морского льда) в растровый объект в R. Однако сами файлы HDF не содержат сетки долготы/широты или информацию о проекции, и такая информация должна быть извлечена из другого...
287 просмотров
schedule
09.08.2022
Nifi PutHiveStreaming записывает данные в HDFS, но не может видеть данные в таблице Hive
Я использую HDF Nifi 1.5 и Hdp Hive 3.1.
Создайте разделенную и сегментированную таблицу в Hive:
СОЗДАТЬ ТАБЛИЦУ default.client_tbl (client_key int, clt_name varchar (45), clt_description varchar (200), version int), разделенный на...
224 просмотров
schedule
14.11.2022
Использование данных HDF в r
Я пытаюсь загрузить и построить данные модиса отсюда http://orca.science.oregonstate.edu/1080.by.2160.monthly.hdf.vgpm.s.chl.a.sst.php
Я регулярно использую файлы .nc с веб-сайта цвета океана, но я не могу работать с файлами hdf таким же образом....
1056 просмотров
schedule
08.12.2022
Как использовать код NiFi UI в IDE и Build, поскольку он тесно связан с другими модулями
Как использовать код NiFi UI в IDE (Eclipse) и в сборке, поскольку он тесно связан с другими модулями. В каком модуле присутствуют элементы, связанные с пользовательским интерфейсом, и как его построить.
Я обнаружил, что...
168 просмотров
schedule
14.04.2022
Панды Python добавляют кадр данных с содержимым массива в файл hdf
Как я могу добавить кадр данных к другому кадру данных, который уже сохранен в файле, не загружая его из файла? (Python 3.6 и Pandas 1.0.1) Пример:
import pandas as pd
data =...
240 просмотров
schedule
11.09.2022
Преобразование аудиофайлов .wav в файлы .h5 (hdf) с использованием SciPy и PyTables
Мне нужно преобразовать аудио файлы .wav в формат .hf или .npz, так как они являются поддерживаемым форматом для обучения систем перевода речи с FBK-Fairseq-ST ( https://github.com/mattiadg/FBK-Fairseq-ST ). Следующий сценарий предназначен для...
420 просмотров
schedule
18.12.2023
