GeoMesa на HBase быстрее импортирует

Я использую GeoMesa v1.4.0 на HBase v1.2.6. В настоящее время я импортирую и индексирую свои данные с помощью класса HBaseQuickStart. К сожалению, время выполнения больших файлов очень велико. Кто-нибудь знает о массовой загрузке с GeoMesa для ускорения моего процесса? Заранее спасибо!


person MsIcklerly    schedule 14.11.2017    source источник


Ответы (1)


По умолчанию GeoMesa обеспечивает загрузку с помощью инструментов командной строки бинарного дистрибутива. Вы должны определить файл «конвертера», который имеет сопоставления из ваших входных файлов с вашим простым типом объекта. Получив это, вы можете запускать локально с несколькими потоками или удаленно, используя map/reduce. Документация по команде Accumulo находится здесь, команда HBase будет работать так же, но с немного другими параметрами. Документация по установке инструментов HBase находится здесь< /а>.

Если вы хотите сохранить код загрузки Java, вам нужно будет сделать что-то нестандартное. здесь приведен пример написания приема с уменьшением карты. .

person Emilio Lahr-Vivaz    schedule 14.11.2017