Загрузка данных MySQL в аналитику GeoMesa

Я новичок в GeoMesa. Я имею в виду, что я только что набрал команду geomesa. Итак, следуя руководству по инструментам командной строки на веб-сайте GeoMesa. Я нашел некоторую информацию о загрузке данных в geomesa через файл .csv.

Итак, для моего исследования:

  • У меня есть база данных MySQL, в которой хранится вся информация, отправленная из приложения Android.
  • И я хочу выполнить некоторую геопространственную аналитику.
  • Прямо сейчас я конвертирую свою таблицу MySQL в файл .csv, а затем загружаю ее в geomesa, как рекомендовано на веб-сайте GeoMesa.

Но мои вопросы:

  • Есть ли какой-либо другой лучший вариант, потому что данные находятся в ГБ и являются потоковыми данными, поэтому мне приходится регулярно создавать файл .csv?

  • Есть ли какой-либо API, через который я могу подключить свою базу данных MySQL к geomesa?

  • Есть ли способ использовать файл дампа .sql, потому что это было бы проще, чем файл .csv?


mysql geomesa
person Arjun Chaudhary    schedule 02.09.2016    source источник
comment
Знаете ли вы, что у самого mysql есть типы данных и функции для выполнения пространственного анализа? В противном случае все ваши вопросы очень широки.   -  person Shadow    schedule 02.09.2016

Ответы (1)


arrow_upward
0
arrow_downward

Поскольку вы имеете дело с потоковыми данными, я бы указал на две интеграции GeoMesa:

Во-первых, вы можете проверить NiFi для управления потоками данных. Если это соответствует вашей архитектуре, вы можете использовать GeoMesa с NiFi.

Во-вторых, Storm весьма популярен для работы с потоковыми данными. У GeoMesa есть краткое руководство по Storm здесь.

В-третьих, для прямого приема дампов sql одним из вариантов было бы расширение библиотеки конвертера GeoMesa для их поддержки. До сих пор у нас не было такого запроса от клиента или вклада в проект. Это определенно было бы разумным и долгожданным расширением!

Я бы также указал на канал gitter GeoMesa. Это может быть полезно для более быстрого ответа.

person GeoMesaJim    schedule 14.09.2016