Проглотить большой Geojson в Geomesa

У меня есть файл geojson, который я хочу загрузить в geomesa. Как я понял из других сообщений, я должен создать конвертер для этого.

Файл выглядит следующим образом:

{
    "type": "FeatureCollection",
    "crs": {
        "type": "name",
        "properties": {
            "name": "urn:ogc:def:crs:OGC:1.3:CRS84"
        }
    },
    "features": [
        {
            "type": "Feature",
            "properties": {
                "id_trip": 1547,
                "starttime": "2017-09-18 04:16:58UTC",
                "endtime": "2017-09-18 04:26:26UTC"
            },
            "geometry": {
                "type": "MultiLineString",
                "coordinates": [
                    [
                        [
                            -73.651166,
                            45.544501
                        ],
                        [
                            -73.651227,
                            45.544519
                        ],
                        [
                            -73.653826,
                            45.545258
                        ],
                        [
                            -73.654753,
                            45.545521
                        ],
                        [
                            -73.654917,
                            45.545565
                        ],
                        [
                            -73.654615,
                            45.546086
                        ],
                        [
                            -73.65365,
                            45.545816
                        ],
                        [
                            -73.653426,
                            45.545753
                        ],
                        [
                            -73.653625,
                            45.545809
                        ],
                        [
                            -73.65365,
                            45.545816
                        ],
                        [
                            -73.654615,
                            45.546086
                        ],
                        [
                            -73.654917,
                            45.545565
                        ],
                        [
                            -73.654753,
                            45.545521
                        ],
                        [
                            -73.654167,
                            45.545354
                        ],
                        [
                            -73.651227,
                            45.544519
                        ],
                        [
                            -73.651166,
                            45.544501
                        ],
                        [
                            -73.651457,
                            45.543993
                        ],
                        [
                            -73.651702,
                            45.543567
                        ],
                        [
                            -73.651561,
                            45.543526
                        ],
                        [
                            -73.651316,
                            45.54394
                        ],
                        [
                            -73.651044,
                            45.544401
                        ],
                        [
                            -73.651011,
                            45.544456
                        ],
                        [
                            -73.651166,
                            45.544501
                        ],
                        [
                            -73.651227,
                            45.544519
                        ],
                        [
                            -73.654278,
                            45.545386
                        ],
                        [
                            -73.654621,
                            45.545483
                        ],
                        [
                            -73.654753,
                            45.545521
                        ]
                    ]
                ]
            }
        }

У меня возникли проблемы с получением правильного конвертера json для этих данных, есть идеи по этому поводу, пожалуйста? Учебное пособие по geomesa действительно дает некоторую помощь относительно обычного json, но для geojson это неоднозначно.


person pochi    schedule 09.07.2019    source источник


Ответы (1)


GeoMesa поддерживает вывод типа для GeoJSON, как указано в документации по командам ingest < / а>. Это создаст для вас определение конвертера, которое вы можете сохранить и настроить по мере необходимости. Я бы рекомендовал сначала использовать команду convert (которая также поддерживает type-inference), и как только вы будете удовлетворены выводом, переключитесь на команду ingest. Если вы не используете интерфейс командной строки, вы можете взять постоянный преобразователь и определения типов функций и использовать их, например, в NiFi или ваш альтернативный конвейер приема.

person Emilio Lahr-Vivaz    schedule 09.07.2019
comment
Я действительно не мог понять, как это сделать, он попросил меня дать конвертер - person pochi; 10.07.2019
comment
Спасибо. Однако это требует, чтобы я указал конвертер, хотя написано, что если конвертер не указан, GeoMesa попытается вывести определение конвертера на основе входных файлов. - person pochi; 10.07.2019
comment
Какую версию GeoMesa вы используете? Вывод GeoJson был добавлен в 2.1.0. - person Emilio Lahr-Vivaz; 11.07.2019
comment
Я прогнал ваш файл (после добавления закрывающего ]}) через последний снимок, и он заработал, как ожидалось. Я разместил результат на github. - person Emilio Lahr-Vivaz; 11.07.2019
comment
Спасибо, Эмилио, вот и преобразование в CSV, как насчет приема? поскольку для этого требуется конвертер - person pochi; 11.07.2019
comment
Поведение должно быть одинаковым для преобразования и приема. - person Emilio Lahr-Vivaz; 11.07.2019
comment
Теперь я понял, я ошибочно подумал, что версия geomesa была 2.11, но это был просто тег, на самом деле у меня был 2_11 1.3.2 - person pochi; 11.07.2019
comment
Теперь я установил geomesa Acculo 2.3.2, и теперь, как вы сказали, он не требует конвертера, большое спасибо - person pochi; 11.07.2019
comment
Но теперь я получил следующее: ОШИБКА Не удалось подключиться к экземпляру Zookeeper в течение периода ожидания. Рассмотрите возможность увеличения тайм-аута Zookeeper, установив системное свойство instance.zookeeper.timeout (по умолчанию: 5000 мс). Однако Zookeper работает - person pochi; 11.07.2019
comment
Я думаю, мне нужно использовать оболочку Accumulo для установки тайм-аута: config -s instance.zookeeper.timeout = 2147483647 Но оболочка не отвечает на нее и ничего не запрашивает, она просто удовлетворена - person pochi; 11.07.2019
comment
@pochi, вероятно, ваше соединение с аккумулятором неверно - я бы посоветовал спросить в списке пользователей, gitter или открыть новое сообщение, чтобы мы не загромождали комментарии здесь. - person Emilio Lahr-Vivaz; 12.07.2019
comment
Спасибо, Эмилио, я разобрался, странно, но это была просто аккумуляторная версия! - person pochi; 12.07.2019