Получите широту и долготу из геопанд адресов

У меня csv около 100 миллионов логов. Где один из столбцов - это адрес, и я пытаюсь получить широту и долготу адреса. Я хочу попробовать что-то вроде упомянутого в решении, но указанное решение arcGIS и это коммерческий инструмент. Я пробовал google API, который ограничен 2000 записями.

Какая следующая лучшая альтернатива для добавления широты и долготы адреса в большой набор данных?

Ввод: столбец Site - это адрес города Париж.

start_time,stop_time,duration,input_octets,output_octets,os,browser,device,langue,site
2016-08-27T16:15:00+05:30,2016-08-27T16:28:00+05:30,721.0,69979.0,48638.0,iOS,CFNetwork,iOS-Device,zh_CN,NULL
2016-08-27T16:16:00+05:30,2016-08-27T16:30:00+05:30,835.0,2528858.0,247541.0,iOS,Mobile Safari UIWebView,iPhone,en_GB,Berges de Seine Rive Gauche - Gros Caillou
2016-08-27T16:16:00+05:30,2016-08-27T16:47:00+05:30,1805.0,133303549.0,4304680.0,Android,Android,Samsung GT-N7100,fr_FR,Centre d'Accueil Kellermann
2016-08-27T16:17:00+05:30,,2702.0,32499482.0,7396904.0,Other,Apache-HttpClient,Other,NULL,Bibliothèque Saint Fargeau
2016-08-27T16:17:00+05:30,2016-08-27T17:07:00+05:30,2966.0,39208187.0,1856761.0,iOS,Mobile Safari UIWebView,iPad,fr_FR,NULL
2016-08-27T16:18:00+05:30,,2400.0,1505716.0,342726.0,NULL,NULL,NULL,NULL,NULL
2016-08-27T16:18:00+05:30,,302.0,3424123.0,208827.0,Android,Chrome Mobile,Samsung SGH-I337M,fr_CA,Square Jean Xxiii
2016-08-27T16:19:00+05:30,,1500.0,35035181.0,1913667.0,iOS,Mobile Safari UIWebView,iPhone,fr_FR,Parc Monceau 1 (Entrée)
2016-08-27T16:19:00+05:30,,6301.0,9227174.0,5681273.0,Mac OS X,AppleMail,Other,fr_FR,Bibliothèque Parmentier

Адресом с NULL можно пренебречь, а также удалить его из вывода.

На выходе должны быть следующие столбцы

start_time,stop_time,duration,input_octets,output_octets,os,browser,device,langue,site, latitude, longitude

Цените всю помощь, заранее спасибо !!


person Sitz Blogz    schedule 19.05.2017    source источник
comment
Вам необходимо предоставить минимальный воспроизводимый пример.   -  person IanS    schedule 19.05.2017
comment
@InaS Я упомянул, что работал с Google Api, и у него есть ограничение, следующее подходящее решение, которое я нашел, было с arcgis, и это коммерческий пакет. Следовательно, у меня нет надлежащего способа разместить код, если я поставлю код Google API, тогда весь вопрос пойдет в другом направлении .. Я пробовал это уже несколько дней назад в другом вопросе ..   -  person Sitz Blogz    schedule 19.05.2017
comment
Чтобы уточнить, вы в основном просите способ получить координаты широты и долготы для большого набора данных и меньше о том, как манипулировать данными с помощью pandas / python. Это правильно?   -  person elPastor    schedule 19.05.2017
comment
@pshep Я открыт для манипуляций, а также получаю долгое время   -  person Sitz Blogz    schedule 19.05.2017
comment
Я бы предложил использовать геопию с геокодером Open Street Map Nominatim: geopy .readthedocs.io / en / 1.10.0 / # geopy.geocoders.Nominatim   -  person Below the Radar    schedule 19.05.2017
comment
@BelowtheRadar Спасибо за предложение .. Как вы думаете, вы можете помочь мне с кодом, пожалуйста ..   -  person Sitz Blogz    schedule 19.05.2017
comment
Этот вопрос был бы все еще намного лучше, если бы его можно было свести к MRE, как рекомендовано @IanS ... если у OP есть время сделать это, пожалуйста, рассмотрите его на благо SO в целом. Спасибо!   -  person Max von Hippel    schedule 15.08.2019


Ответы (1)


person    schedule
comment
Вы можете получить информацию, отличную от географического местоположения, например, тип здания и т. Д. - person Below the Radar; 19.05.2017
comment
Геокодер может указать неправильные местоположения, потому что информация о сайте во входном CSV неточна. Если бы у вас был хотя бы город, результаты были бы лучше - person Below the Radar; 19.05.2017
comment
Локации взяты из города Парижа, распределенного по всему городу, и да, это дало результат с одной строкой, в которой нет широты и долготы :( - person Sitz Blogz; 19.05.2017
comment
Это просто останавливается на первой строке NULL,Not found,N/A,N/A - person Sitz Blogz; 19.05.2017
comment
Хорошо, позвольте мне попробовать с вашим образцом, я вернусь с чем-нибудь - person Below the Radar; 19.05.2017
comment
Вот оно! ^^ - person Below the Radar; 19.05.2017