Я хочу восстановить старые поисковые запросы Google, которые я выполнял несколько лет/месяцев назад и которые присутствуют в истории веб-поиска Google. Как я могу программно получить их все?
Только https://www.google.com/history/?output=rss предоставляет недавние поисковые запросы Google, но не все из них.
Также этот вопрос: Как я могу получить историю поиска Google? не дает ответа на мой вопрос!
Вы можете передать месяц, день и год в качестве параметров для получения истории определенного дня.
Например. https://www.google.com/history/lookup?month=12&day=1&yr=2010&output=rss за 1 декабря 2010 г.
Невозможно получить историю за полный месяц или год, не говоря уже о всей истории. Но эта информация о параметрах должна, по крайней мере, позволить вам получить всю историю в некотором цикле, который каждый раз уходит на один день назад во времени. Будьте осторожны, чтобы не высосать слишком много за слишком короткое время.
Вам действительно нужно анализировать HTML-страницу за страницей, а затем извлекать ваши данные, потому что я не думаю, что есть какая-либо альтернатива!
Я думаю, это будет очень сложно.
Я знаю, что это не полностью отвечает на ваш вопрос, но, по крайней мере, веб-страницы могут быть сохранены. Существуют организации и инструменты, которые позволяют воссоздавать веб-страницы из прошлых дат — см., например, http://www.mementoweb.org. /.
ОБНОВЛЕНИЕ: я только что узнал, что Memento получила награду за цифровое сохранение (http://www.dpconline.org/newsroom)
Я знаю, что вы не хотите возвращаться к каждой странице, но вам действительно не нужно анализировать всю страницу, просто ищите html, который всегда предшествует записи. Из того, что я только запускаю историю веб-поиска Google и выполняю несколько простых поисков, если вы просматриваете страницу истории, каждая строка, которую вы искали, следует: <td style="padding:3px 0"><table id=bkmk_view_ class=noborder ><tr><td><table class="elem noborder"><tr><td class="grey" nowrap>Searched for </td><td nowrap><a title="http://www.google.com/search?q= и за ней следует & (амперсанд). Эта последовательность предшествующих html-кодов уникальна на странице и появляется только в том случае, если в списке указаны исторические условия поиска.
Если вы используете два термина, вы получаете + между терминами. Другие соглашения для разных режимов поиска, я их все не рассматривал.
Похоже, что если вы используете метод BalusC для передачи параметров, вы можете получить html, найти в документе строку, которую я упомянул (обязательно \" и другие специальные символы), затем скопируйте следующую строку, пока не достигнете символ & , Затем все, что вам нужно сделать, это проанализировать ваш поисковый запрос, а не всю страницу. Пройдитесь по исходному коду, пока не дойдете до конца, а затем перейдите к следующей итерации в цикле.
