Могу ли я использовать веб-кеш Google для программного открытия страницы?

Я использую snoopy и phpQuery. Если у меня есть URL-адрес, я хотел бы открыть кешированную версию этого URL-адреса в Google. Любая дата, не имеет значения, пока существует версия, я возьму ее.

Есть идеи, как это сделать?

Чтобы вручную воспроизвести это:

  1. Выберите свой URL-адрес, скажем, http://www.abc.net.au/news/infographics/qld-floods/beforeafter.htm
  2. Загрузите http://www.google.com.au
  3. Введите этот адрес в поле поиска
  4. Первым результатом является URL-адрес, нажмите «Кэш» под ним.

Итак, я хочу получить этот URL-адрес, который выглядит так:

http://webcache.googleusercontent.com/search?q=cache:BOtHTvfch7UJ:www.abc.net.au/news/infographics/qld-floods/beforeafter.htm+http://www.abc.net.au/news/infographics/qld-floods/beforeafter.htm&cd=1&hl=en&ct=clnk&gl=au&source=www.google.com.au


web-scraping caching google-search
person Jason    schedule 16.02.2011    source источник

Ответы (1)


arrow_upward
3
arrow_downward

Хорошо, только что получилось

http://webcache.googleusercontent.com/search?q=cache:http://www.abc.net.au/news/infographics/qld-floods/beforeafter.htm &hl=en &strip=1

strip=1 загрузит страницу без css или javascript (думаю, это то, что видит робот?).

Это потрясающе. Гугл рулит.

person Jason    schedule 16.02.2011
comment
гугл блокирует запросы от скриптов насколько я знаю. не уверен конкретно, как, но я думаю, поскольку они это делают, это не должно использоваться так - person Jason; 20.02.2011