Не удалось очистить Google

Я пытаюсь найти в Google результаты обратного поиска изображений, используя Goutte (по сути, это оболочка вокруг парсера Guzzle + Symfony DOM).

Я делаю:

$googleURL = "https://www.google.com/searchbyimage?&image_url=".$imageURL;

$crawler = $client->request('GET', $googleURL);
$client->followRedirects(true);
print_r($crawler,1);

.. и вывод (https://paste.ee/p/spfYA) содержит правильный URL но body (HTML) - это страница поиска по умолчанию, та, которая не дает результатов.

Что мне делать, чтобы получить результаты поиска в формате HTML.


php web-scraping symfony guzzle goutte
person eozzy    schedule 08.02.2015    source источник
comment
После нескольких запросов Google забанит ваш IP. Поэтому вам может понадобиться использовать их API вместо этого   -  person Alexandru Furculita    schedule 08.02.2015
comment
Все в порядке, мне нужно получить всего несколько сотен за несколько дней. Кроме того, нет API для обратного поиска изображений.   -  person eozzy    schedule 08.02.2015

Ответы (1)


arrow_upward
4
arrow_downward

Все, что мне нужно было сделать, это установить пользовательский агент:

$client->setHeader('User-Agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36');
person eozzy    schedule 08.02.2015