Использование оболочки scrapy с возвратом пустого значения заставки

Я просматриваю этот сайт: http://www.germandeli.com/Meats/Sausages. который содержит некоторый динамический контент.

Я использую скрап-оболочку с заставкой для рендеринга javascript, но она возвращает пустое значение []. Моя система Ubuntu 14.04 LTS.

Вот код, который я использовал:

$ scrapy shell 'http://localhost:8050/render.html?url=http://www.germandeli.com/Meats/Sausages'
>>> response.xpath('*//h2[@class="item-cell-name"]/a/@href').extract()

Любая подсказка будет принята с благодарностью!


person hulkbre    schedule 08.06.2017    source источник


Ответы (1)


Я понял. Я забыл добавить '&timeout=10&wait=5' в конце ссылки!

scrapy shell 'http://localhost:8050/render.html?url=http://www.germandeli.com/Meats/Sausages&timeout=10&wait=5'
person hulkbre    schedule 08.06.2017
comment
Сосиски чистить? ???????????? - person Gianfranco P.; 10.06.2017
comment
@ДжанфранкоП. На самом деле я соскребаю со страницы все товары, например, сосиски :D - person hulkbre; 10.06.2017