python scrapy 302 (я хочу вернуть исходную страницу)

Я собираюсь очистить https://movie.douban.com/subject/1292052/ эта страница

но URL перенаправляет на http://m.douban.com/movie/subject/1292052 как мне вернуться на первую страницу и использовать способ синтаксического анализа первой страницы (xpath) для продолжения? Благодарность!


scrapy scrapy-shell
person ileadall42    schedule 23.05.2017    source источник
comment
как поднять его наверх?   -  person ileadall42    schedule 24.05.2017

Ответы (1)


arrow_upward
0
arrow_downward

Причина, по которой вас перенаправляют на мобильный сайт, заключается в том, что ваш пользовательский агент не является известным настольным браузером.

Вы можете изменить переменную USER_AGENT в settings.py на что-то вроде USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36'

Если вы настаиваете на том, чтобы вас не перенаправляли, вы можете добавить переменную meta в свой запрос с помощью {'dont_redirect': True, 'handle_httpstatus_list': [302]}. Таким образом, вы не будете перенаправлены.

person Mikko    schedule 24.05.2017
comment
Большое спасибо! но если я использую второй способ, то я не могу получить событие page(), view resopnse - это текст, который информирует меня о запросе URL-адреса перенаправления. И первый способ использовать User-Agent, да, я использовал User-Agent'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, например Gecko) Chrome/58.0.3029.110 Mobile Safari/537.36' Это мобильный пользовательский агент? Я не знаю, как это изменить, но мой способ получить пользовательский агент отзывчив в хроме. Я пробовал iphone6 - person ileadall42; 24.05.2017
comment
Итак, как изменить способ реагирования в Chrome, чтобы получить немобильный пользовательский агент? - person ileadall42; 24.05.2017
comment
@TomJhonson-FFT Вы можете получить общие строки пользовательского агента отсюда: techblog.willshouse.com/2012/01/03/самые распространенные-пользовательские-агенты - person Mikko; 26.05.2017