Выполнение HTTP POST-запроса

Я пытаюсь сделать запрос POST для получения информации о книге. Вот код, который возвращает HTTP-код: 302, Moved

import httplib, urllib
params = urllib.urlencode({
    'isbn' : '9780131185838',
    'catalogId' : '10001',
    'schoolStoreId' : '15828',
    'search' : 'Search'
    })
headers = {"Content-type": "application/x-www-form-urlencoded",
           "Accept": "text/plain"}
conn = httplib.HTTPConnection("bkstr.com:80")
conn.request("POST", "/webapp/wcs/stores/servlet/BuybackSearch",
             params, headers)
response = conn.getresponse()
print response.status, response.reason
data = response.read()
conn.close()

При попытке из браузера с этой страницы: http://www.bkstr.com/webapp/wcs/stores/servlet/BuybackMaterialsView?langId=-1&catalogId=10001&storeId=10051&schoolStoreId=15828 , это работает. Что мне не хватает в моем коде?

РЕДАКТИРОВАТЬ: вот что я получаю, когда вызываю print response.msg

302 Moved Date: Tue, 07 Sep 2010 16:54:29 GMT
Vary: Host,Accept-Encoding,User-Agent
Location: http://www.bkstr.com/webapp/wcs/stores/servlet/BuybackSearch
X-UA-Compatible: IE=EmulateIE7
Content-Length: 0
Content-Type: text/plain; charset=utf-8

Кажется, что местоположение указывает на тот же URL-адрес, к которому я пытаюсь получить доступ в первую очередь?

РЕДАКТИРОВАТЬ2:

Я пробовал использовать urllib2, как предлагается здесь. Вот код:

import urllib, urllib2

url = 'http://www.bkstr.com/webapp/wcs/stores/servlet/BuybackSearch'
values = {'isbn' : '9780131185838',
          'catalogId' : '10001',
          'schoolStoreId' : '15828',
          'search' : 'Search' }


data = urllib.urlencode(values)
req = urllib2.Request(url, data)
response = urllib2.urlopen(req)
print response.geturl()
print response.info()
the_page = response.read()
print the_page

И вот результат:

http://www.bkstr.com/webapp/wcs/stores/servlet/BuybackSearch
Date: Tue, 07 Sep 2010 16:58:35 GMT
Pragma: No-cache
Cache-Control: no-cache
Expires: Thu, 01 Jan 1970 00:00:00 GMT
Set-Cookie: JSESSIONID=0001REjqgX2axkzlR6SvIJlgJkt:1311s25dm; Path=/
Vary: Accept-Encoding,User-Agent
X-UA-Compatible: IE=EmulateIE7
Content-Length: 0
Connection: close
Content-Type: text/html; charset=utf-8
Content-Language: en-US
Set-Cookie: TSde3575=225ec58bcb0fdddfad7332c2816f1f152224db2f71e1b0474c866f3b; Path=/

python http post urllib
person infrared    schedule 07.09.2010    source источник
comment
В ответе 302 также указано, куда он был перемещен — найдите этот URL-адрес и используйте его.   -  person adamk    schedule 07.09.2010

Ответы (3)


arrow_upward
26
arrow_downward

Их сервер, похоже, хочет, чтобы вы приобрели правильный файл cookie. Это работает:

import urllib, urllib2, cookielib

cookie_jar = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie_jar))
urllib2.install_opener(opener)

# acquire cookie
url_1 = 'http://www.bkstr.com/webapp/wcs/stores/servlet/BuybackMaterialsView?langId=-1&catalogId=10001&storeId=10051&schoolStoreId=15828'
req = urllib2.Request(url_1)
rsp = urllib2.urlopen(req)

# do POST
url_2 = 'http://www.bkstr.com/webapp/wcs/stores/servlet/BuybackSearch'
values = dict(isbn='9780131185838', schoolStoreId='15828', catalogId='10001')
data = urllib.urlencode(values)
req = urllib2.Request(url_2, data)
rsp = urllib2.urlopen(req)
content = rsp.read()

# print result
import re
pat = re.compile('Title:.*')
print pat.search(content).group()

# OUTPUT: Title:&nbsp;&nbsp;Statics & Strength of Materials for Arch (w/CD)<br />
person ars    schedule 07.09.2010
comment
@infrared: Рад помочь. Я, вероятно, должен был добавить, что одним из способов решения подобных проблем является запуск HTTP-прокси, который показывает вам трассировку запросов/ответов. Затем используйте браузер и свой код и сравните две трассировки. Обычно вы ищете различия между файлами cookie или заголовками. Иногда требуется немного проб и ошибок. Мне нравится использовать Fiddler, но подойдет любой подобный инструмент. - person ars; 08.09.2010

arrow_upward
4
arrow_downward

Вы можете использовать модуль urllib2, который должен лучше обрабатывать перенаправления. Вот пример ОТПРАВКИ с urllib2.

person Mark    schedule 07.09.2010

arrow_upward
0
arrow_downward

  1. Возможно, это то, что получает браузер, и вам просто нужно следовать перенаправлению 302.

  2. Если ничего не помогает, вы можете отслеживать диалог между Firefox и веб-сервером, используя FireBug, tcpdump или wireshark, и посмотреть, какие заголовки HTTP отличаются. Возможно, это просто заголовок User Agent:.

person loevborg    schedule 07.09.2010