Я извлекаю данные для исследовательского проекта и успешно использовал findAll('div', attrs={'class':'someClassName'}) на многих веб-сайтах, но на этом конкретном веб-сайте
не возвращает никаких значений, когда я использовал опцию attrs. Но когда я не использую опцию attrs, я получаю весь html dom.
Вот простой код, с которого я начал его тестировать:
soup = bs(urlopen(url))
for div in soup.findAll('div', attrs={'class':'data'}):
print div
Мой код работает нормально, с requests
import requests
from BeautifulSoup import BeautifulSoup as bs
#grab HTML
r = requests.get(r'http://www.amazon.com/s/ref=sr_pg_1?rh=n:172282,k%3adigital%20camera&keywords=digital%20camera&ie=UTF8&qid=1343600585')
html = r.text
#parse the HTML
soup = bs(html)
results= soup.findAll('div', attrs={'class': 'data'})
print results
urlopen. Почему бы вместо этого не использовать запросы? docs.python-requests.org/en/latest/index.html
- person TankorSmash; 30.07.2012
Если вы или кто-либо, читающий этот вопрос, хотел бы знать причину, по которой код не смог найти значение attrs, используя указанный вами код (скопировано ниже):
soup = bs(urlopen(url))
for div in soup.findAll('div', attrs={'class':'data'}):
print div
Проблема заключается в том, что вы пытались создать объект BeautifulSoup soup = bs(urlopen(url)), поскольку значение urlopen(url) является объектом ответа, а не DOM.
Я уверен, что любые проблемы, с которыми вы столкнулись, можно было бы легче решить, используя вместо этого bs(urlopen(url).read()).
