AttributeError: объект «NoneType» не имеет атрибута «текст» | Beautifulsoup

import requests
from bs4 import BeautifulSoup
from requests_html import HTMLSession

#Request URL
page = requests.get('https://www.fifa.com/worldcup/players.html')

#Fetch webpage
soup = BeautifulSoup(page.content,"html.parser")  

player_age = soup.find("div",{"class":"fi-p__profile number__number"}).text.replace("\n","").strip()
print(player_age)

Ошибка:

AttributeError: объект 'NoneType' не имеет атрибута 'text'


web-scraping beautifulsoup python-3.8
person Ramakrishna Nimmathota    schedule 13.02.2020    source источник
comment
где ты нашел этот URL? это недействительно. Что вы пытаетесь достичь?   -  person chitown88    schedule 13.02.2020
comment
Найдите правильный URL: fifa.com/worldcup/players, я пытаюсь извлечь информация о каждом игроке, такая как имя игрока, страна, возраст и т. д.   -  person Ramakrishna Nimmathota    schedule 17.02.2020
comment
вы не видели мое решение ниже?   -  person chitown88    schedule 17.02.2020

Ответы (2)


arrow_upward
0
arrow_downward

Ах хорошо. Я понимаю. У вас неправильный URL. Во-первых, вам нужно сбросить .html. Во-вторых, вам нужно найти URL-адреса, по которым действительно можно получить данные. К сожалению, нет конечной точки API (которую я вижу здесь), чтобы получить данные игрока.

Так что немного другой подход - получить доступ к профилю каждого игрока и вытащить его таким образом. Но для того, чтобы перейти к профилю игрока, вам понадобится playerID для итерации. Это займет некоторое время, так как он должен извлекаться из каждого профиля / URL-адреса игрока, но выполняет свою работу:

import requests
from bs4 import BeautifulSoup
from requests_html import HTMLSession

headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36'}

#Get playerIDs
url = 'https://www.fifa.com/worldcup/players/_libraries/byposition/all/_players-list'
page = requests.get(url, headers=headers)
soup = BeautifulSoup(page.text,"html.parser")  

playerIDs = soup.find_all('a', {'class':'fi-p--link '})
playerDict = {}
for player in playerIDs:
    name = player.find('div',{'class':'fi-p__name'}).text.strip()
    playerID = player['data-player-id']

    playerDict[name] = playerID


for player_name, playerID in playerDict.items():
    #Request URL
    url = 'https://www.fifa.com/worldcup/_libraries/players/player/%s/_player-profile-data' %playerID
    page = requests.get(url, headers=headers)

    #Fetch webpage
    soup = BeautifulSoup(page.text,"html.parser")  
    player_age = soup.find('div',{'class':'fi-p__profile-number__number'}).text.strip()

    print('%-20s Age: %s' %(player_name, player_age))

Вывод:

Aaron MOOY           Age: 29
ABDALLA SAID         Age: 34
Abdiel ARROYO        Age: 26
Abdoulaye DIALLO     Age: 27
ABDULLAH ALKHAIBARI  Age: 23
ABDULLAH ALMUAIOUF   Age: 33
ABDULLAH OTAYF       Age: 27
Abdullahi SHEHU      Age: 26
ABDULMALEK ALKHAIBRI Age: 33
Abel AGUILAR         Age: 35
Achraf HAKIMI        Age: 21
Adama MBENGUE        Age: 26
Adem LJAJIC          Age: 28
Adil RAMI            Age: 34
Adnan JANUZAJ        Age: 25
Adolfo MACHADO       Age: 34
ADRIEN SILVA         Age: 30
AHMED ELMOHAMADY     Age: 32
AHMED FATHI          Age: 35
...
person chitown88    schedule 13.02.2020

arrow_upward
0
arrow_downward

Ошибка говорит нам, что soup.find("div",{"class":"fi-p__profile number__number"}) ничего не нашел. И ничто (None или NoneType) не может иметь никаких атрибутов.

Кстати, предоставленная вами ссылка возвращает ошибку 404. Похоже, вы пытаетесь разобрать страницу без запрошенных данных.

person MadRay    schedule 13.02.2020