Получить все элементы в данных Google Trends с помощью селена Python

Из того, что я вижу, данные извлекаются из конечной точки API, которую вы можете вызывать напрямую. Я показываю, как вызывать, а затем извлекать только заголовок (обратите внимание, что из вызова API возвращается дополнительная информация, кроме заголовка). Вы можете изучить все, что возвращается (включая фрагменты статей, URL-адреса, ссылки на изображения и т. д.) здесь.

import requests
import json

r = requests.get('https://trends.google.com/trends/api/realtimetrends?hl=en-GB&tz=-60&cat=s&fi=0&fs=0&geo=DE&ri=300&rs=20&sort=0')
data = json.loads(r.text[5:])
titles = [story['title'] for story in data['storySummaries']['trendingStories']]
print(titles)

Вот код, который напечатал всю информацию.

url = "https://trends.google.com/trends/trendingsearches/realtime?geo=DE&category=s"
driver.get(url)
WebDriverWait(driver,30).until(EC.presence_of_element_located((By.CLASS_NAME,'details-top')))
Title_temp = []
try:
    content = driver.find_elements_by_class_name("details-top")
    for element in content:
        Title_temp.append(element.text)
    Title=' '.join(Title_temp)
except:
    Title=''
print(Title_temp)
driver.close()

Вот результат.

['Герта БСК • Фенербахче С.К. • Бундеслига • Анте Чович • Берлин», «Айнтрахт Франкфурт» • Лига Европы УЕФА • Таллинн • Эстония • Франкфурт, «Аугсбург» • «Галатасарай» С.К. • Мартин Шмидт • Бундеслига • Штефан Ройтер», «Сборная Австрии по футболу • ФИФА • Австрия • Мировой рейтинг ФИФА», «Лехия Гданьск • Брондбю • Лига Европы УЕФА 2019–20 • Гданьск», «Александр Зверев • Гамбург», « Джулиан Ленц • Ассоциация теннисистов-профессионалов • Александр Зверев, «Лига Европы УЕФА» • Диего • Найро Кинтана • «Тур де Франс»]

Скриншот:

Мы смогли найти исправление для этого. Нам пришлось очистить данные из внутреннего html, а затем выполнить некоторую очистку данных, чтобы получить необходимые записи.

import pandas as pd
import requests
import re
from bs4 import BeautifulSoup
import time
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

#html parser
def parse_html(content):    
    from bs4 import BeautifulSoup
    from bs4.element import Comment
    soup = BeautifulSoup(content, 'html.parser')
    text_elements = soup.findAll(text=True)
    tag_blacklist = ['style', 'script', 'head', 'title', 'meta', '[document]','img']
    clean_text = []
    for element in text_elements:
        if element.parent.name in tag_blacklist or isinstance(element, Comment):
            continue
        else:
            text_ = element.strip()
            clean_text.append(text_)
    result_text = " ".join(clean_text)
    result_text = result_text.replace(r'[\r\n]','')
    tag_remove_pattern = re.compile(r'<[^>]+>')
    result_text = tag_remove_pattern.sub('', result_text)
    result_text = re.sub(r'\\','',result_text)
    return result_text

seleniumDriver = r"./chromedriver.exe" 
chrome_options = Options()
brow = webdriver.Chrome(executable_path=seleniumDriver, chrome_options=chrome_options)
links=["https://trends.google.com/trends/trendingsearches/realtime?geo=DE&category=s"]
title_temp = []
for link in links:
    try:
        brow.get(link)
        try:
            elements = brow.find_elements_by_class_name('details-top')
            for element in elements:
                html_text = parse_html(element.get_attribute("innerHTML"))
                title_temp.append(html_text.replace('share','').strip())
        except Exception as error:
            print(error)
        time.sleep(1)
        brow.quit()
    except Exception as error:
        print(error)
        break
Final_df = pd.DataFrame(
    {'Title': title_temp
    })

print(Final_df)