Splash не отображает все содержимое страницы

Я использую Splash v2.3.2 и пытаюсь отобразить страница, но рендерит не все. Он не будет отображать изображения или динамически загружаемый контент.

Я использую свой http://localhost:8050/ со сценарием:

function main(splash)
  local url = splash.args.url
  assert(splash:go(url))
  assert(splash:wait(10))
  return {
    html = splash:html(),
    png = splash:png(),
    har = splash:har(),
  }
end

Вот рендеринг в браузере: отображение в браузере

Вот скриншот рендеринга Splash: Визуализация заставки

Я пытался изменить время ожидания, а также пытался разрешить плагины. Ничего из этого не сработает. Я предполагаю, что динамически загружаемый контент ограничен, но я не уверен. Любая помощь приветствуется.


splash-screen scrapy-splash splash-js-render
person Maciek Semik    schedule 05.07.2017    source источник

Ответы (2)


arrow_upward
5
arrow_downward

Проблема с localStorage — сайт использует его, но Splash по умолчанию использует приватный режим, и это отключает localStorage. Чтобы исправить это, отключите приватный режим (см. здесь). У меня работает этот скрипт (Splash 3.0):

function main(splash)
  splash.private_mode_enabled = false
  local url = splash.args.url
  assert(splash:go(url))
  assert(splash:wait(10))
  return {
    html = splash:html(),
    png = splash:png(),
    har = splash:har(),
  }
end

См. также: http://splash.readthedocs.io/en/stable/faq.html#website-is-not-rendered-correctly

person Mikhail Korobov    schedule 20.07.2017
comment
Работал как шарм! - person nbeuchat; 30.10.2018

arrow_upward
0
arrow_downward

Я предполагаю, что вы пытаетесь очистить текст описания свойства. В вашем коде вы только что добавили splash:wait(10). Я предлагаю вам попробовать реализовать ожидание определенного элемента css. В вашем случае span#listingpropertydescription. Вы можете написать функцию для ожидания этого конкретного элемента, а затем вернуть html-страницу.

Примечание. Вы можете найти пример кода ожидания элемента в http://localhost:8050/< /а>

Надеюсь, что это поможет вам

person Eswar    schedule 05.07.2017