Каждый URL, а точнее, веб-сайт, на который он указывает, следует рассматривать по-разному.
Из-за сегодняшней причудливой предварительной инициализации веб-сайтов (загрузка фиктивного контента до тех пор, пока фактический контент не будет загружен) и обширных javascripts (вставка контента или изменение макета), невозможно создать скрипт / бота, который обрабатывает все URL-адреса одинаково. Подумайте, например, о одностраничных веб-сайтах, которые загружают контент при прокрутке.
При этом взгляните на эту ветку о том, как правильно дождаться загрузки контента. Вкратце: выберите элемент на веб-сайте, который загружается последним / поздно, и используйте Object Cloning, чтобы «подождать» его появления. Это должно дать вам хорошее приблизительное значение. Поскольку время загрузки веб-сайтов зависит от скорости вашего интернета, которая также может меняться, на мой взгляд, приблизительное время должно быть достаточно хорошим.
К сожалению, это не дает прямого ответа на ваш запрос, но я опубликовал этот ответ, так как сильно сомневаюсь, что вы получите ответ, на который надеетесь.
person
Roel Strolenberg
schedule
11.04.2018
