Создание поискового робота с использованием пакетов Webkit

I'm trying to build a web crawler.
I need 2 things:

  • Преобразуйте HTML в объект DOM.
  • Выполнять существующие сценарии JavaScript по запросу.
The result I expect is a DOM Object, where the JavaScript that executes on-load is already executed.
Also, I need an option to execute on demand additional JavaScripts (on events like: onMouseOver, onMouseClick etc.) First of all, I couldn't find a good documentation source.
I searched through Webkit Main Page but couldn't find much information for users of the package, and no usefull code examples. Also, in some forums I've seen instructions not to use the Webkit interface for crawlers, but directly the DOM and Javascript inner packages.

I'm searching for Documentation and Code Examples.
Also, any recommendations on proper usage.

Work environment:
  • ОС: Windows
  • Язык: С++


javascript web-crawler webkit dom-manipulation
person Kreich    schedule 02.10.2008    source источник
comment
Не могли бы вы подробнее рассказать о веб-сканере? Возможно, определите конкретную задачу, которую вы пытаетесь выполнить? Это может помочь получить более конкретный ответ, соответствующий вашим потребностям. Хотя звучит интересно.   -  person mwilliams    schedule 02.10.2008
comment
Вам когда-нибудь удавалось это? Я пытаюсь что-то подобное.   -  person ZoFreX    schedule 27.02.2010

Ответы (1)


arrow_upward
1
arrow_downward

Ознакомьтесь с некоторыми инструментами тестирования, упакованными вместе с транком WebKit. Большинство портов (насколько мне известно) включают DumpRenderTree, который создает экземпляр WebKitView, а затем выдает дерево рендеринга после обработки указанного файла. Теоретически это один из самых простых возможных примеров WebKit.

person Ben    schedule 22.12.2008