Кто-нибудь использовал Node Cheerio для очистки всего сайта, а не только домашней / первой страницы, на которую указывает парсер?
В данный момент я делаю следующее, что очищает только целевую страницу.
request('http://arandomsite.com/', function (error, response, html) {
if (!error && response.statusCode == 200){
var $ = cheerio.load(html);
...
...
...
};
Я никогда не использовал Cheerio, но могу предположить (как и в случае с другими парсерами), что он будет работать только с той страницей, на которую вы его укажете. Предполагая, что cheerio.load возвращает jquery, например API, вам, вероятно, придется сделать что-то вроде
$('a').each(function(index, a) {
//TODO: You may want to keep track here of which you have done, and not redo any.
request('http://arandomsite.com' + a.attr('href'), myPageProcessFunction);
});
Очевидно, вам нужно будет добавить такие вещи, как iframes, чтобы убедиться, что вы получите полный результат.
Чтобы уточнить, вот обновленный код:
request('http://arandomsite.com/', function responseFunction(error, response, html) {
if (!error && response.statusCode == 200){
var $ = cheerio.load(html);
$('a').each(function(index, a) {
request('http://arandomsite.com' + a.attr('href'), responseFunction);
});
};
});
$('a').each(function(index, a) { }; приведет к тому, что $ is undefined.
- person leaksterrr; 26.11.2013
