Сколько раз вы посещаете страницу, и ее содержимое кажется вам невероятным. и вы задаетесь вопросом, могу ли я использовать его?
Веб-скрапинг является законным, если вы не используете его неэтично. Это точно так же, как любой инструмент в мире. Отличным примером того, когда парсинг веб-страниц может быть незаконным, является попытка парсинга непубличных данных.
Есть три концепции, которые мы увидим
1- Очистка данных — это метод, при котором компьютерная программа извлекает данные из удобочитаемого вывода, поступающего от другой программы.
Axios: HTTP-клиент на основе Promise для браузера и node.js
const axios = require('axios');
// Make a request for a url
const response = await axios.get(`https://www.exampleURL.com/section/world`);
Cheerio: извлечь дату из структуры HTML
const cheerio = require('cheerio');
const $ = cheerio.load(response.data);
const info = $(".ekkqrpp3");
console.log(info[1].attribs);
// The data we need
2- Самовызывающаяся анонимная функция. Мы можем сделать функцию автозапускаемой, сделав ее самозапускающейся функцией, подобной этой.
Объект Singleton реализован как немедленная анонимная функция. Функция выполняется немедленно, заключая ее в квадратные скобки, за которыми следуют две дополнительные скобки. Он называется анонимным, потому что у него нет имени.
const Singleton = (async () => {
// the code auto-run
})();
Отказ от ответственности
В заключение я должен сообщить вам несколько важных утверждений. Я не юрист. Я даже не знаю ни одного юриста. Весь этот пост основан на моем опыте просмотра веб-страниц и всесторонних исследованиях по этой теме. Надеюсь, вы извлечете из этого какую-то ценность.
Законен ли веб-скрейпинг?
«ДА», но есть 3 юридических проблемы: нарушение авторских прав, закон о злоупотреблениях и посягательство на движимое имущество.
