Я помню, когда я впервые услышал о парсинге веб-страниц, я начал мечтать о нем, как о каком-то волшебном существе. Парсинг в Интернете казался крутым во всей реальности. Парсинг в Интернете похож на автоматизацию ограбления. Представьте, как быстро вы заработаете деньги. После многих лет раздумий по поводу парсинга веб-страниц я попробовал это сам. Это, конечно, было сделано только в образовательных целях, однако, если честно, никто не должен бояться парсинга веб-страниц и юридических последствий, просто спросите у Google, верно?
Прежде чем я начну рассказывать вам о своем опыте, я хочу сделать несколько замечаний относительно безопасности веб-скрапинга. Скорее всего, вы можете сделать это без каких-либо юридических последствий, но, пожалуйста, помните о серверах веб-сайта, если ваш парсер делает тысячи запросов в минуту, просто помните, что кто-то платит за сервер, и вы эффективно извлекаете ценность с веб-сайта, не помогая владелец сайта или миссия сайта. Так что помните о количестве запросов, которые вы делаете.
Когда я впервые начал учиться делать приложения для Android, я начал изучать java, через пару месяцев мне стало скучно просто изучать особенности языка и безосновательные учебники. Я решил создать свой первый проект. Это было новостное приложение, мне нужны были новостные статьи, а я не был журналистом. У меня были некоторые навыки работы с Python, поэтому я решил использовать существующие новостные веб-сайты, собирать их новости и отображать их в приложении.
Я пришел к выводу, что я предоставлял трафик новостным сайтам, поскольку я давал ссылки на их сайты под каждой статьей, которую я извлекал и отображал в приложении. Если вы заинтересованы в загрузке и ознакомлении с приложением, вот ссылка https://play.google.com/store/apps/details?id=org.nativescript.hellonsvue
Веб-скрапинг — это простой процесс: загрузите веб-сайт, извлеките необходимые данные и обработайте их. Например, на yahoo.com есть раздел новостей. Я бы взял веб-сайт из кода Python, а затем использовал бы библиотеку, называемую Beautiful Soup, для извлечения нужных мне данных и сохранения этих данных в базе данных. Конец. Серьезно, это было так просто.
В заключение, веб-скрапинг — это основа, в этом нет ничего особенного. Существуют сотни библиотек и кодов для создания отличного парсера, однако новички, пожалуйста, изучите соответствующий язык, прежде чем погрузиться с головой в парсинг веб-страниц. Наличие прочной основы языка, который вы собираетесь использовать, приведет к более эффективному и быстрому программированию. . Если у вас есть какие-либо вопросы, то свяжитесь со мной, используя LinkedIn @ https://www.linkedin.com/in/tayyab-javed-45a552146/
Вы можете посетить мой Git Hub типа Microsomes.
Поддержите мою большую связь, прочитав эту статью
https://medium.com/@tayyan54/suicide-is-rising-what-you-can-do-to-help-below-1549a38d10d
