Перейти Учебник | Веб-скрейпинг с Golang

Для тех, кто хочет подробно ознакомиться, можно посмотреть видео, ссылка на которое приведена ниже:

В этом уроке мы узнаем, как создать парсер с помощью Go and Colly. . Иногда некоторые вещи просто не имеют API. В таких случаях вы всегда можете просто написать небольшой парсер, который поможет вам получить нужные данные.

Мы будем работать с пакетом Go и Colly. Пакет Colly позволит нам сканировать, очищать и просматривать DOM.

Предпосылки

Чтобы продолжить, вам нужно установить Go.

Настройка каталога проекта

Давайте начнем. Сначала перейдите в каталог, в котором хранятся наши проекты. В моем случае это будет папка Youtube, у вас она может отличаться. Здесь мы создадим папку нашего проекта с именем demo.

cd Youtube
mkdir demo
cd demo

В папке demo мы инициализируем и создадим наш файл go.mode, используя

go mod init demo

После этого создайте новый файл main.go, используя

touch main.go

Инициализация модулей go

Мы собираемся использовать пакет colly для создания веб-скребка, поэтому давайте установим его сейчас, запустив:

go get github.com/gocolly/colly

Вы заметите, что выполнение приведенной выше команды создало файл go.sum. Этот файл содержит список контрольных сумм и версий для наших прямых и косвенных зависимостей. Он используется для проверки контрольной суммы каждой зависимости, чтобы убедиться, что ни одна из них не была изменена.

В файле main.go, который мы создали ранее, давайте настроим основные package main и func main().