Это наш самый первый пост в блоге, потому что мы начинаем сегодня!
Apifier — это размещенный веб-сканер для разработчиков, который позволяет им извлекать данные с любого веб-сайта с помощью нескольких простых строк JavaScript.
Вы можете задаться вопросом, зачем создавать еще один парсер, когда их уже так много. Действительно, именно об этом мы думали год назад, когда один из наших клиентов попросил нас настроить систему для регулярного и надежного извлечения больших объемов данных с различных веб-сайтов. После долгих исследований мы поняли, что в основном у нас есть следующие варианты:
- инструменты, которые предпочитают пользовательский интерфейс вместо кодирования
- инструменты, которые позволяют создавать сценарии для вашего собственного веб-браузера или настольных приложений
- инструменты, которые рассматривают веб-сайты как набор простых HTML-документов
- консалтинговые компании, которые «делают это за вас»
но на самом деле нам нужен был инструмент, который:
- может сканировать веб-сайты с произвольно сложной или неправильной структурой
- это облачный сервис с интерфейсом из приложений
- может сканировать динамические веб-сайты (т. е. понимать JavaScript)
- быть простым в использовании и достаточно доступным даже для небольших компаний
После множества проб и ошибок стало ясно, что ни один из доступных инструментов не подходит для этой работы, поэтому мы решили создать свой собственный. Цель состояла в том, чтобы максимально упростить парсинг веб-сайтов, не ставя под угрозу возможность парсинга чрезвычайно сложных веб-сайтов. Поэтому об определении очистки на основе пользовательского интерфейса не могло быть и речи. Мы программисты и уже используем JavaScript для клиентской разработки, так почему бы не использовать его для парсинга?
Сегодня мы представляем вам то, что мы построили для себя. С помощью Apifier вы можете определить свой собственный краулер всего за несколько минут. Нет необходимости настраивать какие-либо серверы, прокси, задания cron, базы данных, и его легко программировать с помощью простого JavaScript. Надеемся, вам понравится!
Есть масса функций, которые не вошли в этот первый релиз, но следите за обновлениями, скоро появится еще больше. А пока мы хотели бы услышать, что вы думаете, ответить на ваши вопросы и узнать, что еще мы должны добавить в сервис. Просто напишите нам по электронной почте [email protected]!
Ян и Якуб
