Я разрабатываю сканер с использованием драгоценного камня анемона (Ruby-1.8.7 и Rails 3.1.1). Как исключить из сканирования/скачивания веб-страницы с расширениями pdf, doc, zip и т.д.

У меня есть приложение Ruby, размещенное на Heroku, которое запускает Anemone (Ruby Web Spider/Crawler) в указанных пользователем доменах. Когда пользователь выбирает домен среднего или большого размера, происходит сбой, а в журналах отображается...

Я использую драгоценный камень Anemone следующим образом: Посетите первый URL-адрес (seed), сохраните содержимое страницы в базе данных, а также сохраните все ссылки с этой страницы в базе данных (все ссылки, которых еще нет в базе данных)....