Невозможно загрузить изображения с веб-сайта с помощью scrapy

Я начинаю с Scrapy, чтобы автоматизировать загрузку файлов с веб-сайтов. В качестве теста я хочу загрузить файлы jpg с этого веб-сайта. Мой код основан на вводном руководстве и руководство по конвейеру файлов и изображений на веб-сайте Scrapy.

Мой код такой:

В settings.py я добавил следующие строки:

ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1}

IMAGES_STORE = '/home/lucho/Scrapy/jpg/'

Мой файл items.py:

import scrapy

class JpgItem(scrapy.Item):
    image_urls = scrapy.Field()
    images = scrapy.Field()
    pass

Мой файл конвейера:

import scrapy
from scrapy.pipelines.images import ImagesPipeline
from scrapy.exceptions import DropItem

class JpgPipeline(object):
    def process_item(self, item, spider):
        return item
    def get_media_requests(self, item, info):
        for image_url in item['image_urls']:
            yield scrapy.Request(image_url)

    def item_completed(self, results, item, info):
        image_paths = [x['path'] for ok, x in results if ok]
        if not image_paths:
            raise DropItem("Item contains no images")
        item['image_paths'] = image_paths
        return item

Наконец, мой файл паука:

import scrapy
from .. items import JpgItem

class JpgSpider(scrapy.Spider):
    name = "jpg"
    allowed_domains = ["http://www.kevinsmedia.com"]
    start_urls = [
        "http://www.kevinsmedia.com/km/mp3z/Fluke/Risotto/"
    ]

def init_request(self):
    #"""This function is called before crawling starts."""
    return Request(url=self.login_page, callback=self.parse)

def parse(self, response):
    item = JpgItem()
    return item

(В идеале я хочу загружать все файлы jpg без указания точных веб-адресов для каждого необходимого файла)

Вывод "scrapy crawl jpg":

2015-12-08 19:19:30 [scrapy] INFO: Scrapy 1.0.3.post6+g2d688cd started (bot: jpg)
2015-12-08 19:19:30 [scrapy] INFO: Optional features available: ssl, http11
2015-12-08 19:19:30 [scrapy] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'jpg.spiders', 'SPIDER_MODULES': ['jpg.spiders'], 'COOKIES_ENABLED': False, 'DOWNLOAD_DELAY': 3, 'BOT_NAME': 'jpg'}
2015-12-08 19:19:30 [scrapy] INFO: Enabled extensions: CloseSpider, TelnetConsole, LogStats, CoreStats, SpiderState
2015-12-08 19:19:30 [scrapy] INFO: Enabled downloader middlewares: HttpAuthMiddleware, DownloadTimeoutMiddleware, UserAgentMiddleware, RetryMiddleware, DefaultHeadersMiddleware, MetaRefreshMiddleware, HttpCompressionMiddleware, RedirectMiddleware, ChunkedTransferMiddleware, DownloaderStats
2015-12-08 19:19:30 [scrapy] INFO: Enabled spider middlewares: HttpErrorMiddleware, OffsiteMiddleware, RefererMiddleware, UrlLengthMiddleware, DepthMiddleware
2015-12-08 19:19:30 [scrapy] INFO: Enabled item pipelines: ImagesPipeline
2015-12-08 19:19:30 [scrapy] INFO: Spider opened
2015-12-08 19:19:30 [scrapy] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2015-12-08 19:19:30 [scrapy] DEBUG: Telnet console listening on 127.0.0.1:6023
2015-12-08 19:19:31 [scrapy] DEBUG: Crawled (200) <GET http://www.kevinsmedia.com/km/mp3z/Fluke/Risotto/> (referer: None)
2015-12-08 19:19:31 [scrapy] DEBUG: Scraped from <200 http://www.kevinsmedia.com/km/mp3z/Fluke/Risotto/>
{'images': []}
2015-12-08 19:19:31 [scrapy] INFO: Closing spider (finished)
2015-12-08 19:19:31 [scrapy] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 254,
 'downloader/request_count': 1,
 'downloader/request_method_count/GET': 1,
 'downloader/response_bytes': 2975,
 'downloader/response_count': 1,
 'downloader/response_status_count/200': 1,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2015, 12, 8, 22, 19, 31, 294139),
 'item_scraped_count': 1,
 'log_count/DEBUG': 3,
 'log_count/INFO': 7,
 'response_received_count': 1,
 'scheduler/dequeued': 1,
 'scheduler/dequeued/memory': 1,
 'scheduler/enqueued': 1,
 'scheduler/enqueued/memory': 1,
 'start_time': datetime.datetime(2015, 12, 8, 22, 19, 30, 619918)}
2015-12-08 19:19:31 [scrapy] INFO: Spider closed (finished)

Хотя кажется, что ошибки нет, программа не получает файлы jpg. Если это важно, я использую Ubuntu.


python scrapy scrapy-spider scrapy-pipeline
person luchonacho    schedule 07.12.2015    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Вы не определили parse() в своем JpgSpider классе.

Обновлять. Это не похоже на проблему, которую вы должны атаковать с помощью scrapy теперь, когда я вижу URL-адрес в вашем обновлении. WGET может быть более подходящим, посмотрите ответы здесь. В частности, посмотрите на первый комментарий к верхнему ответу, чтобы узнать, как использовать расширение файла, чтобы ограничить количество загружаемых файлов (-A jpg).

Обновление 2: процедура parse () может получить URL-адреса обложек альбомов из тега <a>, используя этот код.

part_urls = response.xpath('//a[contains(., "AlbumArt")]/@href')

Это возвращает список частичных URL-адресов, вам нужно будет добавить корневой URL-адрес страницы, которую вы анализируете с response.url. В URL-адресах, на которые я смотрел, есть несколько% -кодов, они могут быть проблемой, но все равно попробуйте. Когда у вас будет список полных URL-адресов, поместите их в элемент []

item['image_urls'] = full_urls
yield item

Это должно заставить scrapy автоматически загружать изображения, поэтому вы можете удалить промежуточное программное обеспечение и позволить scrapy выполнять тяжелую работу.

person Steve    schedule 07.12.2015
comment
Но что я должен определить? Я пробовал использовать несколько кодов, но ничего не работает. - person luchonacho; 07.12.2015
comment
По какой-то другой причине я хочу использовать Scrapy для выполнения этой задачи. Согласно веб-сайту, это должно быть возможно. - person luchonacho; 08.12.2015
comment
Обновлен раздел parse (). - person luchonacho; 09.12.2015