爬虫2.4-scrapy框架-图片分类下载

Posted on

目录

scrapy框架-图片下载

python小知识：

map函数：将一个可迭代对象的每个值，依次交给一个函数处理，返回一个生成器。

  1. urls = uibox.xpath(".//ul/li/a/img/@src").getall()
  2. urls = list(map(lambda url: 'https:'+url, urls))

 

urls本身是一个列表，使用map函数，将urls中的每一项传递给url ，并让url执行‘https:’+url的操作。 lambda则是一个无名函数，方便一行内写完函数。最后用list函数将map返回的生成器转成列表

1 传统下载方法：

  1. pipelines.py
  2. def process_item(self, item, spider):
  3. category = item['category'] # 一个字符串
  4. urls = item['urls'] # 一个列表
  5. local_path = os.path.abspath('.') # 获取绝对路经
  6. os.mkdir(r'{}\images\{}'.format(local_path, category)) #分类创建images/category文件夹
  7. for url in urls:
  8. filename = url.split('_')[-1] # 获取图片名
  9. request.urlretrieve(url, '{}\images\{}\{}'.format(local_path, category, filename)) # 将图片下载到/images/category/filename

 

缺点是非异步，图片是一张一张按顺序下载的，数量较大时效率低

2 scrapy框架的下载方法

scrapy.pipelines中提供了两个下载文件的子类

一个是scrapy.pipelines.files 中的FilesPipeline，另一个是scrapy.pipelines.images 中的ImagesPipeline

其中ImagesPipeline专门用于下载图片，是继承自FilesPipeline

ImagesPipeline使用方法

1）在items.py中定义好image_urls和images，image_urls是用来存储需要下载的图片的url，需要给一个列表，images中需要保存图片的属性，如下载路径、url、图片的校验码等

2）当图片下载完成后，会把文件下载的相关信息存储到item中的images属性中。

3）在配置文件settings.py中配置IMAGES_STROE，这个配置是用来设置图片下载路径的

4）启动pipeline，在ITEM_PIPELINES中注释原来的pepeline设置’scrapy.pipelines.images.ImagesPipeline’:1

FilesPipeline使用方法类似

定义好file_urls和file，设置好FILES_STORE，以及ITEM_PIPELINES中的scrapy.pipelines.files.FilesPipeline:1

2.1 将图片全部下载到full文件夹下

本来高高兴兴来到实验室，2分钟就把需要整的步骤整完了，如何折腾了一个小时都没想通为什么爬虫无法执行parse()函数，各种百度，最后对比之前写的爬虫发现，我睡了午觉起来迷迷糊糊将start_urls 改成了start_image_urls 这样的话scrapy框架一检查，没有开始点啊，那直接就结束了。。。。

1）修改setttings.py 注释掉原来的ITEM_PIPELINES中的内容，添加’scrapy.pipelines.images.ImagesPipeline’: 1

并添加图片存储路径IMAGES_STORE = os.path.join(os.path.abspath(‘.’), ‘images’)

  1. ~ settings.py
  2. ITEM_PIPELINES = {
  3. # 'bmw.pipelines.BmwPipeline': 300,
  4. 'scrapy.pipelines.images.ImagesPipeline': 1
  5. }
  6. IMAGES_STORE = os.path.join(os.path.abspath('.'), 'images') # 爬虫项目根目录/images

 

2）修改items.py 添加或修改 image_urls和images

  1. image_urls = scrapy.Field()
  2. images = scrapy.Field()

 

3）修改[spider.py] yield image_urls

  1. item = BmwItem(category=category, image_urls=image_urls) # 重点在于image_urls
  2. yield item

 

执行，得到结果：./images/full 目录下下载了一堆没有分类的图片

这个时候就想怎么讲图片分类下载好，比如车身图片（实验代码以汽车之家宝马5x图片进行下载）就在/images/车身，内部图片在/images/内部，这样强迫症才舒服

2.2 将图片分类到不同目录

这里就需要重写scrapy.pipelines.images.ImagesPipeline里面的一些方法了。

这里需要注意：parse()函数中yield 抛出的数据格式为 category: ‘xxx’ image_urls: [‘url’, ‘url’….] images: ”

所以在之后操作时，每次抛出的image_urls 都对应着同一个category

1）继承ImagesPipeline，并改写一些返回值

  1. from bmw import settings # bmw是项目名
  2. import os # 2)中需要用到
  3. class BMWImagesPipeline(ImagesPipeline): # 新定义一个子类，继承ImagesPipeline
  4. def get_media_requests(self, item, info):
  5. request_objs = super(BMWImagesPipeline, self).get_media_requests(item, info)
  6. for request_obj in request_objs:
  7. request_obj.item = item # 为每个request_obj对象添加item属性，里面包含了category
  8. return request_objs # 父类中必须返回这个列表，给其他函数使用

 

get_media_requests函数原本返回的是[Request(x) for x in item.get(self.images_urls_field, [])]，即返回了一个Request(url)的列表，这里改造一下，使用super重复父类中的方法，得到一个返回值，并添加了item属性，方便下一步使用。

2）重写file_path()方法

  1. def file_path(self, request, response=None, info=None):
  2. # path获取父类中file_path方法返回的值即‘full/hash.jpg' hash是图片的哈希值
  3. path = super(BMWImagesPipeline, self).file_path(request, response, info)
  4. #request即前一个函数返回的列表中的每一项，所以有item属性
  5. category = request.item.get('category')
  6. images_store = settings.IMAGES_STORE # IMAGES_STORE是需要下载到的路径，例如c:/images
  7. category_path = os.path.join(images_store, category) # 创建每个种类的路径并判断是否已存在
  8. if not os.path.exists(category_path):
  9. os.mkdir(category_path)
  10. image_name = path.replace('full/', '') # 去掉原本的'full/' 只留下文件名
  11. image_path = os.path.join(category_path, image_name)
  12. # 图片完整的路径和文件名c:/images/aaa/js451v88225F45sd42f4y4.jpg
  13. return image_path

 

3）修改settings.py中的配置

  1. ITEM_PIPELINES = {
  2. # 'bmw.pipelines.BmwPipeline': 300, 注释掉原有的pipeline
  3. 'bmw.pipelines.BMWImagesPipeline': 1
  4. }
  5. IMAGES_STORE = os.path.join(os.path.abspath('.'), 'images') # 添加图片保存地址

 

完工，重写之后每个图片的路径就包含了自己的种类，下载完成后目录格式如下：

  1. images
  2. 车头
  3. 41312r322r2234.jpg
  4. 1425flj5l2.jpg
  5. 车身
  6. 。。

 

3 分类下载完整代码

项目名：bmw 爬虫名：bmw5x

bmw5x.py

  1. import scrapy
  2. from bmw.items import BmwItem
  5. class Bmw5xSpider(scrapy.Spider):
  6. name = 'bmw5x'
  7. allowed_domains = ['car.autohome.com.cn']
  8. start_urls = ['https://car.autohome.com.cn/pic/series/65.html#pvareaid=2042209']
  10. def parse(self, response):
  11. uiboxs = response.xpath("//div[@class='uibox']")[1:]
  12. for uibox in uiboxs:
  13. category = uibox.xpath("./div/a/text()").get()
  14. image_urls = uibox.xpath(".//ul/li/a/img/@src").getall()
  15. image_urls = list(map(lambda url: 'https:'+url, image_urls))
  16. item = BmwItem(category=category, image_urls=image_urls)
  17. yield item

 

items.py

  1. import scrapy
  2. class BmwItem(scrapy.Item):
  3. category = scrapy.Field()
  4. image_urls = scrapy.Field()
  5. images = scrapy.Field()

 

pipelines.py

  1. import os
  2. from scrapy.pipelines.images import ImagesPipeline
  3. from bmw import settings
  6. class BMWImagesPipeline(ImagesPipeline):
  7. def get_media_requests(self, item, info):
  8. request_objs = super(BMWImagesPipeline, self).get_media_requests(item, info)
  9. for request_obj in request_objs:
  10. request_obj.item = item
  11. return request_objs
  13. def file_path(self, request, response=None, info=None):
  14. path = super(BMWImagesPipeline, self).file_path(request, response, info)
  15. category = request.item.get('category')
  16. images_store = settings.IMAGES_STORE
  17. category_path = os.path.join(images_store, category)
  18. if not os.path.exists(category_path):
  19. os.mkdir(category_path)
  20. image_name = path.replace('full/', '')
  21. image_path = os.path.join(category_path, image_name)
  22. return image_path

 

settings.py

  1. import os
  2. ROBOTSTXT_OBEY = False
  3. DEFAULT_REQUEST_HEADERS = {
  4. 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  5. 'Accept-Language': 'en',
  6. 'User-Agent': 'xxx',
  7. 'Referer': 'xxx',
  8. 'Cookie': 'xxx'
  9. }
  10. ITEM_PIPELINES = {
  11. 'bmw.pipelines.BMWImagesPipeline': 1
  12. }
  13. IMAGES_STORE = os.path.join(os.path.abspath('.'), 'images')

 

转载于:https://www.cnblogs.com/bitterz/p/10202197.html