笔记
- 图片数据爬取之ImagesPipeline
- 基于scrapy爬取字符串类型的数据和爬取图片类型的数据区别?
- 字符串:只需要基于xpth进行解析且提交管道进行持久化存储
- 图片:xpath解析出图片src属性值。单独的对图片地址发起请求获取图片二进制类型的数据
- ImagesPipline:
- 需要要将img的src属性值进行解析,提交到管道,管道就会对图片的src进行请求发送获取图片的二进制编码并进行持久化存储
- 需求:爬取站长素材中的高清图片
- 使用流程:
- 数据解析(图片的地址)
- 将存储图片地址的item提交到指定的管道类
- 在管道文件中子定制一个基于ImagesPipeline的管道类
- get_media_requests方法:
- 该方法会自动将item中的图片地址进行请求发送
- item_completed方法:
- 该方法会自动将图片的二进制编码进行持久化存储
- file_path方法:
- 指定文件存储的名称跟路径
- 在配置文件中:
- 指定图片存储的目录:IMAGES_STORE = './img_bobo'
- 指定开启的管道:自定制的管道类
代码
这里使用伪属性是因为 图片懒加载 当我们解析图片时 没有打开浏览器 所以不会通过鼠标滑动解析到图片的数据 所以就要使用伪属性来解析图片 这里的data-src就是伪属性
import scrapy
from imgsPro.items import ImgsproItem
class ImgSpider(scrapy.Spider):
name = "img"
# allowed_domains = ["www.xxx.com"]
start_urls = ["https://aspx.sc.chinaz.com/"]
def parse(self, response):
div_list = response.xpath('//*[@id="ulcontent"]/div/div')
for div in div_list:
# 注意:使用伪属性
src = div.xpath('./div/a/img/@data-src').extract_first()
print(src)
item = ImgsproItem()
item['src'] = src
yield item
自定义的管道类 继承ImagesPipeline
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
# useful for handling different item types with a single interface
from itemadapter import ItemAdapter
from urllib.parse import quote
import scrapy
import re
#class ImgsproPipeline:
# def process_item(self, item, spider):
# return item
from scrapy.pipelines.images import ImagesPipeline
class ImagesproPipeline(ImagesPipeline):
# 就是可以根据图片地址进行图片数据的请求
def get_media_requests(self, item, info):
url = 'https://' + re.sub(r'\\', '/', item['src'])
print(url)
yield scrapy.Request(url)
# 指定图片存储的路径
def file_path(self, request, response=None, info=None, *, item=None):
imgName = request.url.split('/')[-1]
#print(imgName,'爬取成功')
return imgName
def item_completed(self, results, item, info):
#print("......")
return item #返回给下个即将被执行的管道类
在setting类中加入
IMAGES_STORE = './img_bobo'
标签:src,item,scrapy,import,div,图片,加载 From: https://www.cnblogs.com/lin513/p/18050399