首页 > 其他分享 >scrapy—图片解析(图片懒加载)

scrapy—图片解析(图片懒加载)

时间:2024-03-03 18:22:36浏览次数:21  
标签:src item scrapy import div 图片 加载

笔记

- 图片数据爬取之ImagesPipeline
    - 基于scrapy爬取字符串类型的数据和爬取图片类型的数据区别?
        - 字符串:只需要基于xpth进行解析且提交管道进行持久化存储
        - 图片:xpath解析出图片src属性值。单独的对图片地址发起请求获取图片二进制类型的数据
    - ImagesPipline:
        - 需要要将img的src属性值进行解析,提交到管道,管道就会对图片的src进行请求发送获取图片的二进制编码并进行持久化存储
    - 需求:爬取站长素材中的高清图片
    - 使用流程:
        - 数据解析(图片的地址)
        - 将存储图片地址的item提交到指定的管道类
        - 在管道文件中子定制一个基于ImagesPipeline的管道类
            - get_media_requests方法:
                - 该方法会自动将item中的图片地址进行请求发送
            - item_completed方法:
                - 该方法会自动将图片的二进制编码进行持久化存储
            - file_path方法:
                - 指定文件存储的名称跟路径
        - 在配置文件中:
            - 指定图片存储的目录:IMAGES_STORE = './img_bobo'
            - 指定开启的管道:自定制的管道类

代码

这里使用伪属性是因为 图片懒加载 当我们解析图片时 没有打开浏览器 所以不会通过鼠标滑动解析到图片的数据 所以就要使用伪属性来解析图片 这里的data-src就是伪属性

import scrapy
from imgsPro.items import ImgsproItem


class ImgSpider(scrapy.Spider):
    name = "img"
    # allowed_domains = ["www.xxx.com"]
    start_urls = ["https://aspx.sc.chinaz.com/"]

    def parse(self, response):
        div_list = response.xpath('//*[@id="ulcontent"]/div/div')
        for div in div_list:
            # 注意:使用伪属性
            src = div.xpath('./div/a/img/@data-src').extract_first()
            print(src)
            item = ImgsproItem()
            item['src'] = src
            yield item

自定义的管道类 继承ImagesPipeline

 

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


# useful for handling different item types with a single interface
from itemadapter import ItemAdapter
from urllib.parse import quote
import scrapy
import re
#class ImgsproPipeline:
#    def process_item(self, item, spider):
#        return item
from scrapy.pipelines.images import  ImagesPipeline
class ImagesproPipeline(ImagesPipeline):
    # 就是可以根据图片地址进行图片数据的请求
    def get_media_requests(self, item, info):
        url = 'https://' + re.sub(r'\\', '/', item['src'])
        print(url)
        yield scrapy.Request(url)
    # 指定图片存储的路径
    def file_path(self, request, response=None, info=None, *, item=None):
        imgName = request.url.split('/')[-1]
        #print(imgName,'爬取成功')
        return imgName
    def item_completed(self, results, item, info):
        #print("......")
        return item  #返回给下个即将被执行的管道类

在setting类中加入

IMAGES_STORE = './img_bobo'

 

标签:src,item,scrapy,import,div,图片,加载
From: https://www.cnblogs.com/lin513/p/18050399

相关文章

  • m基于OFDM+QPSK和LDPC编译码以及LS信道估计的无线图像传输matlab仿真,输出误码率,并用
    1.算法仿真效果matlab2022a仿真结果如下:   2.算法涉及理论知识概要        无线图像传输:图像数据首先被分割成多个数据包,然后每个数据包经过LDPC编码,接着按OFDM符号映射规则将编码后的比特流映射到各个子载波上进行QPSK调制。在接收端,先利用LS信道估计恢复出......
  • 08. 场景加载
    awaitable关键字本节涉及到场景的加载和卸载,在勇士传说中,我们使用协程的方式来加载和卸载场景,在本节使用了unity2023.3最新的特性awaitableawaitable具体是啥,我也不太清楚,见下图加载场景在上一节中,我们监听了LoadRoomEvent事件,成功调用了SceneLoadManager.OnLoadRoom......
  • Vue3中v-for循环动态设置img的src属性无法找到图片问题
    useImage.js//获取assets静态图片exportconstgetAssetsImge=name=>{returnnewURL(`../assets/images/app_img/${name}`,import.meta.url).href;};使用tabs=[ { link:undefined, pathName:'MicroCoop',//直接使用图片名称作为getAssetsImge的......
  • netcore 将图片转为pdf上传
    privatestaticstringGetImageUrl(SaveWeldListInputmodel){varfileUrl=model.ProcedureFiles[0].File_Url;//获取文件扩展名stringextension=Path.GetExtension(fileUrl);stringfilePathDic="";......
  • [python]将多张图片合并为单个pdf文件
    前言最近有个个人需求是要把多个图片文件合并为一个PDF文件,这样方便用PDF阅读器连续看,避免界面点一下,只会图片放大。(比如看漫画)主要思路是先把单张图片转换成单个PDF文件,然后把PDF文件进行合并。原先是用WPS的转换工具做的,但WPS每次只能批量转换30张,如果有大量图片文件,用WPS就不......
  • scrapy——分别存储在文本文件和mysql数据库中
    笔记如何将爬取到的数据一份存储到本地一份存储到数据库?-创建一个管道类-爬虫文件提交到的item指挥给管道文件中的第一个被执行的管道类接收-process_item方法中的returnitem表示将item提交给下一个管道类在pipelines类中加入MysqlPiplines类#Defineyour......
  • scrapy——基于管道持久化存储
    笔记-基于管道:-编码流程-数据解析-在item类中定义相关的属性-将解析的数据封装到item对象中-将item类型的对象提交给管道进行持久化存储-在管道类的process_item中要将其接收到的item对象中存储的数据进行持久化存储......
  • scrapy——终端持久化存储
    笔记-基于终端指令:-要求:只可以将parse方法的返回值存储到本地的文本文件中scrapycrawldou-o./douban.csv-注意:持久化存储的类型只可以是'json','jsonlines','jsonl','jl','csv','xml','marshal','pickle'这些......
  • scrapy
    scrapy框架-什么是框架-就是集成了很多功能并且具有很强通用性的一个项目模板-如何学习框架-专门学习框架封装的各种功能的详细用法-什么是scrapy-爬虫中封装好的一个明星框架。-功能:高性能的持久化存储,异步的数据下载,高性能的数据解析,分布式......
  • scrapy数据解析
    importscrapyclassDouSpider(scrapy.Spider):name="dou"#allowed_domains=["www.douban.com"]start_urls=["https://www.douban.com/doulist/113652271/"]defparse(self,response):div_=response......