首页 > 其他分享 >问题:图片解析后url路径解析发生改变

问题:图片解析后url路径解析发生改变

时间:2024-03-03 21:12:18浏览次数:12  
标签:问题 url 路径 Request 爬取 解析 图片

背景:解析 站长素材首页的图片

看程序执行

在我执行完程序之后显示爬取成功 但是并没有爬取到图片

找错过程

把settings中的LOG_LEVEL = "ERROE"改成WARNING

 

就发现了警告信息

于是我又进行输出url

发现了本身爬取的url没有问题 但是用Request解析的时候就发现了解析错了

就找到了问题的的根源

使用Request对象构造请求,URL中的特殊字符没有被正确处理

改正方法

url = 'https://' + re.sub(r'\\', '/', item['src'])

在使用Request发送请求前,对url进行处理

这样就处理成功了

标签:问题,url,路径,Request,爬取,解析,图片
From: https://www.cnblogs.com/lin513/p/18050730

相关文章

  • Modbus字节序说明-汇川PLC用littly endine byte swap【低位优先传输且反序】 解析寄存
    Modbus字节序说明-汇川PLC用littlyendinebyteswap解析寄存器最近做ModBusTCP方面的测试有点多,尽管对于ModBus协议算是比较了解了,也经常知道字节传输序列的不同对工程师带来了很多不必要的麻烦,这不是一个技术难题,仅仅只是过去各家各户开发遗留下来的标准统一问题,所以这里写下......
  • mainCRTStartup 函数解析
    mainCRTStartup函数解析 操作系统装载应用程序后,做完初始化工作就转到程序的入口点执行。程序的默认入口点由连接程序设置,不同的连接器选择的入口函数也不尽相同。在VC++下,连接器对控制台程序设置的入口函数是mainCRTStartup,mainCRTStartup再调用main函数 mainCRTStartu......
  • scrapy—图片解析(图片懒加载)
    笔记-图片数据爬取之ImagesPipeline-基于scrapy爬取字符串类型的数据和爬取图片类型的数据区别?-字符串:只需要基于xpth进行解析且提交管道进行持久化存储-图片:xpath解析出图片src属性值。单独的对图片地址发起请求获取图片二进制类型的数据-Imag......
  • Glide源码解析四(解码和转码)
    本文基于Glide4.11.0Glide加载过程有一个解码过程,比如将url加载为inputStream后,要将inputStream解码为Bitmap。 从Glide源码解析一我们大致知道了Glide加载的过程,所以我们可以直接从这里看起,在这个过程中我们以从文件中加载bitmap为例:DecodeJob的一个方法:privatevoiddec......
  • x-www-form-urlencoded 方式
    转载:https://blog.csdn.net/Wu7z_/article/details/108224944?spm=1001.2101.3001.6650.2&utm_medium=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~Rate-2-108224944-blog-78784787.pc_relevant_recovery_v2&depth_1-utm_source=distribute.pc_relevant.......
  • 常见的数据库语句解析
    创建表的时候,一般都会在结尾写上这些代码:ENGINE=InnoDBAUTO_INCREMENT=70defaultcharset=utf8mb3collate=utf8mb4_bincomment='';我经过学习后简单了解了这些语句的作用:ENGINE=InnoDB:指定了表的存储引擎为InnoDB,InnoDB是MySQL的一种存储引擎,提供了事务处理和外......
  • 各种类型json解析
    usingNewtonsoft.Json;usingSystem;usingSystem.Collections.Generic;usingSystem.Linq;usingSystem.Text;usingSystem.Threading.Tasks;usingSystem.Web.Script.Serialization;namespaceAnalysisJson{classProgram{staticvoidMain(string[]args......
  • Java引用类型解析:掌握强引用、软引用、弱引用和幻象引用的妙用
     概述:Java中的引用分为强引用、软引用、弱引用和幻象引用。强引用是最常见的,不会被垃圾回收;软引用在内存不足时才被回收;弱引用在下一次垃圾回收时回收;幻象引用用于检测对象是否已被回收。它们各自适用于不同场景,帮助开发者更灵活地管理对象生命周期,避免内存泄漏。在Java中,引......
  • 简单封装 Flurl
    FlurlHttpClient类publicclassFlurlHttpClient{privatereadonlyFlurlClientclient;publicFlurlHttpClient(FlurlClientclient){this.client=client;client.WithHeader("hteder","hhhhh");//请求头}......
  • ThreadLocal解析
    ThreadLocal解析目录ThreadLocal解析1.两大使用场景——ThreadLocal的用途典型场景1:每个线程需要一个独享的对象(通常是工具类,典型需要使用的类有SimpleDateFormat和Random)典型场景2:每个线程内需要保存全局变量(例如在拦截器中获取用户信息),可以让不同方法直接使用,避免参数传递的麻......