首页 > 编程语言 >盘点3种Python网络爬虫过程中的中文乱码的处理方法

盘点3种Python网络爬虫过程中的中文乱码的处理方法

时间:2024-04-01 22:55:06浏览次数:25  
标签:编码 中文 Python 爬虫 乱码 方法

大家好,我是Python进阶者。前几天给大家分享了一些乱码问题的文章,感兴趣的小伙伴可以前往:UnicodeEncodeError: 'gbk' codec can't encode character解决方法,这里再次给大家祭出网络爬虫过程中三种中文乱码的处理方案,希望对大家的学习有所帮助。

前言

前几天有个粉丝在Python交流群里问了一道关于使用Python网络爬虫过程中中文乱码的问题,如下图所示。

image.png

image.png

看上去确实头大,对于爬虫初学者来说,这个乱码摆在自己面前,犹如拦路虎一般难顶。不过别慌,小编在这里给大家整理了三种方法,专门用于针对中文乱码的,希望大家在后面再次遇到中文乱码的问题,在此处可以得到灵感!

一、思路

其实解决问题的关键点就是在于一点,就是将乱码的部分进行处理,而处理的方案主要可以从两个方面进行出发。其一是针对整体网页进行提前编码,其二是针对局部具体中文乱码的部分进行编码处理。这里例举3种方法,肯定还有其他的方法的,也欢迎大家在评论区谏言。

二、分析

其实关于中文乱码的表现形式有很多,但是常见的两种如下:

1、当出现网页编码为gbk,获取到的内容在控制台打印类似如下情况的时候:

ÃÀÅ® µçÄÔ×À ¼üÅÌ »ú·¿ ¿É°® С½ã½ã4k±ÚÖ½

2、当出现网页编码为gbk,获取到的内容在控制台打印类似如下情况的时候:

�װŮ�� ��Ů ˮ СϪ Ψ��

虽然看上去控制台输出正常,没有报错:

Process finished with exit code 0

但是输出的中文内容,却不是普通人能看得懂的。

这种情况下的话,就可以通过使用本文给出的三种方法进行解决,屡试不爽!

三、具体实现

1)方法一:将requests.get().text改为requests.get().content    我们可以看到通过text()方法获取到的源码,之后进行打印输出的话,确实是会存在乱码的,如下图所示。

image.png

此时可以考虑将请求变为.content,得到的内容就是正常的了。

image.png

2)方法二:手动指定网页编码****

# 手动设定响应数据的编码格式

image.png

这个方法稍微复杂一些,但是比较好理解,对于初学者来说,还是比较好接受的。
    如果觉得上面的方法很难记住,或者你可以尝试直接指定gbk编码也可以进行处理,如下图所示:

image.png

上面介绍的两种方法都是针对网页进行整体编码,效果显著,接下来的第三种方法就是针对中文局部乱码部分使用通用编码方法进行处理。

3)方法三:使用通用的编码方法****

img_name.encode('iso-8859-1').decode('gbk')

使用通用的编码方法,对中文出现乱码的地方进行编码设定即可。还是当前的这个例子,针对img_name进行编码设定,指定编码并进行解码,如下图所示。

image.png

如此一来,中文乱码的问题就迎刃而解了。

四、总结

我是Python进阶者。本文基于粉丝提问,针对Python网络爬虫过程中的中文乱码问题,给出了3种乱码解决方法,顺利帮助粉丝解决了问题。虽然文中例举了3种方法,但是小编相信肯定还有其他的方法的,也欢迎大家在评论区谏言。

标签:编码,中文,Python,爬虫,乱码,方法
From: https://www.cnblogs.com/dcpeng/p/18109585

相关文章

  • 图像处理环境配置opencv-python
    下载python,配置pip使用清华源下载镜像:​pipconfigsetglobal.index-urlhttps://pypi.tuna.tsinghua.edu.cn/simple​切换到python目录下,右击cmd,执行pip升级指令:​python-mpipinstall--upgradepip​下载opencv:​pipinstall--useropencv-python​opencv核心库​p......
  • 爬虫基础总结
    浏览器问题 Elements:里面的东西是你的页面源代码->script->浏览器的二次渲染(table,或其他标签)->elements里面的代码Console:控制台.这里面可以写js代码.Sources:放着页面源代码和网页的所有资源,后期会作为我们调试js的最好用的地方。。Ne......
  • 一文学会 - Fiddler抓包快速实战,Python开发面试书籍
    只显示指定的请求只显示内网的Hosts[使用频率较少]只显示外网的Hosts[使用频率较少]隐藏指定的Hosts隐藏多个相关Hosts的情况下,使用英文分号隔开,见下图。只显示指定的多个Hosts显示多个相关Hosts的情况下,使用英文分号隔开,见下图。标记过滤到的域......
  • 二进制求和 python
    ‘’’计算两个二进制字符串的和输入:1111110输出:10101参与计算的二进制字符串长度可以不同,这样为计算带来麻烦,所以,首先要补齐那个较短的字符串。如果较短字符串长度比长字符串小3,就在较短字符串前面补3个0.计算的过程,可以模拟手动计算的过程,从右向左逐位计算......
  • 山脉数组 python
    ‘’'如果—个数组k符合下面两个属性,则称之为山脉数组数组的长度大于等于3存在i,i>0且i<len(k)-1,使得k[0]<k[1]<…<k[i-1]<k[i]>k[i+1].>k[len(k)-1],这个i就是顶峰索引。现在,给定—个山脉数组,求顶峰索引。‘’’deffind_peak(arr): n=len(arr) ifn<......
  • Python:百度AI开放平台——OCR图像文字识别应用
    一、注册百度AI开放平台使用百度AI服务的步骤为:注册:注册成为百度AI开放平台开发者;创建AI应用:在百度API开放平台上创建相关类型的的AI应用,获得AppID、APIKey和SecretKey;调用API:调用相关类型的API,获得AI功能的结果,为开发者的应用服务。注册的操作步骤:登录百度AI开放平台,百......
  • 学python的第五天
    运算符:算数运算符,比较运算符,逻辑运算符,位运算符,赋值运算符,运算符的优先级1,算术运算符:用于组织整数类型和浮点类型的数据,有一元运算符和二元运算符之分一元运算符,正号(+),负号(-),例如+a还是a,-a是对a的取反运算二元运算符加(+)减(-)乘(*)除(/)取余(%)幂(**)地板除法(//)地板除法(//):a//b......
  • 《Python从入门到实践》项目 数据可视化
    生成数据安装Matplotlibpython-mpipinstallmatplotlib绘制简单的折线图importmatplotlib.pyplotaspltsquares=[1,4,9,16,25]fig,ax=plt.subplots()ax.plot(squares)plt.show()首先导入pyplot模块,并给他指定别名plt,以免反复输入pyplot,然后调用subpl......
  • Python编程快速上手 让繁琐工作自动化 第一部分
      第一章 Python基础**        指数        2**3=8//        整除/商数取整        22//8=2%       取模/取余数数据类型:整型、浮点型、字符串类型可以使用字符串+字符串实现字符串的连接,还可以通过字符创*整型来实现字......
  • QA测试开发工程师面试题满分问答3: python的深拷贝和浅拷贝问题
    在Python中,深拷贝(deepcopy)和浅拷贝(shallowcopy)是用于创建对象副本的两种不同方式。浅拷贝是创建一个新的对象,该对象与原始对象的内容相同(包括内部嵌套对象的引用),但是它们指向相同的内存地址。换句话说,浅拷贝创建了一个对象的表面副本,而不是递归复制所有嵌套对象。当原始对......