首页 > 其他分享 >在爬虫过程中出现乱码,那么如何处理?

在爬虫过程中出现乱码,那么如何处理?

时间:2022-12-11 14:22:40浏览次数:58  
标签:get 处理 encoding 爬虫 乱码 url response

在爬虫中很容易出现乱码现象,那么具体如何处理呢?以下有几种方式,记录下。

方式一:给响应对象添加encoding

 

response = request.get(url=url,headers=headers)
response.encoding = "utf-8"

 

 

 

 

或者手动指定网页编码:

 

# 手动设定响应数据的编码格式
response.encoding = response.apparent_encoding

 

 

 

 方式二:将requests.get().text改为requests.get().content

 

 方法三:使用通用的编码方法

img_name.encode('iso-8859-1').decode('gbk')

 

 

标签:get,处理,encoding,爬虫,乱码,url,response
From: https://www.cnblogs.com/shaoyishi/p/16973652.html

相关文章

  • Selenium3自动化测试实战--第4章 WebDriver API 3--定位一组元素,多表单切换,多窗口切换
    4.8定位一组元素书中是elements=find_elements_by_id()官网是elements=find_elements(By.ID,'')然后for循环 foreinelements:4.9多表单切换web应用中经常......
  • python爬虫小结1
    python爬虫小结11正则匹配中注意的:importrea='<div>指数</div>'word=re.findall('<div>(.*?)</div>',a)print(word)其中(.*?)是能匹配基本所有的字符,但是对于跨行的......
  • 【2023最新B站评论爬虫】用python爬取上千条哔哩哔哩评论
    您好,我是@马哥python说,一枚10年程序猿。一、爬取目标之前,我分享过一些B站的爬虫:【Python爬虫案例】用Python爬取李子柒B站视频数据【Python爬虫案例】用python爬哔哩哔......
  • 【04期】分库分表之后,id 主键如何处理?
    问:分库分表之后,id主键如何处理?面试官心理分析其实这是分库分表之后你必然要面对的一个问题,就是id咋生成?因为要是分成多个表之后,每个表都是从1开始累加,那肯定不对啊,......
  • 解决SpringCloudConfig中文乱码问题
    问题来自于配置服务端使用的编码格式为ISO-8859-1导致  这里处理后的结果添加两个类CustomizedOriginTrackedPropertiesLoader和CustomizedPropertiesPropertySource......
  • Go-14 Golang语言中 函数详解之defer延迟处理函数和return的结合使用
    packagemain//defer延迟处理函数和return的结合运用/* 按照下面的示例作了一个总结,文字结合下面的代码更容易理解 总结一下规则: defer里面的变量必须与函数定义的......
  • MySQL 5.7中文乱码与远程链接问题
    1.MySQL5.7中文乱码当我们直接在数据库里面输入中文时,保存后出现:Incorrectstringvalue:‘\xE9.....’forcolumn''atrow1出现上面的原因是因为字符编码设置有......
  • 007爬虫之requests模块进阶
    前面基本将爬虫的基础知识学习得差不多了,今天最后深入下requests模块,这个写完之后,一般的网站大家都可以去爬取了,后面会慢慢给大家分享一些烧脑的东西,今天还是先说说request......
  • 异常处理,统一接口
    异常处理,统一接口#全局配置REST_FRAMEWORK={'EXCEPTION_HANDLER':'app01.app_auth.exception_handler',}#统一接口的返回#app_auth.py#自定义异常处理的方......
  • MySQL 5.7中文乱码与远程链接问题
    (MySQL5.7中文乱码与远程链接问题)1.MySQL5.7中文乱码当我们直接在数据库里面输入中文时,保存后出现:Incorrectstringvalue:‘\xE9.....’forcolumn''atrow1出......