首页 > 其他分享 >爬虫解码[编码问题]

爬虫解码[编码问题]

时间:2023-09-22 13:00:12浏览次数:29  
标签:编码 cookies code encoding 解码 爬虫 response

response = requests.get('ur;', params=params, cookies=cookies, headers=headers, verify=False)

if response.status_code == 200:
    # 尝试使用不同的编码解码响应内容
    possible_encodings = ['utf-8', 'ISO-8859-1', 'cp1252', 'gb2312']

    for encoding in possible_encodings:
        try:
            response_text = response.content.decode(encoding)
            print(f"成功使用编码 {encoding} 解码响应内容:\n{response_text}")
            break  # 如果成功解码,就不再尝试其他编码
        except UnicodeDecodeError:
            continue  # 如果解码失败,尝试下一个编码

    # 如果上述编码都无法解码,可以添加更多可能的编码

else:
    print(f"请求失败,状态码为{response.status_code}")

response.close()

标签:编码,cookies,code,encoding,解码,爬虫,response
From: https://www.cnblogs.com/code3/p/17722074.html

相关文章

  • python爬虫简易demo
    以下是一个简单的Python爬虫示例,用于从指定的网页中提取标题和链接:importrequestsfrombs4importBeautifulSoupdefcrawl(url):#发送HTTPGET请求获取网页内容response=requests.get(url)#使用BeautifulSoup解析网页内容soup=BeautifulSoup(r......
  • 【python爬虫】爬虫所需要的爬虫代理ip是什么?
    前言在进行爬虫程序开发时,经常会遇到访问被限制的网站,这时就需要使用代理IP来进行访问。本文将介绍代理IP的概念及使用方法,帮助读者更好地应对爬虫程序中的访问限制问题。同时,本文还将提供一些代理IP提供商,并通过一个实例演示如何使用代理IP来访问被限制的网站。一、什......
  • TidHTTP的post编码,老掉牙的问题
    TidHTTP使用post时,需要提交json字符串。那么采用什么编码,这个问题就头大了。目前xe已经不要考虑编码转换问题。但是....我们使用ISuperObject操控json。那么最后提交到post的数据应该是这样?idHttp.post(urURL,stream)idhtp1.Post('http://123.124.211.113:9050/myMoth',Reque......
  • 【爬虫实战】用python爬今日头条热榜TOP50榜单!
    目录一、爬取目标二、爬取结果三、代码讲解四、技术总结五、演示视频六、附完整源码一、爬取目标您好!我是@马哥python说,一名10年程序猿。今天分享一期爬虫案例,爬取的目标是:今日头条热榜的榜单数据。打开今日头条首页,在页面右侧会看到头条热榜,如下:爬取以上6个关键字段,含:热......
  • 任正非“苹果是华为的老师”;音频编解码标准 L2HC 发布;GNU 和自由软件运动四十周年丨RT
    开发者朋友们大家好:这里是「RTE开发者日报」,每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享RTE(RealTimeEngagement)领域内「有话题的新闻」、「有态度的观点」、「有意思的数据」、「有思考的文章」、「有看点的会议」,但内容仅代表编辑的个人观点,欢迎大家留......
  • Windows下FFMPEG调用测试(解码264)
    #include<stdio.h>#include<stdlib.h>#include<string.h>extern"C"{#include<libavcodec/avcodec.h>charav_error[AV_ERROR_MAX_STRING_SIZE]={0};#defineav_err2str(errnum)av_make_error_string(av_error,AV_ERROR......
  • Windows下ffmpeg调用测试(YUV420P编码)
    1下载静态库和动态库如果你是动态加载,可以直接使用动态库(dlopen等);否则就才用动态+静态的方式(动态库的静态加载方式);或者直接将静态库编译到你的执行程序(纯静态组件使用);https://www.gyan.dev/ffmpeg/builds/#libraries 添加组件vs2022: 属性->c/c++->附加包含目录;将头文件......
  • 爬虫初阶requests模块的使用
    一、安装requests库pipinstallrequests二、引用这个模块importrequests三、requests的基本使用1.发送GET请求调用requests模块中的get()函数importrequests#引入第三方库response=requests.get('https://www.baidu.com')print(response.text)#以文本形式打印......
  • AI 编码助手 Codewhisperer 安装步骤和使用初体验
    文章作者:为了自己加油最近亚⻢逊云科技推出了一款基于机器学习的AI编程助手AmazonCodeWhisperer,可以实时提供代码建议。在编写代码时,它会自动根据现有的代码和注释给出建议。AmazonCodeWhisperer与GitHubCopilot类似,主要的功能有:代码补全注释和文档补全代码......
  • 爬虫
    requests模块获取数据方式静态页面importrequestsresponse=requests.get(url="https://www.baidu.com")print(response.text)动态加载数据豆瓣动画电影排行榜importrequestsimportjsonurl='https://movie.douban.com/j/chart/top_list'params={'type':25,&......