首页 > 其他分享 >爬虫_058_urllib get请求的urlencode方法

爬虫_058_urllib get请求的urlencode方法

时间:2024-02-12 20:56:18浏览次数:23  
标签:urlencode get url quote request urllib parse

目录

quote方法使用的不是很经常的。

因为quote的作用是将汉字转为百分号编码后的ASCII字符串。

如果你的路径当中只有一个参数,你这样使用quote拼接一下url,这是没有问题的。

如果你的路径当中有多个参数,并且参数都是中文的,你还使用quote,就TMD懵逼了。

所以,quote方法,只需要了解一下,就可以了。

我们需要使用新的方法。

urllib.parse.urlencode()

image-20240212204138676

import urllib.request
import urllib.parse

# https://www.baidu.com/s?wd=周杰伦&sex=男&location=中国台湾省
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36'
}
base_url = 'https://www.baidu.com/s?wd='
data = {
    'wd': '周杰伦',
    'sex': '男',
    'location': '中国台湾省'
}
param = urllib.parse.urlencode(data)
url = base_url + param
request = urllib.request.Request(url=url, headers=headers)
response = urllib.request.urlopen(request)
content = response.read().decode('utf-8')
print(content)

标签:urlencode,get,url,quote,request,urllib,parse
From: https://www.cnblogs.com/gnuzsx/p/18014116

相关文章

  • 爬虫_057_urllib get请求的quote方法
    目录引子编码集的演变需求知识点重新测试get请求方式的quote方法引子将百度搜索周杰伦的地址栏地址,复制到pycharm当中变成下面的样子:https://www.baidu.com/s?wd=%E5%91%A8%E6%9D%B0%E4%BC%A6编码集的演变ASCII编码:一个字符一个字节中国:GB2312日本:Shift_JIS韩国:Euc-k......
  • 爬虫_056_urllib请求对象的定制
    目录url组成第一个反爬-UA校验制造一个UA请求对象的定制url组成协议httphttps主机www.baidu.com端口号http80https443mysql3306oracle1521redis6379mongodb27017路径参数?号锚点#号第一个反爬-UA校验制造一个UA从浏览器......
  • 爬虫_055_urllib下载
    目录下载网页下载图片下载视频总结下载网页下载图片下载视频总结真的,没有什么含金量,就是找到资源的地址,然后使用urllib.request.urlretrieve()就可以了。......
  • 爬虫_054_urllib的1个类型和6个方法
    目录1个类型read()方法readline()方法readlines()方法getcode()方法geturl()方法getheaders()方法1个类型response的类型是HTTPResponseread()方法read():一个字节一个字节去读取,直到读完。read(5):读取5个字节readline()方法readline()方法就是读取一行。readline......
  • 爬虫_053_urllib的基本使用
    目录urllib简介基本代码使用urllib简介urllib是python自带的,不需要我们安装。基本代码使用importurllib.requesturl='http://www.baidu.com'response=urllib.request.urlopen(url)#read()方法返回字节形式的二进制数据b'xxx',需要解码成字符串content=respons......
  • 【.NET】聊聊 IChangeToken 接口
    由于两个月的奋战,导致很久没更新了。就是上回老周说的那个产线和机械手搬货的项目,好不容易等到工厂放假了,我就偷偷乐了。当然也过年了,老周先给大伙伴们拜年了,P话不多讲,就祝大家身体健康、生活愉快。其实生活和健康是密不可分的,想活得好,就得健康。包括身体健康、思想健康、心理健康......
  • SharePoint Online 列表的 Audience Targeting
    前言最近,碰到一个需求,用户希望列表的视图,不被管理员以外的任何人看到,这样数据会更加安全。正文1.这时候,我们就需要用到列表的AudienceTargeting功能了,我们首先要去到列表设置,如下图:2.进去以后启用列表的AudienceTargeting,如下图:3.我们去到列表视......
  • Sliver C2 实战 vulntarget-f
    ‍网络拓扑hostip1ip2ubuntu(自用)192.168.130.14/centos192.168.130.310.0.10.2ubuntu110.0.10.310.0.20.2ubuntu210.0.20.3/‍信息收集开放了很多端口,优先从web入手。​​fscan过一遍网站指纹,发现可能可以利用xxe。​​‍zimbracmk​......
  • NuGetForUnity用不了时的一个折衷方案
    如果NuGetForUnity网络访问不了或者下载速度非常慢,导致无法正常使用,那可以试试下面的方法。 1)先用vs的NuGet包管理器下载,vs下貌似没遇到网络问题,下载很快 注意,vs不是下载在Unity的Assets文件夹下的,而是和他同层级,所以此时Unity并不会加载所下载的dll文件的 2)然后......
  • PowerShell 的 Get-FileHash 命令查询一个文件的所有上述哈希值(假设是 SHA256, MD5, S
    PowerShell是一种跨平台的任务自动化解决方案,包含一个命令行外壳、脚本语言和配置管理框架。PowerShell提供了用于计算文件哈希值的内置命令Get-FileHash。Get-FileHash命令可以用来计算文件的哈希值,支持多种哈希算法。,Get-FileHash支持以下几种哈希算法:SHA256:默认算法,提......