python爬虫从0到1 -Requests库的基本使用（get/post请求）

文章目录

• ​​前言​​
• ​​（一）requests的get请求​​

• ​​1. 导入requests库​​
• ​​2. 定义url地址以及请求头​​
• ​​3. 返回响应数据​​
• ​​4. 将数据打印​​
• ​​总结（对比urllib库的get请求）​​

• ​​（二）requests库的post请求（百度翻译）​​

• ​​1. 导入requests库​​
• ​​2.定义url地址以及请求头​​
• ​​3. 返回响应数据​​
• ​​4.将数据转换为json格式并打印​​
• ​​总结(对比urllib库的post请求)​​

前言

上文我们已经了解了requests库的基本概念，下面我们一起进入Requests库的get请求和post请求实例。

（一）requests的get请求

1. 导入requests库

import

2. 定义url地址以及请求头

url = 'https://www.baidu.com/s?'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36'
}

data = {
    'wd':'上海'
}

3. 返回响应数据

requests.get(url,params,kwargs)
url 为url地址，params放参数。kwargs为字典。

response =  requests.get(url = url , params = data ,headers = headers )

4. 将数据打印

content = response.text

print(content)

总结（对比urllib库的get请求）

1.参数使用params传递。
2.参数无需使用urlencoding编码
3.不需要请求对象的定制
4.请求资源路径url中的？可要可不要

（二）requests库的post请求（百度翻译）

1. 导入requests库

import requests
import

2.定义url地址以及请求头

url = 'https://fanyi.baidu.com/sug'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36'
}

data = {
    'kw':'sign'
}

3. 返回响应数据

requests.post(url,data,json,kwargs)
url 请求资源地址。 data 请求参数。kwargs 字典。

response = requests.post(url = url ,data = data ,headers = headers )

4.将数据转换为json格式并打印

= response.text

obj = json.loads(content)
print(obj)

运行结果：

总结(对比urllib库的post请求)

1.post请求不需要编解码
2.post请求的参数是data
3.不需要请求对象的定制