Python的requests库详细介绍

Python requests 库是一个用于发送 HTTP 请求的简单而强大的库，它可以让你轻松地在 Python 中处理 HTTP 请求。这个库是 Python中处理 HTTP 请求的标准工具，因其简洁的 API 和强大的功能而广受欢迎。

1. 安装 requests

pip install requests

2. 基本用法

2.1 导入库

import requests

2.2 发送 GET 请求

GET 请求用于从服务器获取数据。最简单的方式是调用 requests.get() 方法。

response = requests.get('https://jsonplaceholder.typicode.com/posts/1')

2.3 发送 POST 请求

POST 请求用于向服务器发送数据。通常用于提交表单或上传数据。

response = requests.post('https://jsonplaceholder.typicode.com/posts', data={'title': 'foo', 'body': 'bar', 'userId': 1})

3. 请求参数

3.1 URL 参数

可以通过 params 参数向 URL 添加查询字符串参数。

params = {'key1': 'value1', 'key2': 'value2'}
response = requests.get('https://jsonplaceholder.typicode.com/posts', params=params)

这会生成 URL：https://jsonplaceholder.typicode.com/posts?key1=value1&key2=value2

3.2 请求头

使用 headers 参数自定义请求头。

headers = {'User-Agent': 'my-app/0.0.1'}
response = requests.get('https://jsonplaceholder.typicode.com/posts', headers=headers)

3.3 POST 请求中的数据

对于 POST 请求，可以通过 data 或 json 参数发送数据。

• data 参数用于发送表单数据（application/x-www-form-urlencoded 格式）：

response = requests.post('https://jsonplaceholder.typicode.com/posts', data={'key': 'value'})

• json 参数用于发送 JSON 格式的数据：

response = requests.post('https://jsonplaceholder.typicode.com/posts', json={'key': 'value'})

3.4 上传文件

可以使用 files 参数上传文件。

files = {'file': open('report.txt', 'rb')}
response = requests.post('https://jsonplaceholder.typicode.com/upload', files=files)

4. 响应处理

requests 库返回的 response 对象包含了服务器响应的所有信息。

4.1 访问响应内容

• 文本内容：使用 response.text 获取响应的文本内容。

print(response.text)

• JSON 内容：使用 response.json() 解析 JSON 响应。

json_data = response.json()

• 二进制内容：使用 response.content 获取二进制内容（如图片、文件）。

with open('image.png', 'wb') as f:
    f.write(response.content)

4.2 访问响应状态

• 状态码：response.status_code 返回 HTTP 状态码。

if response.status_code == 200:
    print('Success!')
else:
    print('Error:', response.status_code)

• 响应头：response.headers 返回响应头信息。

print(response.headers)

5. 超时和重试

5.1 超时设置

通过 timeout 参数设置请求的超时时间（单位：秒）。

response = requests.get('https://jsonplaceholder.typicode.com/posts', timeout=5)

5.2 请求重试

requests 库没有内建的重试机制，但可以通过 requests.adapters.HTTPAdapter 实现自动重试。

from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry

session = requests.Session()
retries = Retry(total=5, backoff_factor=0.1, status_forcelist=[500, 502, 503, 504])
adapter = HTTPAdapter(max_retries=retries)
session.mount('http://', adapter)
session.mount('https://', adapter)

response = session.get('https://jsonplaceholder.typicode.com/posts')

6. 会话对象

使用 requests.Session() 可以在多次请求之间共享会话信息（如 Cookies、headers）。

session = requests.Session()
session.get('https://jsonplaceholder.typicode.com/cookies/set/sessioncookie/123456789')
response = session.get('https://jsonplaceholder.typicode.com/cookies')

7. 身份验证

7.1 基本身份验证

可以通过 auth 参数进行基本身份验证。

from requests.auth import HTTPBasicAuth
response = requests.get('https://jsonplaceholder.typicode.com/basic-auth/user/pass', auth=HTTPBasicAuth('user', 'pass'))

7.2 Token 身份验证

对于 Token 验证，可以在请求头中添加 Authorization。

headers = {'Authorization': 'Bearer YOUR_ACCESS_TOKEN'}
response = requests.get('https://jsonplaceholder.typicode.com/protected', headers=headers)

8. 代理支持

使用 proxies 参数可以为请求设置代理。

proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'http://10.10.1.10:1080',
}
response = requests.get('https://jsonplaceholder.typicode.com', proxies=proxies)

9. SSL 证书验证

requests 默认会验证 SSL 证书。可以通过 verify 参数禁用证书验证（不推荐）。

response = requests.get('https://jsonplaceholder.typicode.com', verify=False)

10. 流式请求

对于大文件，可以使用流式请求来逐步读取响应数据。

response = requests.get('https://jsonplaceholder.typicode.com/large-file', stream=True)
with open('large_file.zip', 'wb') as f:
    for chunk in response.iter_content(chunk_size=8192):
        if chunk:
            f.write(chunk)

11. 错误处理

requests 库会在遇到某些严重错误时抛出异常，如连接失败、超时等。常见的异常包括：

• requests.exceptions.RequestException
• requests.exceptions.HTTPError
• requests.exceptions.ConnectionError
• requests.exceptions.Timeout
  可以通过 try-except 结构来捕获这些异常并进行处理。

try:
    response = requests.get('https://jsonplaceholder.typicode.com/posts')
    response.raise_for_status()
except requests.exceptions.HTTPError as errh:
    print ("Http Error:", errh)
except requests.exceptions.ConnectionError as errc:
    print ("Error Connecting:", errc)
except requests.exceptions.Timeout as errt:
    print ("Timeout Error:", errt)
except requests.exceptions.RequestException as err:
    print ("OOps: Something Else", err)

12. 自定义适配器

可以创建自定义适配器以实现更复杂的请求行为。例如，实现特定的重试逻辑或日志记录。

总结

requests 库是一种简洁、强大且易于使用的工具，用于处理 HTTP 请求。无论是基本的 GET 和 POST 请求，还是复杂的身份验证、会话保持和流式处理，requests 都能够很好地胜任。如果你经常处理 HTTP 请求，那么熟练掌握 requests 库将大大提高你的开发效率。