requests模块

1、介绍

requests是python用于处理http/https的一个第三方库，需要pip安装。

• 注意避免安装request模块，这是一个恶意黑客仿照requests定制的模块

Python requests 模块 | 菜鸟教程 (runoob.com)

Requests: HTTP for Humans™ — Requests 2.31.0 documentation

2、request函数

def request(method, url, **kwargs):
"""
def request(self, method, url, params=None, data=None, headers=None, cookies=None, files=None,
        auth=None, timeout=None, allow_redirects=True, proxies=None, hooks=None, stream=None,
        verify=None, cert=None, json=None):
"""

import requests
req = requests.request(method='get', url='https://www.baidu.com')
print(req)

• requests.request是一个函数，method和url是必要参数
• res的类型为<class ‘requests.models.Response’>

（1）method参数

• 必选，请求方法。可选：GET、OPTIONS、HEAD、POST、PUT、PATCH或者DELETE。设置时可以是小写，或者混杂
• method设置错误，比如为GE，不影响请求的发送。http的请求方法就为设置的错误值的大写，由服务器决定如何处理。如果对方法有限定可能会响应302，没有限定则可能会响应200。
• res.request.method的值即这里设置的字符串。如果是小写的get，会自动转为大写。

（2）url参数

• 必选，表示请求路径，而且需要包括协议部分
• 如果域名不存在http或者https服务，会报错
• 可以直接处理https，也可以是http

（3）params参数

# q = {'name':'zz','age':12}
# q_2 = [('name','zz'),('age',22)]
# q_3 = 'name=xx&age=12'

• 可选，作用是设置url中的请求参数，类型可以为字典或者元组的列表，或者字符串
• 字典中的值会拼接到url中的params部分，如果未有参数，则先会添加?。如果已有参数，则直接追加，注意不会检查已有参数是否已经重名

（4）data参数

data_1 = 'abcd'	# abcd
data_2 = {'name':'zz','age':12}	# name=zz&age=12
data_3 = [('name','zz'),('age',12)] # name=zz&age=12

• 可选，作用是设置body中的请求参数，类型可以为字符串、元组的列表和字典

（5）json参数

json_1 = 'abcd'	# b'"abcd"'
json_2 = {'name':'zz','age':12}	# b'{"name": "zz", "age": 12}'
json_3 = [('name','zz'),('age',12)]	# b'[["name", "zz"], ["age", 12]]'

• 可选，作用是设置body部分携带的数据，以json格式发送，类型可以为字符串、元组的列表和字典

（6）headers参数

headers = {'User-Agent':'zz','age':'12', 'Cookie':'name=zz; age=123'}

• 作用：设置请求的头部字段，类型为字典，并且字典元素的键和值都必须是str类型，否则报错
• request方法自身默认会设置一些http请求头部字段，在指定headers参数时，会进行判断是否已设置字段，判断不区分大小写，如果重复则覆盖，如果不重复则追加字段
• 如果覆盖，并且新设置的键和值替代之前的键和值。主要注意其键的大小写以新设置的为准
• headers的键可以任意设置，而非一定要是http协议规定的，同时可以直接在其中设置cook

（7）cookies参数

cookies = {'name':'zz','age':'12'}

• 作用：设置请求携带的cookie，类型为字典，并且字典元素的键和值都必须是str类型，否则报错

（8）files参数

upload_files = {'file': open('report.xls', 'rb')}
r = requests.post(url, files=upload_files)

• 作用：上传文件
• 在读取文件时，注意务必使用'rb'即二进制模式读取，这样获取的bytes长度才是文件的长度。

（9）timeout参数

• 作用是设置延时，单位为秒。如果超过时间，还未请求响应，则判定报错
• 结合wireshark分析，如果设置为0或者负数，那么requests模块不会发送请求，而是直接报错，警告需要设置大于0的值
• 如果设置为None，则会一直等待响应接收
• 该参数的设置可以有效避免GUI等待的卡顿，但是需要考量设置的时间长短，区分一般的网络延时，服务端处理速度慢和完全的连接不上
• 一般情况下，设置为5秒是一个不错的尺度

（10）allow_redirects参数

• 作用是当请求之后接到一个3xx重定向的响应，是否进行自动重定向。默认为True，表示会自动重定向，这会重置接收到的响应对象的请求对象数据，即res.request对象不是前面手动设置的对象。尤其是cookie和url
• 一般，爬虫时会考虑进行重定向，而渗透测试需要非重定向。当然，一切并不绝对