以下是一些掌握urllib包的妙用：
- 发送HTTP请求：
- 使用
urllib.request.urlopen()函数可以轻松地发送GET请求到指定的URL，并获取响应内容。例如：
import urllib.request
url = 'http://example.com'
response = urllib.request.urlopen(url)
data = response.read().decode('utf-8') # 解码为字符串- 处理POST请求：
- 要发送POST请求，可以使用
urllib.request.Request()创建一个请求对象，并设置其方法为'POST'，然后通过urllib.request.urlopen()发送请求。例如：
import urllib.parse
import urllib.request
url = 'http://example.com/post'
data = {'key1': 'value1', 'key2': 'value2'}
data_encoded = urllib.parse.urlencode(data).encode('utf-8') # 将数据编码为字节串
request = urllib.request.Request(url, data=data_encoded)
request.add_header('Content-Type', 'application/x-www-form-urlencoded') # 设置Content-Type头
response = urllib.request.urlopen(request)
data = response.read().decode('utf-8')- 处理重定向和授权：
urllib.request模块可以自动处理一些基本的重定向。如果需要更复杂的重定向或授权（如HTTP Basic Auth），可以使用urllib.request.HTTPRedirectHandler和urllib.request.HTTPBasicAuthHandler等处理器。
- 设置超时和重试：
- 可以通过
urllib.request.urlopen()的timeout参数设置请求超时时间。为了实现重试机制，可以编写自定义的逻辑来重复调用urllib.request.urlopen()。
- 处理Cookies：
urllib.request模块支持处理cookies。可以通过创建一个http.cookiejar.CookieJar对象，并将其与urllib.request.HTTPCookieProcessor一起使用，来保存和发送cookies。
- 解析URL和查询字符串：
urllib.parse模块提供了解析URL和查询字符串的功能。例如，可以使用urllib.parse.urlparse()解析URL，urllib.parse.parse_qs()解析查询字符串。
- 错误处理：
urllib.error模块包含了处理网络请求中可能遇到的各种错误，如URLError和HTTPError。
- robots.txt解析：
urllib.robotparser模块可以帮助你解析网站的robots.txt文件，以确定哪些页面可以被爬虫访问。
通过熟练掌握这些功能，你可以利用urllib包进行各种网络编程任务，包括数据抓取、API调用、文件下载等。然而，对于更复杂的网络交互和现代的Web应用，你可能需要使用更高级的库，如requests或者 scrapy。
标签：请求,urlopen,request,urllib,parse,data From： https://blog.51cto.com/u_16161880/8955719