python爬虫之cookie管理

Cookie处理

在Web开发中，Cookie是一种常用的技术，用于在Web服务器和浏览器之间存储和传输数据。Cookie通常包含有关用户会话、首选项和其他信息的键值对。

      Request库的get()方法的语法是：

requests.get(url,params=None,**kwargs))

url: 想要获取的网页的链接。

params: url的额外参数，字典或字节流格式，可选。

**kwargs:其他控制访问的参数。

返回值：Response对象。

例子1：

import requests

# 发送GET请求response = requests.get("https://baidu.com")# 检查连接状态print(response.status_code)# 获取服务器返回的Cookiecookies = response.cookies

# 打印Cookiefor cookie in cookies:
    print(f"Name: {cookie.name}, Value: {cookie.value}")

使用http.cookiejar来实现cookie管理， 是 Python 的一个标准库模块，它提供了用于处理 HTTP cookies 的工具。这个模块对于开发需要处理用户会话、认证状态以及个性化设置的 Web 应用程序非常有用。

      其中，CookieJar 类是 http.cookiejar 模块的核心，用于存储和管理 HTTP cookies。它能够自动处理 cookies 的过期，并可以根据需要从文件或数据库中存储和检索 cookies。

例子2：

import http.cookiejarimport urllib.request

# 创建CookieJar对象cookie_jar = http.cookiejar.CookieJar()

# 创建HTTPCookieProcessorcookie_processor = urllib.request.HTTPCookieProcessor(cookie_jar)

# 创建Openeropener = urllib.request.build_opener(cookie_processor)

# 发送GET请求response = opener.open("https://www.baidu.com")

# 获取服务器返回的Cookiefor cookie in cookie_jar:
    print(f"Name: {cookie.name}, Value: {cookie.value}")