python3cookielib模拟登陆

Cookie介绍

Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密)。

比如说有些网站需要登录后才能访问某个页面，在登录之前，你想抓取某个页面内容，登陆前与登陆后是不同的，或者不允许的。

使用Cookie和使用代理IP一样，也需要创建一个自己的opener。在HTTP包中，提供了cookiejar模块，用于提供对Cookie的支持。

我们可以利用cookielib模块的CookieJar类的对象来捕获cookie并在后续连接请求时重新发送，比如可以实现模拟登录功能。

正式开始：

在python2.0版本导入cookielib直接import cookielib

python 3.6 改成 http.cookiejar了，所以只要改成from http import cookiejar就自动导入cookiejar了，如果还是不行，就把所有的.pyc删掉试试。

1、首先导入我们需要用到的模块

1. from urllib import request
2. from urllib import parse
3. from http import cookiejar

2、通过cookieJar（）类构建一个cookieJar（）对象，用来保存cookie的值

1. cookie = cookiejar.CookieJar()

3、通过HTTPCookieProcessor（）处理器类构建一个处理器对象，用来处理cookie，参数就是构建的CookieJar（）对象

1. cookie_handler = urllib.request.HTTPCookieProcessor(cookie)

4、构建一个自定义的opener，实现帐号密码发送

1. opener = urllib.request.build_opener(cookie_handler)
2. opener.addheaders = [("User-Agent", "Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.9.168 Version/11.50")]
3. opener.addheaders = [("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36")]
5. url = "http://www.renren.com/"
7. data = {"email": "xxxxx", "password":"xxxx"}
9. data = parse.urlencode(data).encode('utf-8')
11. my_request = request.Request(url, data = data)
13. response = opener.open(my_request)
15. print(response.read().decode('utf-8'))

完整代码

1. from urllib import request
2. from urllib import parse
3. from http import cookiejar
5. #通过cookieJar（）类构建一个cookieJar（）对象，用来保存cookie的值
6. cookie = cookiejar.CookieJar()
8. #通过HTTPCookieProcessor（）处理器类构建一个处理器对象，用来处理cookie
9. #参数就是构建的CookieJar（）对象
10. cookie_handler = request.HTTPCookieProcessor(cookie)
12. #构建一个自定义的opener
13. opener = request.build_opener(cookie_handler)
15. #通过自定义opener的addheaders的参数，可以添加HTTP报头参数
16. opener.addheaders = [("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36")]
18. #人人网的登陆接口
19. url = "http://www.renren.com/PLogin.do"
21. #需要登陆的账户密码
22. data = {"email": "[email protected]", "password":"alarmchime"}
24. #通过URL encode（）编码转换
25. data = parse.urlencode(data).encode('utf-8')
27. my_request = request.Request(url, data = data)
29. response = opener.open(my_request)
31. #解码
32. print(response.read().decode('utf-8'))