一、安装
cmd-->pip install requests
安装测试
>>> import requests
>>> r = requests.get("http://www.baidu.com")
>>> r.status_code
200
>>> r.text
二、Requests库的get()方法
r=requests.get(url)
返回一个包含服务器的资源的Response对象，构造一个向服务器请求资源的Request对象。
Response对象的属性
三、爬取网页的通用代码框架
“网络连接有风险，异常处理很重要”
通用框架
r.raise_for_status()在方法内部判断r.status_code是否等于200，不需要增加额外if语句，便于try-except异常处理
四、HTTP协议及Requests库方法
1.HTTP 超文本传输协议，是一个基于“请求与响应”模式的、无状态的应用层协议。
请求与响应：用户发出请求，服务器作出响应。无状态指的是第一次与第二次请求之间无关联。应用层协议指的是该协议工作在TCP协议之上。
HTTP协议采用URL作为定位网络资源的标识。URL：http://IP
五、网络爬虫的限制
·来源审查：判断User-Agent进行限制
检查来访HTTP协议头的User-Agent域，只响应浏览器或友好爬虫的访问。
·发布公告：Robots协议（robots.txt)
告知所有爬虫网站的爬取策略，要求爬虫遵守
资源来自中国大学MOOC——Python网络爬虫与信息提取
标签：status,协议,HTTP,get,爬虫,学习,requests From： https://www.cnblogs.com/maimai-new/p/17570740.html