1、HTTP
HTTP:超文本传输协议,默认端口号是80
- 超文本:是指超过文本,不仅限于文本;还包括图片、音频、视频等文件。
- 传输协议:是指使用共用约定的固定格式来传递转换成字符串的超文本内容
2、HTTPS
HTTP + SSL(安全套接字层),即带有安全套接字层的超本文传输协,默认端口号:443
- SSL对传输的内容(超文本,也就是请求体或响应体)进行加密
- 可以打开浏览器访问一个url,右键检查,点击net work,点选一个url,查看http协议的形式。
3、常见状态码
- 200:成功
- 302:跳转,新的url在响应的Location头中给出
- 303:浏览器对于POST的响应进行重定向至新的url
- 307:浏览器对于GET的响应重定向至新的url
- 400:客户端请求有语法错误,不能被服务器所理解。
- 401:请求未经授权,这个状态码必须和 www-authenticate 报头域一起使用。
- 403:资源不可用;服务器理解客户的请求,但拒绝处理它(没有权限)
- 404:找不到该页面
- 500:服务器内部错误
- 503:服务器由于维护或者负载过重未能应答,在响应中可能可能会携带Retry-After响应头;
有可能是因为爬虫频繁访问url,使服务器忽视爬虫的请求,最终返回503响应状态码。
注意:
所有的状态码都不可信,一切以是否从抓包得到的响应中获取到数据为准。
Network中抓包得到的源码才是判断爬虫是否成功的依据,elements中的源码是渲染之后的源码,不能作为判断标准。