首页 > 其他分享 >爬虫学习（一）

爬虫学习（一）

时间：2023-07-31 14:23:34浏览次数：40  
标签：http request 爬虫 urllib 学习 print import response

爬虫学习（一）

简单爬虫

我们需要学习urllib库，在这个库中存在着许多辅助我们进行爬虫的工具，该包中有着模块：

  • request：最基本的HTTP请求模块，可以用来模拟发送请求。
  • error：异常处理抹开，如果出现请求错误，可以捕捉异常，然后进行充实或其他操作。
  • parse：工具模块，提供了许多URL处理方法，如拆分，解析，合并等。
  • robotparser：主要用于识别网站的robots.txt文件，然后判断哪些网站可以爬，哪些网站不可以爬。

request模块

使用它可以方便地实现请求的发送并得到响应，通过时它还带有处理授权验证，重定位，浏览器Cookies以及其他内容

1、urlopen()
  • 使用urlopen()函数可以发送一个请求，urlopen()函数完整的参数列表
urllib.request.urlopen(url,data=None,[timeout,]*,cafile=None,capath=None,cadefault=False,context=None)

官方文档https://docs.python.org/3/library/urllib.request.html

  • 使用urlopen()方法，url 参数用于指定要请求的URL路径（未指定data参数时，默认使用get请求方法）
import urllib.request
url = "https://www.baidu.com"
response = urllib.request.urlopen(url=url)
print(response.read())
  • 该函数返回一个HTTPResponse对象，它包含了read(), 等多种方法，以及msg,version等多种属性。
#导入request模块
import urllib.request
#发出请求并得到响应
response = urllib.request.urlopen("https://www.python.org")
#查看响应的类型
print(type(response))
#打印响应状态码
print(response.status)
#打印请求头
print(response.getheaders())
#打印请求头中Server属性的值（表示服务端使用Web服务器是什么软件，如Tomcat、Nginx等）
print(response.getheader("Server"))
  • data参数可以设置要传递的参数，使用的时候需要使用bytes()方法将参数转化为字节流编码格式的内容，即bytes类型，并且如果使用了data参数，则请求方法就不再是get方法，而是post方法。
import urllib.request
import urllib.parse
data = bytes(urllib.parse.urlencode({'word': 'hello'}), encoding='utf-8')
response = urllib.request.urlopen('https://www.baidu.com'm data=data)
print(response.read())
  • timeout参数可以设置超时时间，单位为秒
import urllib.request
#向百度发出请求，如果5秒内还没有得到响应，则抛出异常
response = urllib.request.urlopen('https://www.baidu.com',timeout=5)
print(response.read())
  • 我们可以通过设置这个超时时间来控制一个网页在长时间未响应是，就跳过它的抓取，利用try ,except实现。
import socket
import urllib.request
import urllib.error
try:
	response = urllib.request.urlopen('http://www.baidu.com',timeout=0.01)
except urllib.error.URLError as e:
	print(e.reason)
	print(socket.timeout)
	if isinstance(e.reason,socket.timeout):
		print('Time Out')
2、Request

使用urlopen()方法可以实现最基本请求的发送，但是不足以构建出一个完整的请求，如果请求中需要加Headers等信息，就需要使用Request来构建了。

class urllib.request.Request(url,data=None,headers={},origin_req_host=None,unverifiable=False,method=None)
  • 基本使用：
import urllib.request
#调用Request()方法返回一个Request类型对象
request = urllib.request.Request('https://python.org')
#使用urlopen发送请求时将Request类型对象传进去
response = urllib.request.urlopen(request)
print(response.read().decode('utf-8'))

同时它依旧是使用urlopen()发送请求，只不过该方法的参数不再是URL，而是一个Request的对象。

  • 设置请求头，请求参数

注意： 常用 urllib.parse.urlencode 进行 URL 的 get 请求参数拼接。

from urllib import request,parse
url = 'http://httpbin.org/post'
#请求头
headers = {
	'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:95.0) Gecko/20100101 Firefox/95.0',
	'Host':'httpbin.org'
}
param = {
	'name':'Germey'
}
data = bytes(parse.urlencode(param),encoding='utf-8')
req = request.Request(url=url,data=data,headers=headers,method='POST')
'''
也可以通过add_header()方法逐个添加请求头
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:95.0) Gecko/20100101 Firefox/95.0')
'''
response = request.urlopen(req)
print(response.read().decode('utf-8'))
3、Handler、Opener

实现验证、代理设置、Cookies处理等功能需要使用Handler和Opener。可以将Handler理解为各种处理器，有专门处理登录验证的，有处理Cookie的，有处理代理设置的，利用它们，几乎可以做到HTTP请求中所有的事情。urllib.request模块里的BaseHandler类，是其他所有Handler的父类，提供了最基本的方法，例如default_open( )、protocol_request( )等。它的常用子类有：

  • HTTPDefaultErrorHandler：用于处理HTTP响应错误，错误都会抛出HTTPError类型的异常。
  • HTTPRedirectHandler：用于处理重定向。
  • HTTPCookieProcessor：用于处理Cookies。
  • ProxyHandler：用于设置代理，默认代理为空。
  • HTTPPasswordMgr：用于管理密码，它维护了用户名和密码的表。
  • HTTPBasicAuthHandler：用于管理认证，如果一个链接打开时需要认证，那么可以用它来解决认证问题。

Handler需要和Opener(Opener对应的类为OpenerDirector)组合使用， 通过Handler对象和可以构建Opener对象，Opener对象可以调用open方法，open()方法返回类型和urlopen返回类型是一样的。

验证。有些哇攻占在打开时就会弹出提示框，直接提示你输入用户名和密码。请求这样带有验证的页面时，可以借助HTTPBasicAuthhandler完成，代码如下：

from urllib.request import HTTPPasswordMgrWithDefaultRealm,HTTPBasicAuthHandler,build_opener
from urllib.error import URLError
username = 'admin'
password = '123456'
#tomcat服务器管理页
url = 'http://localhost:8080/manager/html'
p = HTTPPasswordMgrWithDefaultRealm();
p.add_password(None,url,username,password)
auth_handler = HTTPBasicAuthHandler(p)
opener = build_opener(auth_handler)
try:
	result = opener.open(url)
	html = result.read().decode('utf-8')
	print(html)
except URLError as e:
	print(e.reason)

实现代理，在做爬虫的时候，免不了要使用代理，如果要添加代理，可以使用ProxyHandler，其参数是一个字典，字典中键名协议类型（如HTTP或者HTTPS等），键值是代理连接，可以添加多个代理。

from urllib.error import URLError
from urllib.request import ProxyHandler,build_opener
#为了方便测试，在本地搭建了一个代理，运行在9743端口上
proxy_handler = ProxyHandler({
	'http':'http://127.0.0.1:9743',
	'http':'https://127.0.0.1:9743'
})
opener = build_opener(proxy_handler)
try:
	response = opener.open('https://www.baidu.com')
	print(response.read().decode('utf-8'))
except URLError as e:
	print(e.reason)

获取网站的Cookie，首先，必须声明一个Cookie.Jar对象，然后利用HTTPCookieProcessor来构建一个Handler，最后利用build_opener()方法来构建Opener，执行open()方法即可。

import urllib.request,http.cookiejar

cookie = http.cookiejar.CookieJar()
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
#遍历cookies
for item in cookie:
	print(item.name+"="+item.value)

获取网站的Cookie并保存为文件

import urllib.request,http.cookiejar

filename = 'cookies.txt'
cookie = http.cookiejar.MozillaCookieJar(filename)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
cookie.save(ignore_discard=True,ignore_expires=True)

这里将CookieJar换成了MozillaCookieJar，它在生成文件时会用到，是CookieJar的子类，可以用来处理Cookies和文件相关的事件， 比如读取和保存Cookies。

生成Cookie文件后，后续过程中会读取Cookies文件进行利用，以WPCookiesJar格式的Cookie文件为例：

import urllib.request,http.cookiejar

cookie = http.cookiejar.LWPCookieJar()
#加载Cookies文件
cookie.load('cookies.txt',ignore_discard=True,ignore_expires=True)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
#运行正常的话，会输出百度网页的源代码
print(response.read().decode('utf-8'))

error模块

1、URLError

该类是error异常模块的即类，它继承自OSError, request模块产生的异常都可以通过这个类来处理。reason属性，表示错误的原理。

from urllib import request,error
try:
  #该url是不存在的，所以会产生异常
	response = request.urlopen('https://cuiqingcai.com/a.html')
except error.URLError as e:
  #由于访问的网页不存在，所以会打印Not Found
	print(e.reason)
2、HTTPError

专门用于处理HTTP请求错误，比如认证请求失败等。它有三个属性：

  • code：HTTP状态码
  • reason：错误原因
  • header：请求头
from urllib import request,error
try:
  #此处访问了一个不存在的网页
	response = request.urlopen('https://cuiqingcai.com/indea.html')
except error.HTTPError as e:
	print(e.reason)
	print(e.code)
	print(e.headers)

需要注意的是，reason属性有时候返回的不一定是字符串，也有可以是一个对象。

parse模块

该模块定义了处理URL的标准结构，例如URL各部分的抽取，合并以及链接转换。它支持大多数的协议的URL处理。

  • urlparse() 实现URL 的识别和分段，API 如下：
urllib.parse.urlparse(urlstring,scheme='',allow_fragments=True)
  • urlunparse 它用于构建一个url， 传入的参数必须是6 构建一个URL需要6部分
from urllib.parse import urlunparse
data = ['http','www.baidu.com','index.html','user','a=6','comment']
#打印：http://www.baidu.com/index.html;user?a=6#comment
print(urlunparse(data));
  • urlencode() 方法在构建请求参数时使用

1、在get请求方式中构建请求参数

from urllib.parse import urlencode
params = {
	'name':'germey',
	'age':22
}
base_url = 'http://www.baidu.com?'
url = base_url+urlencode(params)
#打印：http://www.baidu.com?name=germey&age=22
print(url)

2、在post请求方式中构建请求参数

import urllib.request
from urllib.parse import urlencode
params = {
  'name':'germey',
  'age':22
}
data = bytes(urlencode(params),encoding='utf-8')
response = urllib.request.urlopen('http://httpbin.org/post',data=data)
print(response.read())

robostparser模块

利用urllib库中的robotparser模块，可以实现对网站Robots协议的分析。

  1. Robots协议

Robots协议也称作爬虫协议、机器人协议，它的全名叫做网络爬虫排除标准（Robots Exclusion Protocol），用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些页面不可以抓取。它通常是一个名为robots.txt的文本文件，一般放在网站的根目录下。当搜索爬虫访问一个站点时，它首先会检查这个站点根目录下是否存在robots.txt文件，如果存在，搜索爬虫会根据其中定义的爬取范围来爬取；如果没有找到这个文件，搜索爬虫便会访问所有可直接访问的页面。

User-agent:*
Disallow:/
Allow:/public/
  • User-agent：描述了搜索爬虫的名称，*则表示该协议对所有爬虫有效。比如User-agent：Baiduspider表示对百度爬虫是有效的。如果有多条User-agent记录，就会有多个爬虫会受到爬取限制，但至少需要指定一条。
  • Disallow：指定不允许爬取的目录，/表示所有页面都不允许爬取。
  • Allow：一般和Disallow一起使用，不会单独使用，用来排除Disallow指定的规则，指定除了Disallow指定的页面外，哪些页面可以抓取。

标签：http,request,爬虫,urllib,学习,print,import,response
From： https://www.cnblogs.com/superJade/p/17593323.html

相关文章

  • python学习_元组
    一、什么是元组？元组也是python内置的数据结构，是一个不可变的序列，他也可以存放不同数据类型的元素不可变序列有：就是不可以改变的序列，没有增、删、改的操作，如元组、字符串就是不可变序列可变序列：可以对序列进行增、删、改操作，对象地址不发生改变，如列表、字典等'''不可变序列与......
  • 怎么学习C语言，才能快速掌握？
    有多年软件行业经验，期间参与过多个C语言项目。要掌握一门编程语言，仅仅投入时间学习是不够的，关键在于实际项目经验。在没有真正实战经验之前，不宜轻易声称掌握某种编程语言，因为编程是积累性的工作，理论知识重要但实践更为关键。学习任何编程语言都需要先掌握理论基础，然后通过项目实战......
  • Java学习
    数据类型整数类型：byte1个字节，short2个字节，int3个字节，long8个字节。浮点类型：float4个字节，double8个字节，字符类型：char2个字节银行业务不能用浮点数进行比较，用BigDecimal（数学工具类）所有的字符本质上还是数字。转义字符：\t制表符空格\n换行类型转换：由低到高b......
  • 爬虫 | 蓝桥社区热搜点赞器
    本实验首先为大家介绍了爬虫必备的知识cookie，掌握cookie的使用场景之后，再结合爬虫思想实现了两款实用工具，自动点赞器与自动签到器，为大家扩展了爬虫编写工具的新思路。本节实验的最后会向大家简单介绍爬虫未来的学习方向。知识点cookie与爬虫实验楼社区点赞器实验楼签到器......
  • 站桩学习整理
    姿势调整由下至上双脚分开，略宽于肩膀，脚尖向前膝盖微曲（方便大腿内侧发力，也能防止盆骨前倾）大腿内侧肌肉收缩（不用太大的力，但是需要收缩）注意盆骨千万不要前倾，胯微下坐，因为膝盖微曲，自然会微微下坐，且大腿内侧用了，会支撑住保持脊柱挺直，在放松的前提下挺到最直，要是用力挺容易累双手......
  • 【机器学习】多变量线性回归
    LinerRegressionwithMultipleVariable用向量实现的代码，单变量和多变量可以共用多变量线性回归相当于是单变量的扩展，主要还是按照模型假设、构造代价函数和研究代价函数的最小值这样的思路展开。与单变量线性回归不同的是，多变量线性回归还可能涉及到特征缩放的问题，主要原因......
  • 【TCP】学习笔记：application/octet-stream
    当浏览器在请求资源时，会通过http返回头中的content-type决定如何显示/处理将要加载的数据，如果这个类型浏览器能够支持阅览，浏览器就会直接展示该资源，比如png、jpeg、video等格式。在某些下载文件的场景中，服务端可能会返回文件流，并在返回头中带上Content-Type:application/octet-st......
  • Python爬虫遇到URL错误解决办法大全
    在进行Python爬虫任务时，遇到URL错误是常见的问题之一。一个错误的URL链接可能导致爬虫无法访问所需的网页或资源。为了帮助您解决这个问题，本文将提供一些实用的解决方法，并给出相关代码示例，希望对您的爬虫任务有所帮助。一、了解URL错误URL错误通常是指所请求的链接无效或无法找到。......
  • Vue的学习笔记
    一、弹窗的初始化1.弹窗打开的时候想要对弹窗进行一些初始化数据（比如从表默认选中第一行），可以用@opened绑定方法进行操作，详见：https://element.eleme.cn/#/zh-CN/component/dialog  二、显示与不显示：v-show视频学习地址（03-key，v-show，computed｜【入门篇】从零开始学习Vue3核......
  • 《VTK学习笔记》-01 VS2017+QT5.14.2+VTK9.2.6 环境搭建
    参考win10下在Qt中使用VTK（安装VS2017+安装QT5.9.9+编译配置VTK8.2.0）_如何在qt中使用vtk_HBybhy的博客-CSDN博客其他问题就不说了，主要是VS打开cmaker编译后的代码，先生成，等待半个小时完成后，选择右击INSTALL-->仅用于项目-->仅生成INSTALL，等进度条走完vtk_res文件夹里出现了一些文件......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99