标签：常用请求 python urllib3 urllib2 urllib re 字符串

一、python爬虫常用库

Python 在编写网络爬虫常用到库主要包括urllib、requests、lxml、fake-useragent、bs4(BeautifulSoup)、grab、pycurl、urllib3、httplib2、RoboBrowser 、MechanicalSoup、mechanize、socket、Unirest for Python、hyper、PySocks、treq、aiohttp等。

1、请求库：实现 HTTP 请求操作

urllib：一系列用于操作URL的功能。
requests：基于 urllib 编写的，阻塞式 HTTP 请求库，发出一个请求，一直等待服务器响应后，程序才能进行下一步处理。
selenium：自动化测试工具。一个调用浏览器的 driver，通过这个库你可以直接调用浏览器完成某些操作，比如输入验证码。
aiohttp：基于 asyncio 实现的 HTTP 框架。异步操作借助于 async/await 关键字，使用异步库进行数据抓取，可以大大提高效率。

2、解析库：从网页中提取信息

beautifulsoup：html 和 XML 的解析,从网页中提取信息，同时拥有强大的API和多样解析方式。
pyquery：jQuery 的 Python 实现，能够以 jQuery 的语法来操作解析 HTML 文档，易用性和解析速度都很好。
lxml：支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高。
tesserocr：一个 OCR 库，在遇到验证码（图形验证码为主）的时候，可直接用 OCR 进行识别。

3、存储库：Python 与数据库交互

pymysql：一个纯 Python 实现的 MySQL 客户端操作库。
pymongo：一个用于直接连接 mongodb 数据库进行查询操作的库。
redisdump：一个用于 redis 数据导入/导出的工具。基于 ruby 实现的，因此使用它，需要先安装 Ruby。

4、爬虫框架

Scrapy：很强大的爬虫框架，可以满足简单的页面爬取（比如可以明确获知url pattern的情况）。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面，如 weibo 的页面信息，这个框架就满足不了需求了。
Crawley：高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为 JSON、XML 等。
Portia：可视化爬取网页内容。
newspaper：提取新闻、文章以及内容分析。
python-goose：java 写的文章提取工具。
cola：一个分布式爬虫框架。项目整体设计有点糟，模块间耦合度较高。

5、Web 框架库

flask：轻量级的 web 服务程序，简单，易用，灵活，主要来做一些 API 服务。做代理时可能会用到。
django：一个 web 服务器框架，提供了一个完整的后台管理，引擎、接口等，使用它可做一个完整网站。

6、Re库的基本使用

Re库是Python的标准库，主要用于字符串匹配。

（1）调用方式

import re

（2）正则表达式的表示类型：

raw string类型（原生字符串类型）

re库采用raw string类型表示正则表达式，表示为：r'text'
例如：r'[1-9]\d{5}'
raw string是指不包含转义符的字符串

string类型，更繁琐

例如：'[1-9]\\d{5}'；'\\d{3}-\\d{8}|\\d{4}-\\d{7}'

当正则表达式包含转义符时，建议使用raw string类型来表示正则表达式。

（3）Re库主要功能函数

re.search()：在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象
re.match()：从一个字符串的开始位置起匹配正则表达式，返回match对象
re.findall()：搜索字符串，以列表类型返回全部能匹配的字符串
re.split()：将一个字符串按照正则表达式匹配结果进行分割，返回列表类型
re.finditer()：搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象
re.sub()：在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串
re.compile() ：返回的是一个匹配对象，它单独使用就没有任何意义，需要和findall(), search(), match(）搭配使用。

二、 urllib库

一系列用于操作URL的功能。

1、urllib各版本库介绍

urllib、urllib2、urllib3均能通过网络访问互联网上的资源文件，它们通过使用统一资源定位符（URL）并结合re模块完成很多意想不到的操作。

urllib：Python2和Python3内置的网络请求库，Python3的urllib实际是Python2版本中urllib2和urllib的合并
urllib2：它只存在于Python2版本的内置库中，功能与urllib基本类似，主要上urllib的增强
urllib3：Python2和Python3均可以使用，但这不是标准库，需要使用pip安装使用，urllib3提供了线程安全池和文件post等

注意: 在Python2中urllib和urllib2一般搭配使用的（不然Python2整两个内置库干嘛），urllib具有urllib2没有的功能，而urllib2具有urllib没有的功能。

2、安装urllib3库

如果需要可以安装第三方库urllib3，命令如下：

pip install urllib3

3、urllib的使用

urllib这个Python标准库基本上包含了基础的网络请求功能，以下urllib的演示均为Python3中的用法，Python2中单独用urllib会比较难受，上面也提到了它最好配合urllib2一起使用。

（1）urllib发起GET请求

urlopen()方法发起请求，read()方法获取网页数据

from urllib import request
res = request.urlopen("http://httpbin.org/get")
print(res.read().decode())  # red()方法读取的数据是bytes的二进制格式，需要解码

（2）urllib发起POST请求

urlopen()默认是GET方式请求，当传入data参数时会发起POST请求，此时传递的参数必须时bytes格式

urllib为请求添加Headers
urllib制定proxy代理
urllib下载数据至本地

标签：常用,请求,python,urllib3,urllib2,urllib,re,字符串
From： https://www.cnblogs.com/qtiger/p/16803009.html

python常用库