标签：常用 HTTP Python re 字符串解析正则表达式

一、python爬虫常用库

Python 在编写网络爬虫常用到库主要包括urllib、requests、lxml、fake-useragent、bs4(BeautifulSoup)、grab、pycurl、urllib3、httplib2、RoboBrowser 、MechanicalSoup、mechanize、socket、Unirest for Python、hyper、PySocks、treq、aiohttp等。

1、请求库：实现 HTTP 请求操作

urllib：一系列用于操作URL的功能。
requests：基于 urllib 编写的，阻塞式 HTTP 请求库，发出一个请求，一直等待服务器响应后，程序才能进行下一步处理。
selenium：自动化测试工具。一个调用浏览器的 driver，通过这个库你可以直接调用浏览器完成某些操作，比如输入验证码。
aiohttp：基于 asyncio 实现的 HTTP 框架。异步操作借助于 async/await 关键字，使用异步库进行数据抓取，可以大大提高效率。

2、解析库：从网页中提取信息

beautifulsoup：html 和 XML 的解析,从网页中提取信息，同时拥有强大的API和多样解析方式。
pyquery：jQuery 的 Python 实现，能够以 jQuery 的语法来操作解析 HTML 文档，易用性和解析速度都很好。
lxml：支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高。
tesserocr：一个 OCR 库，在遇到验证码（图形验证码为主）的时候，可直接用 OCR 进行识别。

3、存储库：Python 与数据库交互

pymysql：一个纯 Python 实现的 MySQL 客户端操作库。
pymongo：一个用于直接连接 mongodb 数据库进行查询操作的库。
redisdump：一个用于 redis 数据导入/导出的工具。基于 ruby 实现的，因此使用它，需要先安装 Ruby。

4、爬虫框架

Scrapy：很强大的爬虫框架，可以满足简单的页面爬取（比如可以明确获知url pattern的情况）。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面，如 weibo 的页面信息，这个框架就满足不了需求了。
Crawley：高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为 JSON、XML 等。
Portia：可视化爬取网页内容。
newspaper：提取新闻、文章以及内容分析。
python-goose：java 写的文章提取工具。
cola：一个分布式爬虫框架。项目整体设计有点糟，模块间耦合度较高。

5、Web 框架库

flask：轻量级的 web 服务程序，简单，易用，灵活，主要来做一些 API 服务。做代理时可能会用到。
django：一个 web 服务器框架，提供了一个完整的后台管理，引擎、接口等，使用它可做一个完整网站。

6、Re库的基本使用

Re库是Python的标准库，主要用于字符串匹配。

（1）调用方式

import re

（2）正则表达式的表示类型：

raw string类型（原生字符串类型）

re库采用raw string类型表示正则表达式，表示为：r'text'
例如：r'[1-9]\d{5}'
raw string是指不包含转义符的字符串

string类型，更繁琐

例如：'[1-9]\\d{5}'；'\\d{3}-\\d{8}|\\d{4}-\\d{7}'

当正则表达式包含转义符时，建议使用raw string类型来表示正则表达式。

（3）Re库主要功能函数

re.search()：在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象
re.match()：从一个字符串的开始位置起匹配正则表达式，返回match对象
re.findall()：搜索字符串，以列表类型返回全部能匹配的字符串
re.split()：将一个字符串按照正则表达式匹配结果进行分割，返回列表类型
re.finditer()：搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象
re.sub()：在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串
re.compile() ：返回的是一个匹配对象，它单独使用就没有任何意义，需要和findall(), search(), match(）搭配使用。

实现 HTTP 请求操作。

1、urllib库

一系列用于操作URL的功能。

（1）安装

requests：基于 urllib 编写的，阻塞式 HTTP 请求库，发出一个请求，一直等待服务器响应后，程序才能进行下一步处理。
selenium：自动化测试工具。一个调用浏览器的 driver，通过这个库你可以直接调用浏览器完成某些操作，比如输入验证码。
aiohttp：基于 asyncio 实现的 HTTP 框架。异步操作借助于 async/await 关键字，使用异步库进行数据抓取，可以大大提高效率。

标签：常用,HTTP,Python,re,字符串,解析,正则表达式
From： https://www.cnblogs.com/qtiger/p/16802017.html

Python常用库