1 xpath安装与使用
安装
-
安装lxml库
pip install lxml -i pip源
2 解析流程与使用
解析流程
- 实例化一个etree的对象，把即将被解析的页面源码加载到该对象
- 调用该对象的xpath方法，结合着不同形式的xpath表达，进行标签定位和数据提取
使用
# 导入lxml.etree
from lxml import etree
### 1 实例化etree对象，得到解析后的 html结构字符串
# 1.解析本地html文件
html_tree = etree.parse('XXX.html', etree.HTMLParser())
# 注意：如果lxml解析本地HTML文件报错，可指定解析器参数
html_tree = etree.parse('search.html',etree.HTMLParser())
parser = etree.HTMLParser(encoding="utf-8")
html_tree = etree.parse('XXX.html',parser=parser) # 或者这个
result = etree.tostring(html_tree)
# 2.解析网络的html字符串 常用
html_tree = etree.HTML(html字符串)
### 2 使用xpath语法，匹配html结构字符串
# 使用 .xpath() 查询信息，返回一个列表，包含 匹配到的 元素对象
a_元素对象 = html_tree.xpath(xpath表达式)
### 3 使用 etree.tostring(元素对象)，将xpath的元素对象，转成可见的字符串
res = etree.tostring(a_元素对象[0], encoding='UTF-8').decode('UTF-8')
3 xpath语法
XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航
更清晰的案例 见：爬虫04--selenium库、打码平台、Xpath语法
3.1 路径表达式
| 表达式 | 描述 |
|---|---|
| / | 从根节点选取 取子节点 |
| // | 从匹配选择的当前节点，选择文档中的节点，而不考虑它们的位置 取子孙节点 |
| ./ | 当前节点，再次进行xpath 取当前节点下的子节点 |
| @ | 选取属性 |
实例
| 路径表达式 | 结果 |
|---|---|
| /html | 选取根元素 bookstore。注释：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！ |
| //li | 选取所有li 子元素，而不管它们在文档中的位置 |
| //ul//li | 选择属于 ul元素的后代的所有 li元素，而不管它们位于 ul之下的什么位置 |
| 节点对象.xpath('./div') | 选择该节点对象，里面的第一个div节点 |
| //@href | 获取 href属性 的值 |
3.2 谓语（Predicates）
谓语用来查找某个特定的节点或者包含某个指定的值的节点
谓语被嵌在方括号中
实例
| 路径表达式 | 结果 |
|---|---|
| /ul/li[1] | 选取属于 ul子元素的第一个 li元素 |
| /ul/li[last()] | 选取属于 ul子元素的最后一个 li元素 |
| /ul/li[last()-1] | 选取属于 ul子元素的倒数第二个 li元素 |
| //ul/li[position()❤️] | 选取最前面的两个属于 ul元素的子元素的 li元素 |
| //a[@title] | 选取所有拥有名为 title的属性的 a元素 |
| //a[@title='xx'] | 选取所有 a元素，且这些元素拥有值为 xx的 title属性 |
//a[@title>10] > < >= <= != |
选取 a元素的所有 title元素，且其中的 title元素的值须大于 10 |
| /bookstore/book[price>35.00]/title | 选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00 |
3.3 选取未知节点
XPath 通配符可用来选取未知的 XML 元素
| 通配符 | 描述 |
|---|---|
| * | 匹配任何元素节点。 一般用于浏览器copy xpath会出现 |
| @* | 匹配任何属性节点 |
| node() | 匹配任何类型的节点 |
实例
| 路径表达式 | 结果 |
|---|---|
| /ul/* | 选取 bookstore 元素的所有子元素 |
| //* | 选取文档中的所有元素 |
| //title[@*] | 选取所有带有属性的 title 元素 |
| //node() | 获取所有节点 |
3.4 选取若干路径
通过在路径表达式中使用“|”运算符，可以选取若干个路径
实例
| 路径表达式 | 结果 |
|---|---|
| //book/title | //book/price | 选取 book 元素的所有 title 和 price 元素 |
| //title | //price | 选取文档中的所有 title 和 price 元素 |
| /bookstore/book/title | //price | 选取属于 bookstore 元素的 book 元素的所有 title 元素，以及文档中所有的 price 元素 |
4 查询示例
4.1 逻辑运算
-
查找所有id属性等于head并且class属性等于s_down的div标签
//div[@id="head" and @class="s_down"] -
选取文档中的所有 title 和 price 元素。
//title | //price注意: “|”两边必须是完整的xpath路径
4.2 属性查询
-
查找所有包含id属性的div节点
//div[@id] -
//@attrName=值的标签
//div[@id="maincontent"] # 查找所有id属性等于maincontent的div标签 //li[@name="xx"]//text() # 获取li标签name为xx的里面的文本内容 -
查找所有的class属性值
//div/@class
4.3 位置查询
-
获取第几个标签 索引从1开始
tree.xpath('//li[1]/a/text()') # 获取第一个 tree.xpath('//li[last()]/a/text()') # 获取最后一个 tree.xpath('//li[last()-1]/a/text()') # 获取倒数第二个
4.4 模糊查询
-
查询所有id属性中包含he的div标签
//div[contains(@id, "he")] # 多属性匹配 class为li 或者 name为items的a标签 //body//a[contains(@class,"li") or @name="items"] # class为li 并且 name为items的a标签 //body//a[contains(@class,"li") and @name="items"] -
查询所有id属性中包以he开头的div标签
//div[starts-with(@id, "he")]
4.5 内容查询
-
查找所有div标签下的直接子节点h1的内容
//div/h1/text() -
属性值获取
//div/a/@href # 获取a里面的href属性值 -
获取所有
//* #获取所有 //*[@class="xx"] # 获取所有class为xx的标签 -
获取节点内容转换成字符串
c = tree.xpath('//li/a')[0] result=etree.tostring(c, encoding='utf-8') print(result.decode('UTF-8'))