解析库之lxml

etree解析html

解析html字符串，将字符串传递给etree.HTML()方法：

解析html文件，传递文件路径和解析器：

xpath方法

html.xpath()方法参数为xpath规则，选取html中的元素，返回为封装好的element对象

注意：xpath按次序选择，次序从1开始

示例：

s = '''<div>
<ul>
<li class="item-0"><a href="link1.html"><span>first item</span></a></li>
<li class="item-1"><a href="link2.html"> second item</a></li>
<li class="item-inactive item-2" name="abc"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="links.html">fifth item</a></li>
</ul> '''
html = etree.HTML(s)
result = etree.tostring(html)
print(result.decode('utf-8'))
print(html.xpath('//li/a'))
# 特定节点父结果的class属性
print(html.xpath('//a[@href="link4.html"]/../@class'))
print(html.xpath('//li[@class="item-1"]'))

# 元素内容
print(html.xpath('//li[@class="item-1"]/a/text()'))

# 多值属性无法只用一个值来确定元素，需要使用contains内置方法
print(html.xpath('//li[@class="item-2"]'))
print(html.xpath('//li[contains(@class,"item-2")]/a/text()'))

# 多个属性确定一个元素用and连接
print(html.xpath('//li[contains(@class,"item-inactive") and @name="abc"]'))

# 按次序选取
print(html.xpath('//li[1]/a/span/text()'))
print(html.xpath('//li[last()]/a/text()'))
print(html.xpath('//li[position()<3]/a/text()'))
print(html.xpath('//li[last()-2]/a/text()'))

# 节点轴选取
# 祖先节点轴
print(html.xpath('//li[1]/ancestor::*'))
print(html.xpath('//li[1]/ancestor::div'))
# 属性轴
print(html.xpath('//li[1]/attribute::*'))
# 直接子节点轴
print(html.xpath('//li[1]/child::a[@href="link1.html"]'))
# 子孙节点轴
print(html.xpath('//li[1]/descendant::span'))
# 当前节点之后的所有节点轴
print(html.xpath('//li[1]/following::*[2]'))
# 当前节点之后的同级节点轴
print(html.xpath('//li[1]/following-sibling::*'))

结果如下：