Python爬虫
- 掌握 lxml模块中使用xpath语法定位元素提取属性值或文本内容
- 掌握 lxml模块中etree.tostring函数的使用
1. lxml模块的安装与使用示例
lxml模块是一个第三方模块，安装之后使用
1.1 lxml模块的安装
对发送请求获取的xml或html形式的响应内容进行提取
pip/pip3 install lxml知识点：了解 lxml模块的安装
1.2 爬虫对html提取的内容
- 提取标签中的文本内容
- 提取标签中的属性的值
- 比如，提取a标签中href属性的值，获取url，进而继续发起请求
1.3 lxml模块的使用
- 导入lxml 的 etree 库
from lxml import etree - 利用etree.HTML，将html字符串（bytes类型或str类型）转化为Element对象，Element对象具有xpath的方法，返回结果的列表
html = etree.HTML(text)
ret_list = html.xpath("xpath语法规则字符串")- xpath方法返回列表的三种情况
- 返回空列表：根据xpath语法规则字符串，没有定位到任何元素
- 返回由字符串构成的列表：xpath字符串规则匹配的一定是文本内容或某属性的值
- 返回由Element对象构成的列表：xpath规则字符串匹配的是标签，列表中的Element对象可以继续进行xpath
1.4 lxml模块使用示例
运行下面的代码，查看打印的结果
from lxml import etree
text = '''
<div>
<ul>
<li class="item-1">
<a href="link1.html">first item</a>
</li>
<li class="item-1">
<a href="link2.html">second item</a>
</li>
<li class="item-inactive">
<a href="link3.html">third item</a>
</li>
<li class="item-1">
<a href="link4.html">fourth item</a>
</li>
<li class="item-0">
a href="link5.html">fifth item</a>
</ul>
</div>
'''
html = etree.HTML(text)
#获取href的列表和title的列表
href_list = html.xpath("//li[@class='item-1']/a/@href")
title_list = html.xpath("//li[@class='item-1']/a/text()")
#组装成字典
for href in href_list:
item = {}
item["href"] = href
item["title"] = title_list[href_list.index(href)]
print(item)2 练习
将下面的html文档字符串中，将每个class为item-1的li标签作为1条新闻数据。提取a标签的文本内容以及链接，组装成一个字典。
text = ''' <div> <ul>
<li class="item-1"><a>first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</ul> </div> '''- 注意：
- 先分组，再提取数据，可以避免数据的错乱
- 对于空值要进行判断
- 参考代码
from lxml import etree
text = '''- first item
- second item
- third item
- fourth item
- a href="link5.html">fifth item
'''
#根据li标签进行分组 html = etree.HTML(text) li_list = html.xpath("//li[@class='item-1']")
#在每一组中继续进行数据的提取 for li in li_list: item = {} item["href"] = li.xpath("./a/@href")[0] if len(li.xpath("./a/@href"))>0 else None item["title"] = li.xpath("./a/text()")[0] if len(li.xpath("./a/text()"))>0 else None print(item)
------
##### 知识点：掌握 lxml模块中使用xpath语法定位元素提取属性值或文本内容
------
## 10. lxml模块中etree.tostring函数的使用
> 运行下边的代码，观察对比html的原字符串和打印输出的结果
```python
from lxml import etree
html_str = ''' <div> <ul>
<li class="item-1"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</ul> </div> '''
html = etree.HTML(html_str)
handeled_html_str = etree.tostring(html).decode()
print(handeled_html_str)3.1 现象和结论
打印结果和原来相比：
- 自动补全原本缺失的
li标签- 自动补全
html等标签
<html><body><div> <ul>
<li class="item-1"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</li></ul> </div> </body></html>结论：
- lxml.etree.HTML(html_str)可以自动补全标签
lxml.etree.tostring函数可以将转换为Element对象再转换回html字符串- 爬虫如果使用lxml来提取数据，应该以
lxml.etree.tostring的返回结果作为提取数据的依据