一、 PyQuery介绍与安装
1、PyQuery简介
PyQuery简介
- PyQuery库也是一个非常强大又灵活的网页解析库，如果你有前端开发经验的，都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择。
-
- 官网地址：http://pyquery.readthedocs.io/en/latest/
- jQuery参考文档：可以用来查找选择器
2、PyQuery的安装
pip install lxml #pyquery依赖于lxml解析库 pip install pyquery
二、 PyQuery的使用
1、初始化工作（会自动补齐不完整html标签）
在解析 HTML 文本的时候，首先需要将其初始化为一个 pyquery 对象。PyQuery的初始化方式有多种：传入字符串、 URL、文件名，等等。
1.1、 字符串初始化
html = '''
<div>
<ul>
<li class="item-0">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
print(doc('li'))
1.2、URL 初始化（初始化的参数还可以传入网页的 URL，此时只需要指定参数为 url 即可）
from pyquery import PyQuery as pq
doc = pq(url='http://www.baidu.com'，encoding="utf-8")
print(doc('title'))
1.3、注意：初始化URL时推荐先使用爬虫库(urllib、resquests)封装URL后再传递给pyquery(爬取数据和解析数据分开)：
from pyquery import PyQuery as pq
import requests
res = requests.get('http://www.baidu.com')
res.encoding="utf-8"
doc = pq(res.text)
print(doc('title'))
1.4、文件初始化（传递一个本地的文件名，参数指定为 filename 即可）
demo.html文件示例：
<div id="container">
<ul class="list">
<li class="item-0">first item</li>
<li class="item-1"><a rel="nofollow" href="link2.html">second item</a></li>
<li id="item-0"><a rel="nofollow" href="link2.html">second item</a></li>
<li class="item-0 active"><a rel="nofollow" href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1 active"><a rel="nofollow" href="link4.html">fourth item</a></li>
<li class="shop"><a rel="nofollow" href="link5.html">fifth item</a></li>
<a rel="nofollow" href="link5.html">te xxx</a>
<p>tet1</p>
<p>tet2</p>
<p>tet3</p>
</ul>
<div>test0001</div>
</div>
from pyquery import PyQuery as pq
doc = pq(filename='demo.html')
print(doc('li'))
2、查找节点
2.1、直接查找节点名
语法：doc("节点名")——通过CSS选择器来获取目标内容（满足CSS语法）。
# 选取class为list的节点
items = doc('.list')
#关联选择符的使用
print(doc("ul li.shop a"))
2.2、使用函数查找嵌套元素（等价于：doc(""),嵌套元素用空格隔开）
- 语法：
doc("节点名").find("节点名") - 注意：find 的查找范围是节点的所有子孙节点，而如果我们只想查找子节点，那可以用 children 方法。
#查找 <ul> 内部的 a 元素
print(doc('ul').find('a'))
print(doc("ul a"))
#查找 <ul> 内的直接子 a 子标签
print(doc('ul').children('a'))
print(doc("ul > a"))
2.3、根据 class、id 筛选指定元素。
- 语法：
doc("节点名").filter()
#查找 class 为 item-1 的 li 元素（）
print(doc('li').filter('.item-1'))
print(doc("li.item-1"))
#查找 id 为 item-0 的 li元素
print(doc('li').filter('#item-0'))
print(doc("li#item-0")
3、遍历
pyquery的选择结果可能是单个节点（可以直接打印输出，也可以直接转成字符串）；
也可能是多个节点，类型都是PyQuery类型，多个结果时所以需要遍历来获取。
这时候需要调用 items() 方法；调用 items 方法后，会得到一个生成器，遍历一下，就可以逐个得到 单节点对象了。
语法：doc("节点名").items()
lis = doc('li').items()
for li in lis:
print(li)
4、获取信息、修改信息
提取到节点之后，我们的最终目的当然是提取节点所包含的信息了。比较重要的信息有两类，一是获取属性，二是获取文本。
4.1、获取、修改文本信息
语法：
doc("节点名").html()——用html()获取HTML文本；
doc("节点名").text()——用text()来获取文本(只返回纯文字内容)。
print(doc('a').text()) #返回所有a标签文本内容
print(doc('a').text("阿里")) #会将所有a标签内容修改为“阿里”
5、获取祖先节点、子孙节点：
#获取祖先节点
# 子节点
items = doc('.list')
lis = items.children()
print(lis)
# class为active的子节点
lis = items.children('.active')
print(lis)
# 父节点
lis = items.parent()
print(lis)
# 祖先节点，如果需要筛选，也可以传入CSS选择器
container = items.parents()
print(container)
# 兄弟节点
lis1 =items.siblings()
print(lis1)
6、节点操作
pyquery 提供了一系列方法来对节点进行动态修改，比如为某个节点添加一个 class，移除某个节点等，这些操作有时会为提取信息带来极大的便利。
li = doc('item-0.active')
#获取元素属性的值
li.attr('href')
# 删除class属性
li.removeClass('active')
# 添加class属性
li.addClass('active')
# 改变属性
li.attr('name', 'link')
# 改变文本内容
li.text(str)
# 改变html
li.html(html)
# 移除指定节点
li.remove()
li.find("a").remove() #移除子节点a标签
7、伪类选择器
# 第一个li节点
li = doc('li:first-hild')
# 最后一个li节点
li = doc('li:last-child')
# 第二个li节点
li = doc('li:nth-child(2)')
# 第三个li之后的li节点
li = doc('li:gt(2)')
# 偶数位置的li节点
li = doc('li:nth-child(2n)')
# 包含second文本的li节点
li = doc('li:contains(second)')
标签：Pyquery,Python,doc,爬虫,li,item,print,PyQuery,节点 From： https://www.cnblogs.com/xfbk/p/16649447.html