记录使用bs4解析网页的基本方法，，完整使用文档可见bs4使用文档
安装bs4
pip install bs4
创建beautifulSoup对象
from bs4 import BeautifulSoup
soup = BeautifulSoup(open("index.html"))
soup = BeautifulSoup("<html>data</html>")
soup = BeautiFulSouo(res)
可以传入字符串，文件句柄，或者爬取的res对象
解析
以下面这段文档作为例子：
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
直接使用soup
soup对象的操作方式和字典类似
soup.head
# <head><title>The Dormouse's story</title></head>
soup.title
# <title>The Dormouse's story</title>
soup.body.b
# <b>The Dormouse's story</b>
- 使用
.string获取直系文本 - 使用
.strings配合for获取所有文本 - 输出的字符串中可能包含了很多空格或空行,使用
.stripped_strings可以去除多余空白内容 - 直接
.属性即可获得对应属性值 - 使用或
.title获取标签名 - 使用
.标签名获取的这个标签仍然是soup对象
使用find_all（find）
find_all查找符合条件的所有标签，返回标签列表，find只查找第一个
使用单参数过滤器
find_all(name=) 这里的name是过滤器可以有非常多类型
- 字符串
soup.find_all('b')
# [<b>The Dormouse's story</b>]
- 正则表达式
for tag in soup.find_all(re.compile("t")):
print(tag.name)
# html
# title
- 列表
soup.find_all(["a", "b"])
# [<b>The Dormouse's story</b>,
# <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
# <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
- bool值 当传入TRUE时，会返回所有找到的值
- 函数 用法和bool值类似，可以自行构建函数，函数接收一个标签对象，当函数最终返回True时，该标签将被选中
#下面方法校验了当前元素,如果包含 class 属性却不包含 id 属性,那么将返回 True:
def has_class_but_no_id(tag):
return tag.has_attr('class') and not tag.has_attr('id')
soup.find_all(has_class_but_no_id)
# [<p class="title"><b>The Dormouse's story</b></p>,
# <p class="story">Once upon a time there were...</p>,
# <p class="story">...</p>]
使用属性名作为函数参数名
soup.find_all(href=re.compile("elsie"))
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]
可以使用多个
soup.find_all(href=re.compile("elsie"), id='link1')
# [<a class="sister" href="http://example.com/elsie" id="link1">three</a>]
class属性使用class_
soup.find_all("a", class_="sister")
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
# <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
所有等于号右边都可以填入单参数中的所有类型 函数有一些自带的参数
find_all( name , attrs , recursive , string , **kwargs )
name:就是单参数中的参数名attrs:接收字典类型的过滤soup.find_all("a", attrs={"class": "sister"})limit:设定需要的个数，找到需要的数量后将停止查找recursive：设定是否查找所有子节点 T：默认，查找所有子节点，F：只查找直系节点
值得注意的是，由于find_all使用过于频繁，tag对象中集成了所有find_all方法，因此你可以直接对tag对象使用find_all的方法
#两行代码是等价的
soup.find_all("a")
soup("a")
#这两行代码也是等价的:
soup.title.find_all(string=True)
soup.title(string=True)