爬虫网页解析方法1:bs4
#导入
from bs4 import BeautifulSoup
#创建一个解析对象, page_text是网络请求到的页面源码数据
soup = BeautifulSoup(page_text,'lxml')
#调用BeautifulSoup相关属性和方法进行数据提取
#标签定位-方式1: soup.tagName(只可以定位到第一次出现的该标签)
title_tag = soup.title
p_tag = soup.p#标签定位-方式2(属性定位): soup.find(tagName,attrName='value')
#注意:find只可以定位满足要求的第一个标签,如果使用class属性值的话,find参数class_
#定位到了class属性值为song的div标签
div_tag = soup.find('div',class_='song')
#定位到class属性值为du的a标签
a_tag = soup.find('a',class_='du')
#定位到了id的属性值为feng的a标签
a_tag = soup.find('a',id='feng')#标签定位-方式3(属性定位): soup.find_all(tagName,attrName='value')
#注意:find_all可以定位到满足要求的所有标签
tags = soup.find_all('a',class_='du')
#标签定位-方式4(选择器定位):--常用的选择器:class选择器(.class属性值) id选择器(#id的属性值)
tags = soup.select('#feng') #定位到id的属性值为feng对应的所有标签
tags = soup.select('.du') #定位到class属性值为du对应的所有标签
#层级选择器:>表示一个层级 一个空格可以表示多个层
tags = soup.select('.tang > ul > li > a')
tags = soup.select('.tang a')
#定位到标签内部数据的提取
#方式1:提取标签内的文本数据
#tag.string:只可以将标签直系的文本内容取出
#tag.text:可以将标签内部所有的文本内容取出
tag = soup.find('a',id='feng')
content = tag.stringdiv_tag = soup.find('div',class_='tang')
content = div_tag.text#方式2:提取标签的属性值 tag['attrName']
img_tag = soup.find('img')
img_src = img_tag['src']
print(img_src)
爬虫网页解析方法2:xpath
标签:xpath,bs4,标签,soup,tag,div,解析,class From: https://blog.csdn.net/palmer0/article/details/137345521#导入
from lxml import etree
#创建解析对象
tree = etree.parse('test.html')
#调用etree对象的xpath方法结合着不同形式的xpath表达式,进行标签定位和数据提取
#xpath函数返回的是列表,列表中存储的是满足定位要求的所有标签
#/html/head/title定位到html下面的head下面的title标签
title_tag = tree.xpath('/html/head/title')
#//title在页面源码中定位到所有的title标签
title_tag = tree.xpath('//title')
#属性定位
#定位到所有的div标签
div_tags = tree.xpath('//div')
#定位到class属性值为song的div标签 //tagName[@attrName='value']
div_tag = tree.xpath('//div[@class="song"]')
#索引定位://tag[index]
#注意:索引是从1开始的
div_tag = tree.xpath('//div[1]')
#层级定位
# /表示一个层级 //表示多个层级
a_list = tree.xpath('//div[@class="tang"]/ul/li/a')
a_list = tree.xpath('//div[@class="tang"]//a')#数据提取
#1.提取标签中的文本内容:/text()取直系文本 //text()取所有文本
a_content = tree.xpath('//a[@id="feng"]/text()')[0]
div_content = tree.xpath('//div[@class="song"]//text()')
#2.提取标签的属性值://tag/@attrName
img_src = tree.xpath('//img/@src')[0]