xpath解析

一、xpath语法

• XPath 使用路径表达式来选取HTML/ XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。

二、选取节点

三、路径表达式

四、谓语

• 谓语用来查找某个特定的节点或者包含某个指定的值的节点。
• 谓语被嵌在方括号中。

五、选取未知节点

• 在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：

六、选取若干节点

• 通过在路径表达式中使用"|"运算符，您可以选取若干个路径。

七、代码案例

• 选取某网代码进行抓取相应内容。
• 主要运用的模块。

import requests
from lxml import etree
import json

• 代码示例。

import requests
from lxml import etree
import json
class MouZhan(object):
    def __init__(self,num):
        self.url = f"https://*/{num}"
        self.headers = {
            "*":"*"
        }
    '''发起请求并获取数据'''
    def get_data_index(self):
        resp = requests.get(self.url,headers=self.headers)
        if resp.status_code==200:
            return resp.text
        else:
            return None
    """数据解析"""
    def parse_data_index(self,resp):
        # first 创建对象
        html = etree.HTML(resp)
        # 捕获异常
        try:
            data_list = html.xpath('//ul[@class="cook-list"]//li')

            # 单独拿出每一个数据进行解析
            for data in data_list:
                # 精确提取数据
                title = data.xpath("./a/@title")[0]      # 获取标题
                major = data.xpath("./div/p/text()")[0]     # 获取配料
                score = data.xpath("./div/div/span[2]/text()")[0] # 获取评分

                yield {"标题":title,"配料":major,"评分":score}
        except IndexError:
            pass

    """保存数据"""
    def write_data(self,content):
        with open("文本.txt","a",encoding="utf-8") as f:
            f.write(json.dumps(content,ensure_ascii=False)+'\n')

    """实现整个代码的业务逻辑"""
    def run(self):
        resp = self.get_data_index()
        for data in self.parse_data_index(resp):
            print(data)
            self.write_data(data)

if __name__ == '__main__':
    for num in range(4):
        spider = 某站(num*20)
        spider.run()

八、提取至excel表的方法

• 主要运用的模块

import requests
from lxml import etree
import openpyxl

• 代码实例

import requests
from lxml import etree
import openpyxl
class MouZhan(object):
    def __init__(self,num):
        self.url = f"*/{num}"
        self.headers = {
            "*":"*"
        }
        self.wk = openpyxl.Workbook()
        # 创建一个sheet
        self.sheet = self.wk.create_sheet("文本名",0)
        self.sheet.append(["标题","配料","评分"])

    '''发起请求并获取数据'''
    def get_data_index(self):
        resp = requests.get(self.url,headers=self.headers)
        if resp.status_code==200:
            return resp.text
        else:
            return None
    """数据解析"""
    def parse_data_index(self,resp):
        # first 创建对象
        html = etree.HTML(resp)
        # 捕获异常
        try:
            data_list = html.xpath('//ul[@class="cook-list"]//li')

            # 单独拿出每一个数据进行解析
            for data in data_list:
                # 精确提取数据
                title = data.xpath("./a/@title")[0]      # 获取标题
                major = data.xpath("./div/p/text()")[0]     # 获取配料
                score = data.xpath("./div/div/span[2]/text()")[0] # 获取评分
                data = [title,major,score]
                print(data)
                self.sheet.append(data)
                self.wk.save("文本名.xlsx")

        except IndexError:
            pass

    """实现整个代码的业务逻辑"""
    def run(self):
        resp = self.get_data_index()
        self.parse_data_index(resp)

if __name__ == '__main__':
    for num in range(0,2):
        spider = MouZhan(num*20)
        spider.run()