爬虫利用Xpath解析练习demo

爬取新闻页的简要信息

import requests
from lxml import etree
from lxml.etree import _Element

Base_url = "https://news.cnblogs.com"
Base_path = "/n/page/"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36"
}
# 这里只爬取第一页，可根据实际情况更改
for i in range(1, 2):
    url = f"{Base_url}{Base_path}{i}/"
    with requests.get(url=url, headers=headers) as res:
         # 非正常页面，直接返回状态码
        if res.status_code != 200:
            print(res.status_code)
            break
        
        # 清洗数据
        # 用lxml解析
        root: _Element = etree.HTML(res.content)
        # 取出每条新闻的标签块
        b = root.xpath("//div[@class='news_block']")
        # 遍历 在标签块的基础上查找其他的标签元素
        for ele in b:
            ele: _Element
            print("标题：", ele.xpath(".//h2[@class='news_entry']/a/text()")[0])
            print("作者：", ele.xpath(".//div[@class='entry_footer']/a/text()")[0].strip())
            print("链接：", Base_url + ele.xpath(".//h2[@class='news_entry']/a")[0].get("href"))
            print("发布时间：", ele.xpath(".//div[@class='entry_footer']/span[@class='gray']/text()")[0].strip())
            print("标签：", *[e.strip() for e in ele.xpath(".//div[@class='entry_footer']/span[@class='tag']/a/text()")])
            print(ele.xpath(".//div[@class='entry_footer']/span[@class='view']/text()")[0].strip())
            print("=" * 50)

# 部分打印内容
"""
标题： 马云澳洲见老朋友，43年前曾在西湖边合影
作者： itwriter
链接： https://news.cnblogs.com/n/736836/
发布时间： 2023-02-19 14:02
标签： 马云
33 人浏览
==================================================
标题： 微软必应计划在AI搜索中引入广告模式 或于3月公布细节
作者： itwriter
链接： https://news.cnblogs.com/n/736835/
发布时间： 2023-02-19 13:55
标签： bing
7 人浏览
==================================================
标题： 中国工程院院士王坚：我国已具备支撑ChatGPT发展的算力基础
作者： itwriter
链接： https://news.cnblogs.com/n/736834/
发布时间： 2023-02-19 13:47
标签： 王坚
13 人浏览
==================================================
标题： 微软将把必应聊天回复限制在 5 条以内，以防人工智能越界
作者： itwriter
链接： https://news.cnblogs.com/n/736833/
发布时间： 2023-02-19 13:40
标签： bing
7 人浏览
==================================================
标题： 设计师编辑成ChatGPT用户主力！程序员仅占4.4%
作者： itwriter
链接： https://news.cnblogs.com/n/736832/
发布时间： 2023-02-19 13:35
标签： ChatGPT
9 人浏览
==================================================
"""

学习练习使用，切勿过度爬取