标签：https 十周年 url request 抓取 urllib json file 壁纸

三国杀壁纸抓取

创建时间：2024年3月5日

背景

在一段时间里，我沉迷于三国杀手游。为此，我特意找到了一个专门抓取壁纸的网站。

先看效果

抓取思路分析

首先肯定是先找到需要抓取的网站： https://www.sanguosha.com/msgs/mWallPaper 
在页面上看到查看更多，然后使用F12 去查看这个翻页的规律

点击查看更多后可以看到是一个post的请求ajax
我们复制该地址在浏览器查看规律是不是我们想的那样？第二页就是在后面加一个cur/2
第3页就是在后面加一个cur/3

显示编码为utf-8.后续用到解析我们的title

修改为1的时候和不添加该参数的页面显示是一样的

修改为2,3,4的时候和不添加该参数的页面显示是不一样的，这个类似与一个json的东西，我们可以将保存下来然后进行提取链接和链接的名字。就可以拿到我们的图片了
随便在网上找一个工具  ----->  https://www.json.cn/
查看下这个文本的数据能否是正常的。-----》观察我们可以得出该title需要编码格式去解析。

展现完整的代码

import json
import os
import urllib.request
from io import StringIO

from lxml import etree

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
                  "Chrome/115.0.0.0 Safari/537.36"}

folder = './sgs10th/'
URL = "https://www.sanguosha.com/msgs/mWallPaper"
start_page = 1
end_page = 7
if not os.path.exists(folder):
    os.makedirs(folder)

for page in range(start_page, end_page + 1):
    if page == 1:
        request_first = urllib.request.Request(url=URL, headers=headers)
        response = urllib.request.urlopen(request_first)
        content_first = response.read().decode("utf-8")
        num = 0
        tree = etree.HTML(content_first)
        # https_list = tree.xpath("/html/body/div[1]/div/div//@href")
        https_list = tree.xpath("//div[@class='galary_wrapper']/a/@href")
        # print(https_list)
        for i in range(len(https_list)):
            url = https_list[i]
            num += 1
            urllib.request.urlretrieve(url=url, filename=f"{folder}" + "00" + str(num) + ".jpg")
    else:
        url = URL + "/cur/" + str(page)
        print(url)
        request = urllib.request.Request(url=url, headers=headers)
        response = urllib.request.urlopen(request)
        content = response.read().decode("utf-8")
        # print(content)
        #
        # with open(f"{folder}sgs10th.json", "w", encoding="utf-8") as file:
        #     file.write(content)
        # json_file = json.load(open(f"{folder}sgs10th.json", "r", encoding="utf-8"))
        # # print(json_file)
        # for i in range(len(json_file)):
        #     https_data = json_file[i]["imgurl"]
        #     name = json_file[i]["title"].replace("*", "-")
        #     urllib.request.urlretrieve(url=https_data, filename=f"{folder}" + name + ".jpg")
        json_file = StringIO()
        json_file.write(content)
        json_file.seek(0)
        json_data = json.load(json_file)
        for i in range(len(json_data)):
            https_data = json_data[i]["imgurl"]
            name = json_data[i]["title"].replace("*", "-")
            urllib.request.urlretrieve(url=https_data, filename=f"{folder}" + name + ".jpg")
        json_file.close()

下面我们的代码分段解释

0.参数、导包、地址

import json
import os
import urllib.request
from io import StringIO

from lxml import etree

headers = { # 请求头
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
                  "Chrome/115.0.0.0 Safari/537.36"}

folder = './sgs10th/' # 存储的文件夹
URL = "https://www.sanguosha.com/msgs/mWallPaper" # 抓取的URL地址
start_page = 1 # 开始页
end_page = 2 # 结束页
if not os.path.exists(folder): # 判断是否存在，不存在则创建
    os.makedirs(folder)

1.页面1需要特殊处理

for page in range(start_page, end_page + 1):
    if page == 1:
        request_first = urllib.request.Request(url=URL, headers=headers) # 使用urllib请求，创建一个请求对象
        response = urllib.request.urlopen(request_first)
        content_first = response.read().decode("utf-8")
        num = 0 # 编号
        tree = etree.HTML(content_first) # 使用过etree解析
        # https_list = tree.xpath("/html/body/div[1]/div/div//@href") # 也可使用
        https_list = tree.xpath("//div[@class='galary_wrapper']/a/@href") # 使用xpath解析
        # print(https_list) # 链接列表
        for i in range(len(https_list)):
            url = https_list[i]
            num += 1
            urllib.request.urlretrieve(url=url, filename=f"{folder}" + "00" + str(num) + ".jpg") # 抓取的保存在地址并取名字，使用urlretrieve下载数据

该页面是没有我们前面提到的ajax返回的文本，所以没有我们的标题。标题按照序号进行排序

2.其余ajax请求处理

else:
    url = URL + "/cur/" + str(page)# 按照我们需要的页面进行的拼接链接
    print(url)
    request = urllib.request.Request(url=url, headers=headers) # 创建一 个请求对象
    response = urllib.request.urlopen(request)  # 使用请求对象取服务器请求资料
    content = response.read().decode("utf-8") # 设置编码格式
# -------------------
    # print(content)
    #
    # with open(f"{folder}sgs10th.json", "w", encoding="utf-8") as file:
    #     file.write(content) # 将文本内容保存到我们的json文件中
    # json_file = json.load(open(f"{folder}sgs10th.json", "r", encoding="utf-8")) # 读取文件
    # # print(json_file)
    # for i in range(len(json_file)): # 找到地址链接进行访问下载
    #     https_data = json_file[i]["imgurl"]
    #     name = json_file[i]["title"].replace("*", "-")
    #     urllib.request.urlretrieve(url=https_data, filename=f"{folder}" + name + ".jpg")
    #
# -------------------
    json_file = StringIO()# 使用内存创建一个变量
    json_file.write(content) # 写入内容
    json_file.seek(0) # 指针到最前面，以便于后面进行处理
    json_data = json.load(json_file) # 使用json库加载我们的数据
    # print(json_data)
    for i in range(len(json_data)):
        https_data = json_data[i]["imgurl"]
        name = json_data[i]["title"].replace("*", "-")
        # print(name)
        urllib.request.urlretrieve(url=https_data, filename=f"{folder}" + name + ".jpg")
    json_file.close() # 关闭内存在用的变量
# -------------------------

序号之内可以相互替换，然后区别是一个是内存占用，一个是将文件先保存到本地的json文件格式后然后进行我们的链接处理，

3.结果

4.下载的图片和代码如下链接

链接：https://pan.baidu.com/s/10xbdimjtMgW-F46hugiizA?pwd=jixj 
提取码：jixj 
--来自百度网盘超级会员V6的分享

总结

这个抓取程序利用urllib.request.urlopen来访问网页，并使用json来解析Ajax请求所返回的数据。此外，它还采用etree解析库，结合XPath表达式，对网页内容进行高效提取。对于具体的数据文件，程序使用urllib.request.urlretrieve进行下载。值得学习。

标签：https,十周年,url,request,抓取,urllib,json,file,壁纸
From： https://www.cnblogs.com/suifeng2000/p/18588516

三国杀十周年壁纸抓取