XV-Python-requests_html

标签：函数 Python html urlretrieve requests 下载

1.requests_html

1.1.什么是requests_html

1.2.安装与配置

1.3.快速入门

1.4.图片下载

2. 思维导图

1.requests_html

1.1.什么是requests_html

requests_html是一个Python库，用于从Web页面中提取数据。它提供了对HTML内容的解析和处理功能，使您可以轻松地从网页中提取文本、链接、图像和其他元素。

requests_html库建立在另一个流行的Python库requests之上，并使用了lxml来解析HTML。它提供了一种简单而灵活的方法来发送HTTP请求并解析响应中的HTML内容。

使用requests_html，可以发送GET或POST请求，从HTML响应中提取元素，执行JavaScript渲染，处理表单提交，模拟用户与网页的交互等等。它还支持基于CSS选择器和XPath表达式的元素选择，方便地定位和提取特定的网页元素。

1.2.安装与配置

pip install requests-html

1.3.快速入门

使用requests_html模块获取页面中的所有绝对链接的示例代码：

# 创建一个会话
session = requests_html.HTMLSession()
# 起送GET请求并获取页面内容
resp = session.get("https://www.igdcc.com/shouji/katong/") # type: requests_html.HTMLResponse
# 渲染JavaScript
resp.html.render()

# 获取页面中所有的绝对链接
lst = list(resp.html.absolute_links)
print(lst)

因为是第一次使用render函数，需要安装chromium，这里需要花费一定的时间，请耐心等待。

在上述示例中，response.html.absolute_links会返回一个包含页面中所有绝对链接的集合(Set)。可以使用for循环遍历并打印其中的链接。

1.4.图片下载

urllib.request.urlretrieve函数是Python标准库中urllib.request模块提供的一个方法，用于从指定的URL下载文件并保存到本地。

下面是urllib.request.urlretrieve()函数的完整参数说明：

url：必需，要下载的文件的URL地址。
filename：必需，保存文件的本地路径和文件名。如果未指定此参数，则会将文件保存到临时目录中，返回保存的临时文件名。
reporthook：可选，一个回调函数，用于显示下载进度。可以是一个自定义的回调函数，格式为 reporthook(count, blockSize, totalSize)，其中count表示已经下载的数据块数量，blockSize表示每个数据块的大小，totalSize表示要下载的文件的总大小。默认情况下，不会显示下载进度。
data：可选，要发送的额外数据。可以是一个字节流（str或bytes类型）或者一个文件对象。如果指定了此参数，urlretrieve()函数会使用POST请求发送数据。
headers：可选，一个字典类型，表示发送请求时的头部信息。
origin_req_host：可选，字符串类型，表示原始请求的主机名。用于在重定向时设置 Referer 头部。默认情况下，origin_req_host为None。
unverifiable：可选，布尔值，表示请求是否可验证。如果设置为True，则会跳过某些HTTPS验证步骤。默认值为False。

注意：urllib.request.urlretrieve()函数的执行会阻塞当前线程，直到下载完成。

入门案例：

参考地址：卡通4K手机壁纸_高清卡通手机桌面图片_极品桌面

可先通过浏览器的XPath工具方式定位元素具体地址，如下：

基本代码：

# 通过xpath获取页面中满足条件的图片
urls = resp.html.xpath("""//a/img/@data-original""")
for url in urls:
    print(f"正在下载【"+url+"】，请稍等...")
    urllib.request.urlretrieve(url,f"images/{uuid.uuid4()}.jpg")

调用urllib.request.urlretrieve()函数时，可以通过提供一个回调函数来显示下载进度。如下所示：

def show(count, blockSize, totalSize):
    """
    回调函数用于显示下载进度
    :param count: 已经下载的数据块数量
    :param blockSize: 每个数据块的大小
    :param totalSize: 要下载的文件的总大小
    :return:
    """
    percent = round((count * blockSize / totalSize),1) * 100
    print(f"正在下载: {percent}%")
    time.sleep(0.1)
    
# 通过xpath获取页面中满足条件的图片
urls = resp.html.xpath("""//a/img/@data-original""")
for url in urls:
    print(f"正在下载【"+url+"】，请稍等...")
    urllib.request.urlretrieve(url,f"images/{uuid.uuid4()}.jpg",show)

2. 思维导图

----------------------------------------------------------------------------------------♥-------------------------------------------------------------------------------------

往期Python内容：

Ⅸ-Python图形界面（Tkinter）

Ⅹ-Python爬虫使用

Ⅺ-Python正则解析