Python提供了Pywebcopy模块,允许我们将整个网站下载并存储到我们的机器上,包括所有图像,HTML页面和其他文件。在这个模块中,我们有一个函数,即 save_webpage(),它允许我们克隆网页。
安装 pywebcopy 模块
首先,我们必须使用以下代码在 python 环境中安装 pywebcopy 模块。
pip install pywebcopy
成功安装后,我们将得到以下输出 –
Looking in indexes: https://pypi.org/simple, https://us-python.pkg.dev/colab-wheels/public/simple/ Collecting pywebcopy Downloading pywebcopy-7.0.2-py2.py3-none-any.whl (46 kB) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Installing collected packages: pywebcopy Successfully installed pywebcopy-7.0.2
语法
以下是使用 Pywebcopy 模块 save_webpage() 函数的语法。
from pywebpage import save_webpage kwargs = {‘bypass_robots’: True, ‘project_name’:’example’} save_webpage(url,folder,**kwargs)
哪里
-
kwargs 是我们在下载网页时可以使用的可选关键字参数
-
bypass_robots是允许机器人.txt文件与网页一起下载的关键字
-
project_name是下载的网页的名称
-
save_webpage是函数
-
网址是网页的链接。
-
文件夹是我们保存下载文件的位置。
例
下面是一个示例,我们将指定网页 URL、存储文件的位置以及 pywebcopy 模块的 save_webpage() 函数的其他关键字参数,然后定义的网页将以指定的名称保存在定义的位置。
from pywebcopy import save_webpage url = 'https://www.tutorialspoint.com/' folder = 'Desktop/March 2023' kwargs = {'bypass_robots': True, 'project_name': 'sample_webpage'} save_webpage(url, folder, **kwargs) print("webpage saved in the location:",folder)
输出
当我们运行上面的代码时,将生成以下输出 -
webpage saved in the location: Desktop/March 2023
例
让我们再看一个例子——
from pywebcopy import save_webpage url = 'https://www.python.org/' folder = 'Articles/March 2023' kwargs = {'bypass_robots': False, 'project_name': 'webpage'} save_webpage(url, folder, **kwargs) print("webpage saved in the location:",folder)
输出
以下是保存网页的输出。
webpage saved in the location: Articles/March 2023标签:网页,克隆,pywebcopy,python,webpage,kwargs,folder,save From: https://www.cnblogs.com/10zhan/p/17620182.html