如何在 Python 中加载站点的所有资源，包括 AJAX 请求等？

我知道如何使用 Python 请求网站并读取其文本。过去，我曾尝试使用像 BeautifulSoup 这样的库来发出对网站上链接的所有请求，但这并没有得到看起来不像完整 URL 的内容，例如 AJAX 请求和大多数对原始域（因为“ http://example.com ”将丢失，更重要的是，它不是 <a href='url'>Link</a> 格式，所以BeautifulSoup将丢失它）。

如何我用 Python 加载网站的所有资源？它是否需要与 Selenium 之类的东西进行交互，或者是否有一种方法在没有它的情况下也不太难实现？我没怎么用过 Selenium，所以我不确定这会有多困难。

谢谢

是的，你需要像 Selenium 这样能够渲染网页并执行 JavaScript 的工具。标准的 HTTP 库，比如 requests ，只获取初始的 HTML 文档，不会执行 JavaScript 代码，所以你无法获取通过 AJAX 动态加载的内容。

以下是使用 Selenium 获取网站所有资源的基本步骤：

1. 安装 Selenium 和 WebDriver:

pip install selenium

你还需要下载与你的浏览器版本匹配的 WebDriver。例如，如果你使用 Chrome，你需要下载 ChromeDriver。你可以从这里下载： https://chromedriver.chromium.org/downloads

2. 编写 Python 代码:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 指定 WebDriver 的路径
driver_path = '/path/to/your/chromedriver'  # 请替换为你的 ChromeDriver 路径

# 初始化 WebDriver
driver = webdriver.Chrome(executable_path=driver_path)

# 打开目标网页
driver.get('https://www.example.com')

# 等待页面加载完成 (可选，但建议)
# 例如，等待某个元素出现
wait = WebDriverWait(driver, 10)  # 最多等待 10 秒
element = wait.until(EC.presence_of_element_located((By.ID, 'some-element-id')))

# 获取所有资源链接 (包括 AJAX 加载的)
resources = []
for script in driver.find_elements(By.TAG_NAME, 'script'):
    src = script.get_attribute('src')
    if src:
        resources.append(src)

for link in driver.find_elements(By.TAG_NAME, 'link'):
    href = link.get_attribute('href')
    if href:
        resources.append(href)

for img in driver.find_elements(By.TAG_NAME, 'img'):
    src = img.get_attribute('src')
    if src:
        resources.append(src)

# ... 可以添加更多标签，例如 'video', 'audio' 等等

# 打印所有资源链接
for resource in resources:
    print(resource)

# 关闭浏览器
driver.quit()

这段代码会：

1. 初始化 Selenium WebDriver 并打开目标网页。
2. 等待页面加载完成 (可选，但建议)。
3. 找到所有 <script> , <link> , <img> 标签 并获取它们的 src 或 href 属性，这些属性通常指向资源文件。
4. 打印所有资源链接 。

你可以根据需要修改这段代码，例如添加更多标签来获取其他类型的资源，或者使用 requests 库下载这些资源。

注意:

• 使用 Selenium 会比使用 requests 库慢很多，因为它需要打开浏览器窗口并渲染整个页面。
• 一些网站可能会阻止 Selenium 访问，所以你需要采取一些措施来避免被检测到，例如设置 User-Agent。

希望这些信息能帮到你！