Python 抓取 urllib2 HTTP 错误

我正在尝试抓取一个网站，但我的代码仅在我打开该网站然后刷新它时才有效。我尝试了多种方法，但不断出现以下两个错误： 第一个：ValueError：“HTTPError：HTTP错误416：请求的范围无法满足”

urlslist = open("list_urls.txt").read()
urlslist = urlslist.split("\n")
for urlslist in urlslist:

htmltext = urllib2.urlopen("www..."+ urlslist)
data = json.load(htmltext)

我也尝试过使用一些标头等，但收到错误“ValueError：无法解码JSON对象”：

req = urllib2.Request('https://www....)
req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36')

htmltext = urllib2.urlopen(req)
data = json.load(htmltext)

我被难住了，有什么帮助吗？

当然，我可以帮助解决使用 Python 和 urllib2 进行网页抓取时遇到的问题。看起来遇到了“HTTP 错误 416：请求的范围无法满足”和“ValueError：无法解码 JSON 对象”错误。让我们分解一下这些错误以及如何解决它们。

1. HTTP 错误 416：请求的范围无法满足

此错误表示的请求中发送的“Range”标头与服务器可以或愿意返回的内容不匹配。这在处理下载文件或流式传输数据时更为常见，而不是在抓取典型的网页时。

• 是否尝试下载或流式传输内容？ 如果是，可能需要检查请求中发送的“Range”标头，并确保它在服务器的预期范围内。
• 是否在循环或使用同一连接发出多个请求？ 服务器可能不支持持久的“Range”请求。尝试删除任何“Range”标头，或为每个请求使用新的连接。

鉴于提到的代码，似乎并没有明确使用“Range”标头。这可能暗示问题出在尝试抓取的网站，或者它如何处理机器人流量。

2. ValueError：无法解码 JSON 对象

此错误表明 json.load(htmltext) 收到的数据不是有效的 JSON 格式。

• 确定目标 URL 返回的是 JSON 数据吗？ 在浏览器中打开 URL 并检查源代码。它应该是结构化的数据，而不是 HTML 或 XML。
• 网站是否可能发送了需要处理的额外数据或错误消息？ 在尝试将其解析为 JSON 之前，打印 htmltext.read() 的输出以检查其内容。

以下是改进代码的一些技巧：

import urllib2
import json

urlslist = open("list_urls.txt").read().splitlines()

for url in urlslist:
    try:
        req = urllib2.Request(url)
        req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36') 

        response = urllib2.urlopen(req)

        # 检查状态码是否指示成功（200 OK）
        if response.getcode() == 200:
            htmltext = response.read()

            try:
                data = json.loads(htmltext)
                # 处理 JSON 数据
                print(data) 
            except ValueError as e:
                print(f"错误：无法解析 JSON 数据 - {e}")
                print(htmltext) # 打印非 JSON 数据以进行调试
        else:
            print(f"错误：HTTP 状态码 - {response.getcode()}")

    except urllib2.URLError as e:
        print(f"错误：无法抓取 URL - {url} - {e}")

说明：

• 错误处理： 该代码包含 try...except 块来捕获 urllib2.URLError （用于网络问题）和 ValueError （用于 JSON 解析问题）。这有助于识别和调试问题。
• 用户代理： User-Agent 标头已更新为更像浏览器，这有时可以帮助避免网站阻止。
• 状态码检查： 在尝试解析 JSON 之前，代码现在会检查 HTTP 状态码 200 （成功）。

如果在进行这些更改后仍然遇到问题，请提供尝试抓取的特定 URL 和可能遇到的任何特定错误消息，以便我提供更具体的帮助。