解决 Scrapy 中的首次默认数据重复问题

Scrapy 是一个强大的 Python 爬虫框架，广泛应用于抓取网页内容并进行数据提取。虽然 Scrapy 自带了强大的去重机制，但在某些情况下，尤其是当你通过 start_urls 发起请求时，可能会遇到首次默认数据重复的问题。

1. Scrapy 默认的去重机制

Scrapy 有一个内建的去重机制，会对所有请求 URL 进行去重，从而避免抓取重复的数据。默认情况下，Scrapy 使用请求 URL 的哈希值来判定是否为重复请求。如果请求 URL 的哈希值已经存在于去重列表中，Scrapy 会跳过该请求。

然而，这种去重机制有时会受到配置或者代码实现的影响，导致某些情况下仍然出现重复请求。让我们看一下如何解决这些问题。

2. 问题描述

假设你正在使用 Scrapy 爬取一个网站，在爬虫的 start_urls 中定义了初始的 URL 列表：

start_urls = ["https://www.kugou.com/mvweb/html/"]

在 parse 方法中，处理这个页面后，你从页面中提取出了一些链接并发起了新的请求：

def parse(self, response):

    urls = response.xpath('//* [@id="radioList"]/dl/dd/a/@href').getall()）

    for url in urls:

        url = response.urljoin(url)

        yield scrapy.Request(url=url)

结果如图：

如果你在程序运行过程中发现首次抓取的 URL 出现了重复请求的问题，那么可能是以下几种原因导致的。

2.1. 为什么会发生重复请求？

重复请求的原因通常是因为爬虫的去重机制被误用了，或者请求的 URL 格式有所变化。比如，动态生成的 URL 或者 start_urls 中已经包含的 URL 可能会再次被处理。

3. 解决方法

接下来，我们将介绍几种常见的解决方法，帮助你避免数据重复请求。

3.1. 使用 dont_filter=True

Scrapy 默认会对请求进行去重，如果你希望强制 Scrapy 重新请求某些 URL，可以通过设置 dont_filter=True 来禁用去重。这通常在你需要重新抓取某些 URL 时非常有用。

例如，如果你希望重新抓取某些页面而不让 Scrapy 做去重检查，可以按以下方式修改 scrapy.Request：

def parse(self, response):
    urls = response.xpath('//*[@id="radioList"]/dl/dd/a/@href').getall()
    for url in urls:
        url = response.urljoin(url)
        yield scrapy.Request(url=url, dont_filter=True)

在这个示例中，dont_filter=True 强制 Scrapy 不对该请求进行去重，无论该 URL 是否已请求过。

优缺点

• 优点：非常直接的方式，适用于需要抓取重复数据的场景。
• 缺点：可能会抓取不必要的重复数据，增加爬取时间和存储空间。

3.2. 使用自定义去重机制（如集合过滤）

如果你希望避免重复请求，但又不希望全局禁用去重机制，可以通过自定义去重机制来避免重复 URL 的抓取。你可以使用一个 Python 集合来存储已请求过的 URL，并在每次请求时进行检查。

修改后的代码如下：

class KugouSpider(scrapy.Spider):
    name = "kugou"
    allowed_domains = ["kugou.com"]
    start_urls = ["https://www.kugou.com/mvweb/html/"]

    # 添加一个集合来记录已请求的 URL
    seen_urls = set()

    def parse(self, response):
        urls = response.xpath('//*[@id="radioList"]/dl/dd/a/@href').getall()
        for url in urls:
            url = response.urljoin(url)
            if url not in self.seen_urls:
                self.seen_urls.add(url)
                yield scrapy.Request(url=url)

在这个例子中，seen_urls 集合用于记录已经抓取过的 URL。在每次发起新的请求时，我们首先检查该 URL 是否已经存在于 seen_urls 集合中，如果存在，则跳过该 URL。

优缺点

• 优点：手动控制去重，不需要禁用 Scrapy 内建的去重机制。
• 缺点：需要手动管理集合，增加了代码复杂性。

3.3. 使用 Scrapy 去重机制

Scrapy 内建的去重机制会自动处理大部分去重需求。如果你并不需要重复抓取相同的 URL，只需要依赖 Scrapy 的默认去重机制即可。

你只需确保：

• 在 settings.py 中没有禁用去重设置。
• 确保请求 URL 格式统一，不会因格式问题导致 Scrapy 无法正确识别相同的 URL。

例如，Scrapy 会根据请求 URL 的哈希值来判断是否为重复请求。因此，如果 URL 的格式发生变化（如带有不同的查询参数），可能会导致 Scrapy 认为它们是不同的 URL。为了避免这种情况，建议统一 URL 的格式。

# settings.py

DUPEFILTER_CLASS = 'scrapy.dupefilters.RFPDupeFilter'

3.4. 使用 meta 字段传递状态

另一个常用技巧是使用 Scrapy 请求中的 meta 字段传递状态信息，以便在后续请求中避免重复抓取。

def parse(self, response):
    urls = response.xpath('//*[@id="radioList"]/dl/dd/a/@href').getall()
    for url in urls:
        url = response.urljoin(url)
        yield scrapy.Request(url=url, meta={'dont_retry': True})

这样，你可以通过 meta 字段传递额外的标志，进一步自定义请求行为。

4. 总结

Scrapy 提供了多种方式来解决首次默认数据重复的问题。根据不同的需求，可以选择：

1. 禁用去重：使用 dont_filter=True 强制 Scrapy 重新请求 URL。
2. 自定义去重：使用 Python 集合手动管理已请求的 URL，避免重复请求。
3. 依赖默认去重机制：保持 Scrapy 默认的去重机制，只需确保 URL 格式统一。

通过合理的去重策略，你可以确保爬虫抓取到的数据是准确且高效的，避免重复请求带来的性能损失。