首页 > 其他分享 >scrapy SCRAPER_SLOT_MAX_ACTIVE_SIZE

scrapy SCRAPER_SLOT_MAX_ACTIVE_SIZE

时间:2022-11-10 10:15:12浏览次数:51  
标签:SLOT MAX SCRAPER scrapy ACTIVE SIZE

 

 

 

 

SCRAPER_SLOT_MAX_ACTIVE_SIZE

 

 

  • SCRAPER_SLOT_MAX_ACTIVE_SIZE:正在处理响应数据的软限制(以字节为单位),如果所有正在处理的响应的大小总和高于此值,Scrapy不会处理新的请求。

标签:SLOT,MAX,SCRAPER,scrapy,ACTIVE,SIZE
From: https://www.cnblogs.com/angdh/p/16876138.html

相关文章