一:根据page页面解析出book_url
二: 解析来的response (book_url) 并不是交给parse_item方法,而是交给了上面的rules处理,然后通过LinkExtractor提取静态页面数据url,url形成一个新的请求交给引擎,引擎一顿操作给到callback=‘parse_item’回调函数
三:最后交给parse_item
梳理整个流程:
1.根据page页面url得到的response处于无处安放状态
2.response交给Rule处理
3.通过LinkExtractor提取静态页面数据url,url形成一个新的请求交给引擎
4.引擎一顿操作给到callback=‘parse_item’回调函数
5.可以启动程序测试一下
标签:url,CrawlSpider,抓取,parse,item,交给,网页内容,response,页面 From: https://www.cnblogs.com/xiaogan-520/p/17987941