标签：name author self item scrapy article desc
scrapy架构介绍
1.引擎(EGINE)
引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件
2.调度器(SCHEDULER)
用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
3.下载器(DOWLOADER)
用于下载网页内容, 并将网页内容返回给EGINE，下载器是建立在twisted这个高效的异步模型上的
4.爬虫(SPIDERS)--->在这里写代码
SPIDERS是开发人员自定义的类，用来解析responses，并且提取items，或者发送新的请求
5.项目管道(ITEM PIPLINES)
在items被提取后负责处理他们，主要包括清理、验证、持久化(存储数据)等操作
6.下载器中间件(Downloader Middlewares)
位于Scrapy引擎和下载器之间，主要用来处理从EGINE传到DOWLOADER的请求request，已经从DOWNLOADER传到EGINE的响应response，你可用该中间件做以下几件事：设置请求头，设置cookie，使用代理，集成selenium
7.爬虫中间件(Spider Middlewares)
位于EGINE和SPIDERS之间，主要工作是处理SPIDERS的输入(responses)和输出(requests)
scrapy解析数据
1.response对象有css方法和xpath方法
-css中写css选择器
-xpath中写xpath选择
2.重点1
-xpath取文本内容
'.//a[contains(@class,"link-title")]/text()'
-xpath取属性
'.//a[contains(@class,"link-title")]/@href'
-css取文本
'a.link-title::text'
-css取属性
'img.image-scale::attr(src)'
3.重点2
.extract_first() 取一个
.extract() 取所有
css解析实例
import scrapy
class CnblogsSpider(scrapy.Spider):
name = 'cnblogs'
allowed_domains = ['www.cnblogs.com']
start_urls = ['http://www.cnblogs.com/']
def parse(self, response):
article_list = response.css('article.post-item')
for article in article_list:
title_name = article.css('section>div>a::text').extract_first()
author_img = article.css('p.post-item-summary>a>img::attr(src)').extract_first()
desc_list = article.css('p.post-item-summary::text').extract()
# 将爬取的摘要的换行与空格除去
desc = desc_list[0].replace('\n', '').replace(' ', '')
if not desc:
desc = desc_list[1].replace('\n', '').replace(' ', '')
author_name = article.css('section>footer>a>span::text').extract_first()
article_date = article.css('section>footer>span>span::text').extract_first()
print(f'''
文章标题:{title_name}
作者头像:{author_img}
摘要:{desc}
作者名字:{author_name}
发布日期:{article_date}
''')
xpath选择器实例
import scrapy
class CnblogsSpider(scrapy.Spider):
name = 'cnblogs'
allowed_domains = ['www.cnblogs.com']
start_urls = ['http://www.cnblogs.com/']
def parse(self, response):
article_list = response.xpath('//article[contains(@class,"post-item")]')
for article in article_list:
title_name = article.xpath('./section/div/a/text()').extract_first()
author_img = article.xpath('./section/div/p//img/@src').extract_first()
desc_list = article.xpath('./section/div/p/text()').extract()
# 将爬取的摘要的换行与空格除去
desc = desc_list[0].replace('\n', '').replace(' ', '')
if not desc:
desc = desc_list[1].replace('\n', '').replace(' ', '')
author_name = article.xpath('./section/footer/a/span/text()').extract_first()
article_date = article.xpath('./section/footer/a/span/span/text()').extract_first()
print(f'''
文章标题:{title_name}
作者头像:{author_img}
摘要:{desc}
作者名字:{author_name}
发布日期:{article_date}
''')
settings相关配置，提高爬取效率
基础配置
# 爬虫项目的名字
BOT_NAME = 'myfirstscrapy'
# 指定爬虫类的py文件的位置
SPIDER_MODULES = ['myfirstscrapy.spiders']
NEWSPIDER_MODULE = 'myfirstscrapy.spiders'
# 日志级别
LOG_LEVEL = 'ERROR' # 报错如果不打印日志，在控制台看不到错误
# 请求头中的客户端信息
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36'
# 是否遵循爬虫协议
ROBOTSTXT_OBEY = True
# 默认的请求头
# DEFAULT_REQUEST_HEADERS = {
# 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
# 'Accept-Language': 'en',
# }
# 爬虫中间件
# SPIDER_MIDDLEWARES = {
# 'myfirstscrapy.middlewares.MyfirstscrapySpiderMiddleware': 543,
# }
# 下载中间件
# DOWNLOADER_MIDDLEWARES = {
# 'myfirstscrapy.middlewares.MyfirstscrapyDownloaderMiddleware': 543,
# }
# 项目管道，持久化配置
# ITEM_PIPELINES = {
# 'myfirstscrapy.pipelines.MyfirstscrapyPipeline': 300,
# }
增加爬虫的爬取效率
1.增加并发：默认16
默认scrapy开启的并发线程为32个，可以适当进行增加。在settings配置文件中修改
CONCURRENT_REQUESTS = 100
值为100,并发设置成了为100
2.降低日志级别
在运行scrapy时，会有大量日志信息的输出，为了减少CPU的使用率。可以设置log输出信息为INFO或者ERROR即可。在配置文件中编写：
LOG_LEVEL = 'INFO'
3.禁止cookie
如果不是真的需要cookie，则在scrapy爬取数据时可以禁止cookie从而减少CPU的使用率，提升爬取效率。在配置文件中编写：
COOKIES_ENABLED = False
4.禁止重试
对失败的HTTP进行重新请求（重试）会减慢爬取速度，因此可以禁止重试。在配置文件中编写：
RETRY_ENABLED = False
5.减少下载超时
如果对一个非常慢的链接进行爬取，减少下载超时可以能让卡住的链接快速被放弃，从而提升效率。在配置文件中进行编写：
DOWNLOAD_TIMEOUT = 10 超时时间为10s
持久化
1.方案1
1.1解析函数中parse，要return [{},{},{}]
-scrapy crawl cnblogs -o 文件名(json,pickle,csv结尾)
1.2如:
data_list.append(
{'title_name': title_name, 'author_img': author_img, 'desc': desc, 'author_name': author_name, 'article_date': article_date})
2.方案2(使用pipline,管道形式，可以同时存到多个位置的)
2.1在items.py中写一个类(相当于写django的表模型)，继承scrapy.Item
2.2在类中写属性，写字段，所有字段都是scrapy.Field类型
title = scrapy.Field()
2.3在爬虫中导入类，实例化得到对象，把要保存的数据放到对象中
item['title'] = title # 不要使用. 放
解析类中 yield item
2.4修改配置文件，指定pipline，数字表示优先级，越小越大
ITEM_PIPELINES = {
'crawl_cnblogs.pipelines.CnblogsFilesPipeline': 300,
}
2.5写一个pipline：CrawlCnblogsPipeline
-open_spider:数据初始化，打开文件，打开数据库链接
-process_item：真正存储的地方
-一定不要忘了return item，交给后续的pipline继续使用
-close_spider：销毁资源，关闭文件，关闭数据库链接
import scrapy
from myfirstscrapy.items import MyfirstscrapyItem
class CnblogsSpider(scrapy.Spider):
name = 'cnblogs'
allowed_domains = ['www.cnblogs.com']
start_urls = ['http://www.cnblogs.com/']
def parse(self, response):
article_list = response.xpath('//article[contains(@class,"post-item")]')
for article in article_list:
item = MyfirstscrapyItem() # 定义在for内部，每次都是一个新对象
title_name = article.xpath('./section/div/a/text()').extract_first()
author_img = article.xpath('./section/div/p//img/@src').extract_first()
desc_list = article.xpath('./section/div/p/text()').extract()
# 将爬取的摘要的换行与空格除去
desc = desc_list[0].replace('\n', '').replace(' ', '')
if not desc:
desc = desc_list[1].replace('\n', '').replace(' ', '')
author_name = article.xpath('./section/footer/a/span/text()').extract_first()
article_date = article.xpath('./section/footer/a/span/span/text()').extract_first()
item['title_name'] = title_name
item['author_img'] = author_img
item['desc'] = desc
item['author_name'] = author_name
item['article_date'] = article_date
yield item
import scrapy
class MyfirstscrapyItem(scrapy.Item):
title_name = scrapy.Field()
author_img = scrapy.Field()
desc = scrapy.Field()
author_name = scrapy.Field()
article_date = scrapy.Field()
class CnblogsFilesPipeline:
def open_spider(self, spider):
# 打开文件
self.f = open('coblogs', 'at', encoding='utf-8')
def process_item(self, item, spider):
# 真正存数据，每个item都会走这里
self.f.write(f"文章标题:{item['title_name']}，作者名字:{item['author_name']}\n")
return item
def close_spider(self, spider):
# 关闭
self.f.close()
import pymysql
class CnblogsMysqlPipeline:
def open_spider(self, spider):
# 打开文件
self.conn = pymysql.Connect(
user='root',
password='123',
host='127.0.0.1',
database='cnblogs',
port=3306,
autocommit=True)
self.cursor = self.conn.cursor()
def process_item(self, item, spider):
self.cursor.execute(
'insert into article (title_name,author_img,`desc`,article_date,author_name) values (%s,%s,%s,%s,%s)',
args=[item['title_name'], item['author_img'], item['desc'], item['article_date'], item['author_name']])
# self.conn.commit() # 提交
return item
def close_spider(self, spider):
# 关闭
print('关了')
self.cursor.close()
self.conn.close()
# 项目管道，持久化配置
ITEM_PIPELINES = {
'myfirstscrapy.pipelines.CnblogsFilesPipeline': 300,
'myfirstscrapy.pipelines.CnblogsMysqlPipeline': 200,
}
全站爬取cnblogs文章
-继续爬取下一页：解析出下一页的地址，包装成request对象
-继续爬取详情页：解析出详情页地址，包装成request对象
爬取文章下一页与详情
import scrapy
from myfirstscrapy.items import MyfirstscrapyItem
from scrapy import Request
class CnblogsSpider(scrapy.Spider):
name = 'cnblogs'
allowed_domains = ['www.cnblogs.com']
start_urls = ['http://www.cnblogs.com/']
def parse(self, response):
article_list = response.xpath('//article[contains(@class,"post-item")]')
for article in article_list:
item = MyfirstscrapyItem() # 定义在for内部，每次都是一个新对象
title_name = article.xpath('./section/div/a/text()').extract_first()
author_img = article.xpath('./section/div/p//img/@src').extract_first()
desc_list = article.xpath('./section/div/p/text()').extract()
# 将爬取的摘要的换行与空格除去
desc = desc_list[0].replace('\n', '').replace(' ', '')
if not desc:
desc = desc_list[1].replace('\n', '').replace(' ', '')
author_name = article.xpath('./section/footer/a/span/text()').extract_first()
article_date = article.xpath('./section/footer/span/span/text()').extract_first()
url = article.xpath('./section/div/a/@href').extract_first()
# print(f'''
# 文章标题:{title_name}
# 作者头像:{author_img}
# 摘要:{desc}
# 作者名字:{author_name}
# 发布日期:{article_date}
# ''')
item['title_name'] = title_name
item['author_img'] = author_img
item['desc'] = desc
item['author_name'] = author_name
item['article_date'] = article_date
item['url'] = url
yield Request(url=url, callback=self.detail_parse, meta={'item': item})
next_url = 'https://www.cnblogs.com' + response.css('div.pager>a:last-child::attr(href)').extract_first()
print(next_url)
yield Request(url=next_url, callback=self.parse)
def detail_parse(self, response):
# 解析详情
item = response.meta.get('item')
article_content = response.css('div.post').extract_first()
item['article_content'] = str(article_content)
yield item
爬虫和下载中间件
1.爬虫中间件（用的很少，了解即可）
MyfirstscrapySpiderMiddleware
def process_spider_input(self, response, spider): # 进入爬虫会执行它
def process_spider_output(self, response, result, spider): #从爬虫出来会执行它
def process_spider_exception(self, response, exception, spider):#出了异常会执行
def process_start_requests(self, start_requests, spider):#第一次爬取执行
def spider_opened(self, spider): #爬虫开启执行
# 下载中间件
MyfirstscrapyDownloaderMiddleware
def process_request(self, request, spider): # request对象从引擎进入到下载器会执行
def process_response(self, request, response, spider):# response对象从下载器进入到引擎会执行
def process_exception(self, request, exception, spider):#出异常执行它
def spider_opened(self, spider): #爬虫开启执行它
2.下载中间件的process_request
-返回值：
return None: 继续执行下面的中间件的process_request
return a Response object： 不进入下载中间件了，直接返回给引擎，引擎把它通过6给爬虫
return a Request object：不进入中间件了，直接返回给引擎，引擎把它放到调度器中
raise IgnoreRequest: process_exception() 抛异常，会执行process_exception
# 下载中间件的process_response
-返回值：
return a Response object：正常，会进入到引擎，引擎把它给爬虫
return a Request object： 会进入到引擎，引擎把它放到调度器中，等待下次爬取
raise IgnoreRequest 会执行process_exception
标签：name,
author,
self,
item,
scrapy,
article,
desc
From： https://www.cnblogs.com/riuqi/p/16964609.html