Scrapy Logging日志

日志级别

Python 的内置日志记录定义了 5 个不同的级别来指示给定日志消息的严重性

logging.CRITICAL 用于严重错误（最高严重性）

logging.ERROR 常规错误

logging.WARNING 用于警告消息

logging.INFO 用于信息性消息

logging.DEBUG 用于调试消息（最低严重性）

创建项目

创建项目
scrapy startproject myspider

进入项目目录
cd myspider

创建爬虫
scrapy genspider myspiders https://scrapinghub.com

运行爬虫
scrapy crawl myspiders

编写脚本

myspiders.py

import scrapy


class MyspidersSpider(scrapy.Spider):
    name = "myspiders"
    start_urls = ["https://scrapinghub.com"]

    def parse(self, response, **kwargs):
        self.logger.info('Parse function called on %s', response.url)

settings.py

Scrapy中可以在settings.py中配置日志信息将日志保存的指定位置，设置后在终端不会显示日志内容

LOG_STDOUT = False
LOG_LEVEL = "INFO"
LOG_FILE = "./my_spider.log"

验证结果