源码分享
https://docs.qq.com/sheet/DUHNQdlRUVUp5Vll2?tab=BB08J2
日志记录是任何软件开发过程中的一个基本组成部分，尤其是在爬虫开发中。有效的日志记录策略可以帮助开发者监控爬虫的行为，诊断问题，以及追踪爬虫的性能。Python的logging模块提供了一套强大的日志记录工具，它可以帮助你轻松地记录信息、警告和错误。在这篇技术博客中，我们将探索如何在Python中使用logging模块，并提供一些代码示例。
为什么要进行日志记录？
日志记录允许您跟踪事件，当一个应用程序运行时，您可以了解它做了什么或在某个时间点发生了什么错误。这对于调试和监控应用程序来说是非常有用的。
Python日志记录简介
Python的logging模块提供了灵活的日志记录系统。与打印语句（print）不同，日志记录允许您通过简单的配置来设置日志级别、日志格式以及输出位置。
基本配置
import logging
# 配置基本的日志记录信息
logging.basicConfig(level=logging.DEBUG,
format='%(asctime)s - %(levelname)s - %(message)s')这里，我们设置了日志级别为DEBUG，这意味着所有级别的日志（DEBUG, INFO, WARNING, ERROR, CRITICAL）都会被记录。format参数定义了记录输出的格式。
日志级别
Python定义了几个日志级别：
DEBUG: 详细信息，通常只有在诊断问题时才有用。INFO: 证明事情按预期工作。WARNING: 表示某些尚未出现的问题（例如'磁盘空间低'），或者程序的一些问题。ERROR: 由于更严重的问题，软件已经无法执行一些功能了。CRITICAL: 严重错误，表明程序本身可能无法继续运行。
记录消息
logging.debug("这是一个调试信息")
logging.info("这是一个信息提示")
logging.warning("这是一个警告信息")
logging.error("这是一个错误信息")
logging.critical("这是一个严重的错误信息")日志记录到文件
# 配置日志记录到文件
logging.basicConfig(filename='example.log',
level=logging.INFO,
format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')
logging.info("这条信息会被记录到文件中")添加文件处理器
# 创建日志记录器
logger = logging.getLogger('my_logger')
logger.setLevel(logging.DEBUG)
# 创建文件处理器并设置级别为DEBUG
file_handler = logging.FileHandler('my_log.log')
file_handler.setLevel(logging.DEBUG)
# 创建日志记录格式
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
# 将格式器添加到处理器
file_handler.setFormatter(formatter)
# 将处理器添加到日志记录器
logger.addHandler(file_handler)
logger.info("这条信息将记录到日志文件")多个处理器和格式
# 创建一个流处理器和文件处理器
stream_handler = logging.StreamHandler()
file_handler = logging.FileHandler('file.log')
# 设置日志记录格式
formatter = logging.Formatter('%(name)s - %(levelname)s - %(message)s')
stream_handler.setFormatter(formatter)
file_handler.setFormatter(formatter)
# 创建日志记录器并添加两个处理器
logger = logging.getLogger('my_application')
logger.setLevel(logging.DEBUG)
logger.addHandler(stream_handler)
logger.addHandler(file_handler)
# 记录一些信息
logger.debug("这是一个调试信息")
logger.info("这是一个信息提示")结语
遵循最佳的日志记录实践可以在开发过程中节省大量的时间，尤其是在调试和后期维护阶段。使用Python的logging模块可以帮助您创建一个灵活、可配置和易于扩展的日志记录系统。务必根据你的应用程序需求来配置适当的日志记录级别和输出格式，同时确保敏感信息不被记录。以上介绍和代码示例为您提供了一个良好的日志记录基础，可以根据您的具体需求进行调整和扩展。