首页 > 编程语言 >Python | 解决方案 | 多个文件共用logger，重复打印问题

Python | 解决方案 | 多个文件共用logger，重复打印问题

时间：2023-04-02 20:15:16浏览次数：48  
标签：01 20 log Python py 2021 共用 logger

项目中封装了logging库为log.py，实现既把日志输出到控制台， 又写入日志文件文件。
环境：python3.7.3

项目中，多个文件共用logger，出现重复打印问题，解决流程记录如下：
文件和调用方式如下：
log.py v1

#encoding = utf-8
###
 # @ Description: 日志封装文件
 # @ Author: fatih
 # @ Date: 2020-12-30 10:48:00
 # @ FilePath: \mechineInfo\utils\log.py
 # @ LastEditors: fatih
 # @ LastEditTime: 2021-01-11 16:18:30
###
import logging
# 既把日志输出到控制台， 还要写入日志文件
class Logger():
    def __init__(self, logname="info", loglevel=logging.DEBUG, loggername=None):
        '''
           指定保存日志的文件路径，日志级别，以及调用文件
           将日志存入到指定的文件中
        '''
        # 创建一个logger
        self.logger = logging.getLogger(loggername)
        self.logger.setLevel(loglevel)
        # 创建一个handler，用于写入日志文件
        fh = logging.FileHandler(logname)
        fh.setLevel(loglevel)
        # 再创建一个handler，用于输出到控制台
        ch = logging.StreamHandler()
        ch.setLevel(loglevel)
        # 定义handler的输出格式
        # formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
        formatter = logging.Formatter('[%(levelname)s]%(asctime)s %(filename)s:%(lineno)d: %(message)s')
        fh.setFormatter(formatter)
        ch.setFormatter(formatter)
        # 给logger添加handler
        self.logger.addHandler(fh)
        self.logger.addHandler(ch)
        
        #测试日志，正式环境可删除
        self.logger.fatal("set logger") 
    def getlog(self):
        self.logger.fatal("get logger")
        return self.logger

问题一：多文件调用共用logger，重复打印

调用方式：
a.py v1

#!/usr/bin/python
# -*- coding:utf-8 -*-

import logging
from log import Logger

logger = Logger().getlog()
logger.debug("this is a")

b.py v1

#!/usr/bin/python 
# -*- coding:utf-8 -*- 
import logging 
from log import Logger 
import a
logger = Logger().getlog() 
logger.debug("this is b")

此时执行b.py的结果如下:

$ python3 b.py
[CRITICAL]2021-01-20 10:51:17,966 log.py:44: set logger
[CRITICAL]2021-01-20 10:51:17,966 log.py:47: get logger
[DEBUG]2021-01-20 10:51:17,967 a.py:7: this is a
[CRITICAL]2021-01-20 10:51:17,968 log.py:44: set logger
[CRITICAL]2021-01-20 10:51:17,968 log.py:44: set logger
[CRITICAL]2021-01-20 10:51:17,968 log.py:47: get logger
[CRITICAL]2021-01-20 10:51:17,968 log.py:47: get logger
[DEBUG]2021-01-20 10:51:17,969 b.py:8: this is b
[DEBUG]2021-01-20 10:51:17,969 b.py:8: this is b

从结果可以看出来，存在logger共用，导致重复打印。

原因分析

调用方式logger = Logger().getlog()，即self.logger = logging.getLogger(logger)
logger参数并未传递，所以得到的self.logger是RootLogger
而RootLogger是一个python程序内全局唯一的，所有Logger对象的祖先。

也就是说先打开的文件中对log的设置，后打开的文件都会受到影响,都会走一遍logger的继承关系。
b.py import a, 先执行a, 然后调用getLogger，得到RootLogger，打印一次，再执行一次在a.py中打开的RootLogger，再打印一次

解决方案

不同文件调用，使用不同的loggername
a.py v2

logger = Logger("a.log", logging.DEBUG, __name__).getlog() 
logger.debug("this is a")

b.py v2

logger = Logger("b.log", logging.DEBUG, __name__).getlog() 
logger.debug("this is b")

此时重新执行
命令行显示正常了

[CRITICAL]2021-01-20 11:02:22,763 log.py:44: set logger
[CRITICAL]2021-01-20 11:02:22,764 log.py:47: get logger
[DEBUG]2021-01-20 11:02:22,764 a.py:7: this is a
[CRITICAL]2021-01-20 11:02:22,765 log.py:44: set logger
[CRITICAL]2021-01-20 11:02:22,765 log.py:47: get logger
[DEBUG]2021-01-20 11:02:22,765 b.py:8: this is

问题二：单文件重复调用logger，重复打印

a.py v2

logger = Logger("a.log", logging.DEBUG, __name__).getlog() 
logger.debug("this is a")
logger = Logger("a.log", logging.DEBUG, __name__).getlog() 
logger.debug("this is a 2")

打印结果：

[CRITICAL]2021-01-20 11:39:04,312 log.py:44: set logger
[CRITICAL]2021-01-20 11:39:04,312 log.py:47: get logger
[DEBUG]2021-01-20 11:39:04,312 a.py:7: this is a
[CRITICAL]2021-01-20 11:39:04,313 log.py:44: set logger
[CRITICAL]2021-01-20 11:39:04,313 log.py:44: set logger
[CRITICAL]2021-01-20 11:39:04,313 log.py:47: get logger
[CRITICAL]2021-01-20 11:39:04,313 log.py:47: get logger
[DEBUG]2021-01-20 11:39:04,313 a.py:10: this is a 2
[DEBUG]2021-01-20 11:39:04,313 a.py:10: this is a 2

此时例如执行logger = Logger("a.log", logging.DEBUG, name).getlog(),并且后续日志对象的第三个传参都相同的时候，
此后多次打印日志会出现日志信息条数线性增加
例如第一次打印一条，第二条打印相同的两条日志，第三次打印相同的三条日志…

原因解析

因为logger的name被固定，
所以当你第一次为logger对象添加FileHandler对象之后，
如果没有移除上一次的FileHandler对象，第二次logger对象就会再次获得相同的FileHandler对象，即拥有两个FileHandler对象，
最终造成打印两次，
同样，如果此时没有立即移除上一次的FileHandler对象，第三次logger对象就会再次获得相同的FileHandler对象，即拥有三个FileHandler象，最终打印3次…

解决方案

  1. 每次添加日志，创建与上次日志对象的loggername属性不同的logger对象
    • 调用会导致同时存在超多logger对象
    • 不推荐
    1. 每次logger输出之后，移除FileHandler对象
    • 重写输出接口，输出后增加removeHandler操作
    • 繁琐，复杂，不推荐
  2. 通过判断logger对象的handlers属性，或者hasHandlers函数，保持同一loggername对应的FileHander唯一
    • 只需要增加一行代码，if not logger.handlers: 或if not self.logger.hasHandlers()只有不存在Handler时才设置Handler
    • 简洁，推荐

第三种方案，改写log.py v1代码如下
log.py v2

#encoding = utf-8
###
 # @ Description: 日志封装文件
 # @ Author: fatih
 # @ Date: 2020-12-30 10:48:00
 # @ FilePath: \mechineInfo\utils\log.py
 # @ LastEditors: fatih
 # @ LastEditTime: 2021-01-11 16:18:30
###
import logging
# 既把日志输出到控制台， 还要写入日志文件
class Logger():
    def __init__(self, logname="info", loglevel=logging.DEBUG, loggername=None):
        '''
           指定保存日志的文件路径，日志级别，以及调用文件
           将日志存入到指定的文件中
        '''
        # 创建一个logger
        self.logger = logging.getLogger(loggername)
        self.logger.setLevel(loglevel)
        # 创建一个handler，用于写入日志文件
        fh = logging.FileHandler(logname)
        fh.setLevel(loglevel)
        if not self.logger.handlers:
        #或者使用如下语句判断
        #if not self.logger.hasHandlers():

            # 再创建一个handler，用于输出到控制台
            ch = logging.StreamHandler()
            ch.setLevel(loglevel)
            # 定义handler的输出格式
            # formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
            formatter = logging.Formatter('[%(levelname)s]%(asctime)s %(filename)s:%(lineno)d: %(message)s')
            fh.setFormatter(formatter)
            ch.setFormatter(formatter)
            # 给logger添加handler
            self.logger.addHandler(fh)
            self.logger.addHandler(ch)
            
            self.logger.fatal("add handler")
        self.logger.fatal("set logger")
    def getlog(self):
        self.logger.fatal("get logger")
        return self.logger

此时调用a.py v2
结果如下：

[CRITICAL]2021-01-20 11:55:08,427 log.py:44: add handler
[CRITICAL]2021-01-20 11:55:08,427 log.py:46: set logger
[CRITICAL]2021-01-20 11:55:08,427 log.py:49: get logger
[DEBUG]2021-01-20 11:55:08,427 a.py:7: this is a
[CRITICAL]2021-01-20 11:55:08,428 log.py:46: set logger
[CRITICAL]2021-01-20 11:55:08,428 log.py:49: get logger
[DEBUG]2021-01-20 11:55:08,429 a.py:10: this is a 2

至此，问题解决
参考：
python的logging模块浅析

来源:https://blog.csdn.net/u011417820/article/details/112861970

标签：01,20,log,Python,py,2021,共用,logger
From： https://www.cnblogs.com/liuyanhang/p/17281146.html

相关文章

  • 【Python】Flask-SQLAlchemy PyCharm无法自动补全解决方案
    ✨Flask-Sqlalchemy无法自动补全解决方案PyCharm版本：PyCharm2021.3.3(ProfessionalEdition)flask版本：2.2.3flask-sqlalchemy版本：3.0.3SQLAlchemy版本：2.0.4在使用flask-sqlalchemy中db.Column,primary_key等无法自动补全降低flask-sqlalchemy版本即可解决pipinstallf......
  • python接口自动化pytest+yaml+allure
    简介分层common公共层data数据层test层+main文件其中pytest框架使用pytest.ini全局配置和conftest.py夹具test层下载对于的安装包编写对于的用例实现参数化编写对于的fixture和pytest全局配置常用pytest执行方法main方法：pytest.main(['-vs','-n2'])console：py......
  • Python 多线程死循环挂服务器时CPU占用过高问题
    我的某个程序里有这样一段代码，把程序挂在服务器爬取信息，因此用到死循环，同时又需要进行三个任务，于是使用了多线程。刚开始在死循环部分并没有加time.sleep(60)，于是它一直在for循环，同时会进行.is_alive()（不确定这个消耗大不大），但总之这使得CPU占用过高。而加上sleep之后，直接就降下......
  • Python 文件与路径操作
    路径表示绝对路径：绝对路径是指从盘符开始的文件全路径，一般表现为“/”。如“C:/Users/TheUser/Desktop/temp.txt”(Windows)、“/Users/TheUser/Desktop/temp.txt”(Windows)、“/home/TheUser/temp.txt”(Linux)。相对路径：相对路径是指从本文件开始算起的文件路径，总体长......
  • python系列教程208——为什么使用lambda
    声明：在人工智能技术教学期间，不少学生向我提一些python相关的问题，所以为了让同学们掌握更多扩展知识更好地理解AI技术，我让助理负责分享这套python系列教程，希望能帮到大家！由于这套python教程不是由我所写，所以不如我的AI技术教学风趣幽默，学起来比较枯燥；但它的知识点还是讲到位的了，也值......
  • Python基础之pyautogui模块（详细总结鼠标键盘操作）
    来源：https://zhuanlan.zhihu.com/p/471275277仅用于个人学习（以防自己忘记）1.GUI控制功能控制鼠标键盘使用的模块为：pyautogui，这个模块操作起鼠标键盘的时候，非常的迅速，而且如果该模块控制了鼠标后，程序比较难关闭，这时我们有两个方法专门针对以上的情况：1.1自动防故障功能 ......
  • 用OpenCv-Python自带的LBPH识别器实现简单人脸识别（上）
    用OpenCv-Python自带的LBPH识别器实现简单人脸识别（上）引言：本文开发环境为：Windows10+phchram+Anaconda5.2（Python3.6）+Opencv4.5.5,用opencv-contrib原生的API完成了人脸识别的功能，其可以任意添加人脸ID数据，但其效果比较差（勉强能用），如果日后有时间的话，给大家出一期（挖坑）利......
  • 用OpenCv-Python自带的LBPH识别器实现简单人脸识别（下）
    介绍本文附录了通过LBPH实现简单人脸识别的源代码，分类效果并不是很好，供个人学习使用。人脸录入.pyimportcv2cap=cv2.VideoCapture(0)flag=1num=0while(cap.isOpened()):ret_flag,Vshow=cap.read()cv2.imshow("Capture_Test",Vshow)k=cv2.w......
  • javascript VS python 变量作用域
    js中函数内部默认是可以读取到外部声明的变量，python不可以，必须使用关键字globalglobal必须在函数内部使用，用以内化函数外部变量。在函数外部是无法声明全局变量的，或者说所谓的全局变量在函数内部是不好使的，这还叫什么全局变量？应该叫局外变量。而global是内部跟局外变量建立一种......
  • 孤狼老师-接口测试自动化（Python版完整版）-日志记录&测试报告
            此时，由于每次执行方法前，都会执行一遍setup，故每次都要初始化一次LoggerHelper方法，每次都会加载一次配置文件，优化LoggerHelper：        针对多个接口用例，使用如下方式：   ......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99