首页 > 系统相关 >linux Docker容器日志查看与清理2

linux Docker容器日志查看与清理2

时间:2023-12-08 14:36:48浏览次数:32  
标签:容器 log logs json linux docker Docker 日志

问题:

docker容器日志随着时间变得越来越大。本来分的200G磁盘空间迅速不太够用。

 

日志查找:

docker安装目录一般在/var/lib/docker下:

执行以下命令,可查看各文件夹空间占用情况:

du -h -x --max-depth=1

我们可以看到containers目录占用了181G的空间:

进入到containers容器目录,我们可以看到956e42开头的这个目录占用了180G空间:

进入到该目录,我们找到了罪魁祸首json.log文件:

日志清理:

1、最简单的方式当然就是删除掉。

但是如果docker容器正在运行,那么使用rm -rf方式删除日志后,通过df -h会发现磁盘空间并没有释放。原因是在Linux或者Unix系统中,通过rm -rf或者文件管理器删除文件,将会从文件系统的目录结构上解除链接(unlink)。如果文件是被打开的(有一个进程正在使用),那么进程将仍然可以读取该文件,磁盘空间也一直被占用。

正确的删除方法:cat /dev/null > *-json.log。提供一个日志清理脚本clean_docker_log.sh,内容如下:

#!/bin/sh
echo "======== start clean docker containers logs ========"
logs=$(find /var/lib/docker/containers/ -name *-json.log)
for log in $logs
do
echo "clean logs : $log"
cat /dev/null > $log
done
echo "======== end clean docker containers logs ========"
# chmod +x clean_docker_log.sh
# ./clean_docker_log.sh

但是这种方法治标不治本,随着时间的推移,容器日志同样会慢慢变多。

2、设置Docker容器日志大小

通过配置容器docker-compose的max-size选项来实现:

monomer:
    container_name: monomer
    image: 192.168.1.76/f1-platform/f1-monomer:${F1VERSION}
    restart: always
    privileged: true
    depends_on:
      - nacos
    networks:
      - f1-network
    ports:
      - "8008:8008"
    command: ["java","-Xms512m", "-Xmx512m", "-Xmn256m","-jar","f1-monomer.jar","--spring.cloud.nacos.discovery.server-addr=nacos:8848","--spring.cloud.nacos.config.server-addr=nacos:8848","--spring.cloud.nacos.discovery.group=DEFAULT_GROUP"]
    deploy:
      resources:
        limits:
          memory: 2048m
    logging:
        driver: json-file #仅在 json-file 驱动程序下,可以使用以下参数,限制日志得数量和大小。
        options:
            max-size: "200m" # 单个文件大小为200k
            max-file: "10" # 最多10个文件

全局设置:

新建/etc/docker/daemon.json,若有就不用新建了。添加log-dirver和log-opts参数,样例如下:

# vim /etc/docker/daemon.json
{
"insecure-registries": ["192.168.1.185"]
"registry-mirrors": ["https://192.168.1.85"],
"log-driver":"json-file",
"log-opts": {"max-size":"500m", "max-file":"3"}
}
# 同样是在json-file驱动程序下

max-size=500m,意味着一个容器日志大小上限是500M, max-file=3,意味着一个容器有三个日志,分别是id+.json、id+1.json、id+2.json。

注意:设置的日志大小,只对新建的容器有效。

 

========================方法二===================

 

Docker 容器是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口(类似 iPhone 的 app)。几乎没有性能开销,可以很容易地在机器和数据中心中运行。最重要的是,他们不依赖于任何语言、框架包括系统。今天讲述怎么查看和清理日志的方法。

1.问题

docker容器日志导致主机磁盘空间满了。docker logs -f container_name噼里啪啦一大堆,很占用空间,不用的日志可以清理掉了。

2. 解决方法

2.1 找出Docker容器日志

在linux上,容器日志一般存放在/var/lib/docker/containers/container_id/下面, 以json.log结尾的文件(业务日志)很大,查看各个日志文件大小的脚本docker_log_size.sh,内容如下:

#!/bin/sh
echo "======== docker containers logs file size ========"
logs=$(find /var/lib/docker/containers/ -name *-json.log)
for log in $logs
do
ls -lh $log
done
# chmod +x docker_log_size.sh
# ./docker_log_size.sh

2.2 清理Docker容器日志(治标)

如果docker容器正在运行,那么使用rm -rf方式删除日志后,通过df -h会发现磁盘空间并没有释放。原因是在Linux或者Unix系统中,通过rm -rf或者文件管理器删除文件,将会从文件系统的目录结构上解除链接(unlink)。如果文件是被打开的(有一个进程正在使用),那么进程将仍然可以读取该文件,磁盘空间也一直被占用。正确姿势是cat /dev/null > *-json.log,当然你也可以通过rm -rf删除后重启docker。接下来,提供一个日志清理脚本clean_docker_log.sh,内容如下:

#!/bin/sh
echo "======== start clean docker containers logs ========"
logs=$(find /var/lib/docker/containers/ -name *-json.log)
for log in $logs
do
echo "clean logs : $log"
cat /dev/null > $log
done
echo "======== end clean docker containers logs ========"
# chmod +x clean_docker_log.sh
# ./clean_docker_log.sh

但是,这样清理之后,随着时间的推移,容器日志会像杂草一样,卷土重来。

2.3 设置Docker容器日志大小(治本)

设置一个容器服务的日志大小上限
上述方法,日志文件迟早又会涨回来。要从根本上解决问题,需要限制容器服务的日志大小上限。这个通过配置容器docker-compose的max-size选项来实现

nginx:
image: nginx:1.12.1
restart: always
logging:
driver: “json-file”
options:
max-size: “5g”

重启nginx容器之后,其日志文件的大小就被限制在5GB,再也不用担心了。

全局设置

新建/etc/docker/daemon.json,若有就不用新建了。添加log-dirver和log-opts参数,样例如下:

# vim /etc/docker/daemon.json
{
"registry-mirrors": ["http://f613ce8f.m.daocloud.io"],
"log-driver":"json-file",
"log-opts": {"max-size":"500m", "max-file":"3"}
}

max-size=500m,意味着一个容器日志大小上限是500M,

max-file=3,意味着一个容器有三个日志,分别是id+.json、id+1.json、id+2.json。

// 重启docker守护进程
# systemctl daemon-reload
# systemctl restart docker

注意:设置的日志大小,只对新建的容器有效。

标签:容器,log,logs,json,linux,docker,Docker,日志
From: https://www.cnblogs.com/wjsqqj/p/17887091.html

相关文章

  • JetBrains PyCharm 2023.3 (macOS, Linux, Windows) - 面向专业开发者的 Python IDE
    JetBrainsPyCharm2023.3(macOS,Linux,Windows)-面向专业开发者的PythonIDE请访问原文链接:https://sysin.org/blog/jb-pycharm-2023/,查看最新版。原创作品,转载请保留出处。作者主页:sysin.orgJetBrainsPyCharm-面向专业开发者的PythonIDE为什么选择PyCharm在一......
  • JetBrains PhpStorm 2023.3 (macOS, Linux, Windows) - 高效智能的 PHP IDE
    JetBrainsPhpStorm2023.3(macOS,Linux,Windows)-高效智能的PHPIDE请访问原文链接:https://sysin.org/blog/jb-phpstorm-2023/,查看最新版。原创作品,转载请保留出处。作者主页:sysin.orgJetBrainsPhpStorm-高效智能的PHPIDE为什么选择PhpStorm享受高效的PHP观......
  • JetBrains IntelliJ IDEA 2023.3 (macOS, Linux, Windows) - 功能强大,符合人体工程学
    JetBrainsIntelliJIDEA2023.3(macOS,Linux,Windows)-功能强大,符合人体工程学的JVMIDE请访问原文链接:https://sysin.org/blog/jb-idea-2023/,查看最新版。原创作品,转载请保留出处。作者主页:sysin.orgJetBrainsIntelliJIDEA-功能强大,符合人体工程学的JVMIDE为何......
  • JetBrains WebStorm 2023.3 (macOS, Linux, Windows) - 最智能的 JavaScript IDE
    JetBrainsWebStorm2023.3(macOS,Linux,Windows)-最智能的JavaScriptIDE请访问原文链接:https://sysin.org/blog/jb-webstorm-2023/,查看最新版。原创作品,转载请保留出处。作者主页:sysin.orgJetBrainsWebStorm-最智能的JavaScriptIDEWebStorm是一个适用于JavaSc......
  • JetBrains RubyMine 2023.3 (macOS, Linux, Windows) - 最智能的 Ruby 与 Rails IDE
    JetBrainsRubyMine2023.3(macOS,Linux,Windows)-最智能的Ruby与RailsIDE请访问原文链接:https://sysin.org/blog/jb-rubymine-2023/,查看最新版。原创作品,转载请保留出处。作者主页:sysin.orgJetBrainsRubyMine-最智能的Ruby与RailsIDE为什么选择RubyMine改......
  • JetBrains CLion 2023.3 (macOS, Linux, Windows) - C 和 C++ 跨平台 IDE
    JetBrainsCLion2023.3(macOS,Linux,Windows)-C和C++跨平台IDE请访问原文链接:https://sysin.org/blog/jb-clion-2023/,查看最新版。原创作品,转载请保留出处。作者主页:sysin.orgJetBrainsCLion-C和C++跨平台IDECLion2022现已发布。查看最新变化用于强大语......
  • 深入理解Dockerfile:构建容器化应用的基石
    Docker已经成为现代软件开发和部署的标配工具之一,它的轻量级容器技术使得应用可以在不同环境中快速部署和运行。Dockerfile是构建Docker镜像的蓝图,定义了从基础镜像到最终应用镜像的一系列步骤。本篇博文将深入解析Dockerfile中常见的指令,带你逐步了解如何构建高效、可维护的Docker......
  • 已解决:若依更换日志EasyExcel框架导出报错 java.lang.NoClassDefFoundError: org/apac
    先描述一下当时的场景回忆看到出错了,我就想可能是哪个路径写错了,或者导依赖名字写对,或者说是多了少了标点符号什么的。然而,还是想简单了,检查重启后发现问题并没有解决。于是就把所有我改过的地方检查了一遍,检查和这个依赖相关的代码。发现还是没啥关系后来去找百度、百度给的......
  • (四)虚拟机下linux磁盘扩容
    在VM虚拟机中,我们经常会选择默认磁盘大小20G,用着用着才发现20G不够用,服务启动不了,就很尴尬,让我们今天一起来学习下,如何在虚拟机给磁盘扩容。一、加物理盘我们使用df-h命令,发现磁盘使用率已经37%,我们给此磁盘扩容,简单演示下扩容的过程。 虚拟机开机后,我们用fdisk-l 命令查......
  • linux dd新增10g的文件
    您可以使用Linux命令行工具dd来创建10GB大小的文件。以下是创建10GB文件的命令:ddif=/dev/zeroof=file.imgbs=1Gcount=10在上述命令中,if参数指定输入文件为/dev/zero,这是一个特殊的文件,读取它会返回空字符(即零)。of参数指定输出文件名为file.img,您可以将其替换为您想要的文......