首页 > 系统相关 >阿里云logtail采集容器内日志到sls导致容器内存增加

阿里云logtail采集容器内日志到sls导致容器内存增加

时间:2022-09-01 23:56:48浏览次数:54  
标签:容器 清理 sls 内存 日志 logtail pagecache

现象

nginx容器接入logtail后,因为服务请求量较大导致日志量快速增加,很快就触发了内存告警,甚至触发容器伸缩
查看内存使用如图所示(单位:GB,统计参数:container_memory_working_set_bytes)
image

排查过程

略去一大波nginx参数配置的苦逼历程...
最终排查后发现nginx使用内存并不多,而大部分内存是被pagecache占用。因为logtail会读文件,文件会占用pagecache,这时候系统释放是比较慵懒的,所以pagecache越用越多,这部分内存随时都可以释放,但是在容器里,这是不合理的

随后进行了一些操作测试对内存占用的影响

  1. 清理容器内日志
  2. 宿主机上清理pagecache

内存清理情况如下图
image

解决

虽然在宿主机增加定时脚本清理pagecache最省力,但是影响范围过大,不是很合理。最终采用容器内增加定时清理日志脚本解决,效果如下图
image

标签:容器,清理,sls,内存,日志,logtail,pagecache
From: https://www.cnblogs.com/aichenk/p/16648255.html

相关文章

  • 关于docker创建容器报错-docker: Error response from daemon: runtime "io.container
    今天在对一台服务器(docker相关的业务服务器)进行OS补丁时,默认使用的yumupdate-y对所有的安装包进行了升级升级完成后,让应用方检查确认应用及功能是否一切正常,如果不正......
  • 11. 盛最多水的容器
    11.盛最多水的容器给定一个长度为n的整数数组 height 。有 n 条垂线,第i条线的两个端点是 (i,0) 和 (i,height[i]) 。找出其中的两条线,使得它们与 x ......
  • 关于docker-环境部署及拉取镜像创建容器的过程记录
    背景:因安全部门要求对特定几台应用主机的进行漏洞及脆弱性扫描,使用的工具需要基于docker环境,即他们提供镜像,让我们创建成容器,于是将整个环境安装及创建docker容器的过程记......
  • Spring框架1——IOC容器
    一 初识IOC。 1.创建一个空项目,导入相关的jar包。在官网下载Spring压缩包,以下与Spring相关的jar包在其libs目录下找到。       2.编写一个User类。......
  • docker 容器修改保存
    修改的容器保存命令 语法:dockercommit[OPTIONS]容器ID[REPOSITORY[:TAG]]OPTIONS说明:-a:提交的镜像作者; -c:使用Dockerfile指令来创建镜像; -m:提......
  • 依赖注入和依赖注入容器
    依赖注入和依赖注入容器这依赖注入是一种有助于避免模块中的硬编码依赖性的模式,使调用者有权更改它们并在他们想要的地方提供自己的。让我们通过一个例子来弄清楚它需要......
  • 容器类型转换
    1、tuple()将某个序列转换成元组2、list()将某个序列转换成列表3.set()将某个列表转换成集合注意:集合可以快速完成列表去重集合不支持下标list1=[10,20......
  • 搭建ELK及kafka日志收集环境之容器内置(filebeat)日志收集
    架构图1、构建tomcat镜像1.1、基础环境准备 1.2、build-command脚本与Dockefile准备[root@easzlab-images-02tomcat-base]#catbuild-command.sh#!/bin/bashT......
  • Docker容器数据卷
    什么是容器数据卷如果数据都在容器中,如果容器一删除,那么数据就会丢失。我们希望数据存储在本地。容器之间可以有一个数据共享的技术,Docker容器产生的数据,同步到本地,这就......
  • docker --link容器互联
    目录一.系统环境二.docker容器互联概述2.1docker容器互联的三种方式2.2docker--link使用注意事项2.3docker--link原理三.docker容器互联3.1通过容器IP地址进行通信3.......