首页 > 其他分享 >Docker 进阶篇-CIG 重量级监控系统

Docker 进阶篇-CIG 重量级监控系统

时间:2024-09-17 09:23:57浏览次数:1  
标签:CIG CAdvisor influxdb grafana 进阶篇 InfluxDB 监控 Docker cadvisor

上一篇讲的是轻量级的监控工具,本文就来讲重量级的: CAdvisor + InfluxDB + Granfana,简称 CIG。

docker stats

原生的 Docker 命令中,stats 可以查看每个容器占用的 CPU,内存,网络流量等情况:

CONTAINER ID  NAME       CPU %    MEM USAGE / LIMIT    MEM %    NET I/O           BLOCK I/O     PIDS
f9480daf14c6  mynginx    0.00%    1.445MiB / 3.701GiB  0.04%    2.55kB / 2.43kB   0B / 15.9kB   2
b31770c6aef2  wonderful  0.00%    2.164MiB / 3.701GiB  0.06%    830B / 0B         9.97MB / 0B   2
740c27663f2c  portainer  0.00%    13.36MiB / 3.701GiB  0.35%    687kB / 16.6MB    0B / 5.76MB   7

stats 统计结果只能是当前宿主机的全部容器,数据是实时的,不会存储、也没有健康指标过线预警等功能。

CIG 是什么

每个技术的作用:

  • CAdvisor:监控收集
  • InfluxDB:存储数据
  • Granfana:展示图表

示意图:

CAdvisor

一个容器资源监控工具,包括容器的内存,CPU,网络 IO,磁盘 IO 等监控,同时提供了一个 WEB 页面用于查看容器的实时运行状态。CAdvisor 默认存储 2 分钟的数据,而且只是针对单物理机。

不过,CAdvisor 提供了很多数据集成接口,支持 InfluxDB,Redis,Kafka,Elasticsearch 等集成,可以加上对应配置将监控数据发往这些数据库存储起来。

CAdvisor 功能主要有两点:

  • 展示 Host 和容器两个层次的监控数据。
  • 展示历史变化数据。

InfluxDB

InfluxDB 是用 Go 语言编写的一个开源分布式时序、事件和指标数据库,无需外部依赖。

CAdvisor 默认只在本机保存最近 2 分钟的数据,为了持久化存储数据和统一收集展示监控数据,需要将数据存储到 InfluxDB 中。InfluxDB 是一个时序数据库,专门用于存储时序相关数据,很适合存储 CAdvisor 的数据。而且,CAdvisor 本身已经提供了 InfluxDB 的集成方法,启动容器时指定配置即可。

InfluxDB 主要功能:

  • 基于时间序列,支持与时间有关的相关函数(如最大、最小、求和等);
  • 可度量性:你可以实时对大量数据进行计算;
  • 基于事件:它支持任意的事件数据

Granfana

Grafana 是一个开源的数据监控分析可视化平台,支持多种数据源配置(InfluxDB,MySQL,Elasticsearch,OpenTSDB,Graphite 等)和丰富的插件及模板功能,支持图表权限控制和报警。

Grafan 主要特性:

  • 灵活丰富的图形化选项
  • 可以混合多种风格
  • 支持白天和夜间模式
  • 多个数据源

使用 compose 一键搭建监控平台

我们使用 compose,一键启动 cadvisor,influxdb 以及 grafana。当然也可以逐个启动,不过既然我们学了 compose,就用起来。

编写 /mydocker/cig/docker-compose.yml:

version: '3.1'

volumes:
  grafana_data: {}

services:
 influxdb:
  image: tutum/influxdb:0.9
  restart: always
  environment:
    - PRE_CREATE_DB=cadvisor
  ports:
    - "8083:8083"
    - "8086:8086"
  volumes:
    - ./data/influxdb:/data

 cadvisor:
  image: google/cadvisor
  links:
    - influxdb:influxsrv
  command: -storage_driver=influxdb -storage_driver_db=cadvisor -storage_driver_host=influxsrv:8086
  restart: always
  ports:
    - "8080:8080"
  volumes:
    - /:/rootfs:ro
    - /var/run:/var/run:rw
    - /sys:/sys:ro
    - /var/lib/docker/:/var/lib/docker:ro

 grafana:
  user: "104"
  image: grafana/grafana
  restart: always
  links:
    - influxdb:influxsrv
  ports:
    - "3000:3000"
  volumes:
    - grafana_data:/var/lib/grafana
  environment:
    - HTTP_USER=admin
    - HTTP_PASS=admin
    - INFLUXDB_HOST=influxsrv
    - INFLUXDB_PORT=8086
    - INFLUXDB_NAME=cadvisor
    - INFLUXDB_USER=root
    - INFLUXDB_PASS=root

说明:

  • 第 11 行 PRE_CREATE_DB=cadvisor​,预先创建一个数据库,用来存储数据。有点类似我们之前微服务实战中创建的数据库 db2021
  • 第 20 行:links​,配置的是 influxdb​,相当于 CAdvisor 集成​ influxdb
  • 第 22 行:配置 CAdvisor ​使用的驱动(类似 JDBC 驱动类型)

然后检查下配置文件有没错:

docker compose config -q

然后启动(注意要用到 8080 端口,因此如果有 Tomcat 监听了该端口,得先关闭。启动完记得用 ps 检查下):

docker compose up -d

测试

然后我们访问并测试:

cAdvisor 第一次访问慢,要等一下;cadvisor 也有基础的图形展现功能,这里主要用它来作数据采集

influxdb:可以做一些查询工作,例如展现数据库:

8083 是 web 端口,后台监听的是 8086 端口

选中 query templates,在输入框回车,即可看到查询结果,有我们之前定义的 cadvisor:

访问 grafana,默认帐户密码为 admin/admin,首次登录后需要改密。

登录后,我们给 grafana 配置数据源:

grafana 支持很多数据库,这里我们选择 InfluxDB

然后我们配置名字和网址:

数据库名以及用户密码,然后测试,成功的话会出现“Data Source is working”:

​​

接下来我们配置新的面板:

​​

然后选择面板的形状(例如柱状图,圆饼图等,这里我们选择经典的 graph):

然后下方有详细的配置,这里我们随便配置下名字和描述,然后保存:

然后图形化界面就好了,但是没有数据:

没有数据是因为还没配置要监控什么内容。我们选择编辑:

在下方可以添加监控指标,例如监控 CPU,监控内存等;

这里我们写一个监控 CPU 的:指标选择 CPU 使用情况,然后根据容器名字来查询,容器名字为 cig-cadvisor-1,然后下面可以起个别名:

配置完后在右上方选择保存,并回退到刚刚的面板,可以看到有数据了:

该图形化界面功能还是很多的,多点点就会了,或者看官网文档来配置。

(完)

标签:CIG,CAdvisor,influxdb,grafana,进阶篇,InfluxDB,监控,Docker,cadvisor
From: https://www.cnblogs.com/PeterJXL/p/18416909

相关文章

  • docker-compose 安装activemq、rocketmq
    目录结构创建目录#activemq目录mkdir-p/docker/activemq/datamkdir-p/docker/activemq/conf#rocket目录mkdir-p/docker/rocketmq/broker1/confmkdir-p/docker/rocketmq/broker1/logsmkdir-p/docker/rocketmq/broker1/storemkdir-p/docker/rocketmq/names......
  • ubuntu安装docker
    设置Docker的存储库AddDocker'sofficialGPGkey:sudoapt-getupdatesudoapt-getinstallca-certificatescurlsudoinstall-m0755-d/etc/apt/keyringssudocurl-fsSLhttps://download.docker.com/linux/ubuntu/gpg-o/etc/apt/keyrings/docker.ascsudoch......
  • 堪称最优秀的 Docker 可视化管理工具 ——Portainer
    随着Docker内实例越来越多,就得涉及到监控以及统计的需求:有多少个容器?运行的有几个?有哪些容器CPU使用率低?...Portainer是一款轻量级的应用,它提供了图形化界面,用于方便地管理Docker环境,包括单机环境和集群环境。‍启动与登录官网:portainer.io安装文档:https://docs.porta......
  • 初识Docker容器
    初识Docker容器1.什么是DockerDocker是一个开源的容器化平台,用于自动化部署和管理应用程序。它通过将应用程序及其所有依赖打包成一个轻量级、可移植的容器来解决传统虚拟化中的性能开销问题。Docker容器可以在任何支持Docker的环境中运行,无论是本地开发环境、测试服务器......
  • HTTP Status 404 – Not Found Docker Tomcat Image
    这没有错误,由于Docker社区提出的安全问题,它被设计为具有这样的行为。您可以在DockerHub中的Tomcat镜像官方文档中找到有关安全性的信息。根据社区请求,Webapps文档夹将移动到webapps.dist文档夹,这意味着webapps文档夹为空,并且浏览器上没有要提供的文档。这时,您会看......
  • C++数据结构-二叉树的三种遍历方法(进阶篇)
    1.遍历简介:树作为非线性数据结构,在我们取出数据时就需要设计遍历,所谓遍历,就是按照一定的规则性,将数据结构中的所有数据全部依次访问,而二叉树本身并不具有天然的全局次序,故为实现遍历,需通过在各节点与其孩子之间约定某种局部次序,间接地定义某种全局次序,这便是我们常规定的先序......
  • Linux内存管理知识-一篇文章了解堆和栈区别(进阶篇)
    前面已经介绍过,栈是由编译器在需要时分配的,不需要时自动清除的变量存储区。里面的变量通常是局部变量、函数参数等。堆是由malloc()函数分配的内存块,内存释放由程序员手动控制,在C语言为free函数完成。栈和堆的主要区别有以下几点:(1)管理方式不同栈编译器自动管理,无需程序员手......
  • 一步到位:通过 Docker Compose 部署 EFK 进行 Docker 日志采集
    一、EFK简介Elasticsearch:一个开源的分布式搜索和分析引擎,用于存储和查询日志数据。它是EFK的核心组件,负责高效地存储和检索日志信息。Filebeat:一个轻量级的日志采集器,主要用于将日志文件数据发送到Logstash或Elasticsearch。Filebeat设计用于高效地转发和处理日志......
  • 关于 Docker
    这是个不怎么大众的技术,因为很多时候,你事实上是没有把东西打包带走的需求的。但是,据说很多人来杭州第一个项目,研究这个事情怎么搞。well,我适应适应。 第一,概念。image镜像docker中的静态元素;container是image实例。所以原则上,一个image声称多个container,暂时理解为......
  • Docker 网络基本概念
    在之前讲Redis集群搭建的时候,我们用过一个选项--nethost​,现在就来讲讲该选项,以及Docker的网络。dockerrun-d--nameredis-node-1--nethost--privileged=true-v/data/redis/share/redis-node-1:/dataredis:6.0.8--cluster-enabledyes--appendonlyyes--port6......