首页 > 其他分享 >prometheus学习笔记之简介与安装

prometheus学习笔记之简介与安装

时间:2024-08-20 19:27:31浏览次数:12  
标签:node exporter 部署 简介 Prometheus 笔记 prometheus usr

一、prometheus 简介

1.简介

Prometheus是基于go语⾔开发的⼀套开源的监控、报警和时间序列数据库的组合,是由SoundCloud公司开发的开源监控系统, Prometheus于2016年加⼊CNCF(Cloud Native Computing Foundation,
云原⽣计算基⾦会) ,2018年8⽉9⽇prometheus成为CNCF继kubernetes 之后毕业的第⼆个项⽬,prometheus在容器和微服务领域中得到了⼴泛的应⽤,其特点主要如下:
  使⽤key-value的多维度(多个⻆度,多个层⾯,多个⽅⾯)格式保存数据
  数据不使⽤MySQL这样的传统数据库,⽽是使⽤时序数据库,⽬前是使⽤的TSDB
  ⽀持第三⽅dashboard实现更绚丽的图形界⾯,如grafana(Grafana 2.5.0版本及以上)
  组件模块化
  不需要依赖存储,数据可以本地保存也可以远程保存
  平均每个采样点仅占3.5 bytes,且⼀个Prometheus server可以处理数百万级别的的metrics指标数据。
  ⽀持服务⾃动化发现(基于consul等⽅式动态发现被监控的⽬标服务)
  强⼤的数据查询语句功(PromQL,Prometheus Query Language)
  数据可以直接进⾏算术运算
  易于横向伸缩
  众多官⽅和第三⽅的exporter实现不同的指标数据收集

2.为什么使⽤Prometheus

容器监控的实现⽅对⽐虚拟机或者物理机来说⽐⼤的区别,⽐如容器在k8s环境中可以任意横向扩容与缩容,那么就需要监控服务能够⾃动对新创建的容器进⾏监控,当容器删除后⼜能够及时的从监控服务
中删除,⽽传统的zabbix的监控⽅式需要在每⼀个容器中安装启动agent,并且在容器⾃动发现注册及模板关联⽅⾯并没有⽐较好的实现⽅式。

3.Prometheus 架构图

prometheus server:主服务,接受外部http请求,收集、存储与查询数据等
prometheus targets: 静态收集的⽬标服务数据
service discovery:动态发现服务
prometheus alerting:报警通知
push gateway:数据收集代理服务器(类似于zabbix proxy)
data visualization and export: 数据可视化与数据导出(访问客户端)

二、 部署Prometheus Server 方式

可以通过不同的⽅式安装部署prometheus监控环境,虽然以下的多种安装⽅式演示了不同的部署⽅式,但是实际⽣产环境只需要根据实际需求选择其中⼀种⽅式部署即可,不过⽆论是使⽤哪⼀种⽅式安装部署的prometheus server,以后的使⽤都是⼀样的,为了更好的学习后续的笔记⼤部分以⼆进制安装环境为例,其它会做简单的对应介绍,目前主要有以下的安装方式:
1.docker-compose部署
2.Operator 部署
3.Helm部署
4.二进制部署

1.docker-compose部署

vim .env
ADMIN_USER=admin ADMIN_PASSWORD=admin git clone https://github.com/Einsteinish/Docker-Compose-Prometheus-and-Grafana.git #同时部署了grafana cd Docker-Compose-Prometheus-and-Grafana docker-compose up -d #相关配置自行修改,启动后访问本机9090端口

2.Operator 部署

Operator部署器是基于已经编写好的yaml⽂件,可以将prometheus server、 alertmanager、grafana、 node-exporter等组件⼀键批量部署,相关配置自行修改

git clone -b v0.10.0 https://github.com/prometheus-operator/kubeprometheus.git
cd kube-prometheus/
vim manifests/prometheus-service.yaml
spec:
type: NodePort #修改为NodePort便于访问,或者通过ingress

kubectl apply --server-side -f manifests/setup
kubectl apply -f manifests/ #有些镜像⽆法下载需要⾃⾏解决
kubectl get pods -n monitoring #正常后访问节点IP:prometheus svc nodeport端口

3.helm部署

helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update
helm search repo prometheus-community
kubectl create ns monitoring
helm install prometheus-operator --set rbacEnable=true --namespace=monitoring  --wait prometheus-community/prometheus-operator #相关配置自行修改

#修改svc类型或者直接使用ingress
kubectl -n monitoring patch svc prometheus-operator-grafana -p '{"spec":{"type":"NodePort"}}'
kubectl -n monitoring patch svc prometheus-operator-prometheus -p '{"spec":{"type":"NodePort"}}'
获取grafana admin用户密码
kubectl  -n monitoring get secrets |grep Opaque|grep grafana|awk '{print $1}'|xargs kubectl -n monitoring get secrets -o yaml|grep admin-password|grep -v f:|awk -F "admin-password: " '{print $2}'|base64 -d

4.二进制部署

wget https://github.com/prometheus/prometheus/releases/download/v2.36.0/prometheus-2.36.0.linux-amd64.tar.gz
tar xf prometheus-2.36.0.linux-amd64.tar.gz -C /usr/local/
cd /usr/local
ln -sv prometheus-2.36.0.linux-amd64 prometheus

vim /usr/lib/systemd/system/prometheus.service #二进制和配置文件根据实际情况替换,命令行参数通过命令帮助获取
[Unit]
Description=prometheus
[Service]
ExecStart=/usr/local/prometheus/prometheus --config.file=/usr/local/prometheus/prometheus.yml --storage.tsdb.path=/data/prometheus --web.enable-lifecycle
ExecReload=/bin/kill -HUP $MAINPID
KillMode=process
Restart=on-failure
RestartSecs=5s
SuccessExitStatus=0
LimitNOFILE=655360
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=prometheus
[Install]
WantedBy=multi-user.target

systemctl   daemon-reload
systemctl   start prometheus.service
systemctl  enable prometheus.service
netstat -tnlp #访问本机9090端口

三、二进制安装node-export并配置prometheus抓取数据

k8s各node节点使⽤⼆进制或者daemonset⽅式安装node_exporter,⽤于收集各k8s node节点宿主机的监控指标数据,默认监听端⼝为9100

1.安装node-export

wget https://github.com/prometheus/node_exporter/releases/download/v1.3.1/node_exporter-1.3.1.linux-amd64.tar.gz
tar xf node_exporter-1.3.1.linux-amd64.tar.gz -C /usr/local
cd /usr/local/
ln -sv node_exporter-1.3.1.linux-amd64/ node_exporter

vim /usr/lib/systemd/system/node-exporter.service #没什么配置参数
[Unit]
Description=Prometheus Node Exporter
After=network.target

[Service]
ExecStart=/usr/local/node_exporter/node_exporter

[Install]
WantedBy=multi-user.target

systemctl   daemon-reload &&  systemctl  restart node-exporter
systemctl  enable  node-exporter
netstat -tnlp #默认9100

2.访问node exporter web界⾯验证安装

访问地址:节点ip:9100/metrics,正常情况下会显示当前节点信息

node-exporter常⻅指标

node_boot_time:系统⾃启动以后的总结时间
node_cpu:系统CPU使⽤量
node_disk*:磁盘IO
node_filesystem*:系统⽂件系统⽤量
node_load1:系统CPU负载
node_memeory*:内存使⽤量
node_network*:⽹络带宽指标
node_time:当前系统时间
go_*: node exporter中go相关指标
process_*: node exporter⾃身进程相关运⾏指标

3.配置prometheus server收集node-exporter指标数据

1.修改prometheus配置文件
vim /usr/local/prometheus/prometheus.yml
#在proemtheus job下添加需要抓取的target的,根据实际情况修改
scrape_configs:
  - job_name: "prometheus"
    static_configs:
      - targets: ["localhost:9090","192.168.100.131:9100","192.168.100.132:9100"]


2.更新配置
curl -X POST http://127.0.0.1:9090/-/reload  #启动时需要添加开启热更新参数

4.验证node数据抓取

prometheus图形数据展示

 参考文档:

https://prometheus.io/

https://github.com/prometheus/prometheus

https://github.com/prometheus/node_exporter

标签:node,exporter,部署,简介,Prometheus,笔记,prometheus,usr
From: https://www.cnblogs.com/panwenbin-logs/p/18370049

相关文章

  • 【内网渗透】最保姆级的春秋云镜initial打靶笔记
    目录flag1flag2flag3 flag1外网thinkphp服务 随便找个工具梭连蚁剑读/root目录要提权suid没有可利用的提权命令,打sudo提权sudo-lmysql的sudo提权 Linux提权之Sudo70种提权方法-简单安全 查看文件名带flag的文件sudomysql-e'\!find/-typef-n......
  • go的github.com/prometheus如何在单测中校验值是否正确
    假如我的指标定义如下:MetricGroupStatGauge=prometheus.NewGaugeVec(prometheus.GaugeOpts{ Name:"test", Help:"test",},[]string{"name","age","sex"})...忽略对指标添加数据的代码那么如何取值进行校验呢?注意:GetMetricWithLabelValues(&......
  • [Android 逆向整理笔记] Frida
    妈的终于考过科目三了......
  • Prometheus监控系统
    1、Prometheus概述Prometheus是一个开源的服务监控系统和时序数据库,其提供了通用的数据模型和快捷数据采集、存储和查询接口。它的核心组件Prometheusserver会定期从静态配置的监控目标或者基于服务发现自动配置的目标中进行拉取数据,新拉取到的数据会持久化到存储设备当中......
  • 《给所有人的生成式 AI 课》学习笔记(二)
    前言本文是吴恩达(AndrewNg)的视频课程《GenerativeAIforEveryone》(给所有人的生成式AI课)的学习笔记。由于原课程为全英文视频课程(时长约3个小时),且国内访问较慢,阅读本文可快速学习课程内容。课程介绍本课程帮助大家了解生成式人工智能的工作原理,以及如何在生活和工......
  • 学习达梦hint注入笔记
    1.创建表droptabletest;SQL>createtabletest(idint,infovarchar);操作已执行SQL>insertintotestselectlevel,'a'fromdualconnectbylevel<=10000;影响行数10000SQL>createindexidx_test_idontest(id);操作已执行SQL>stat100ontest(id......
  • 树形 dp 做题笔记
    在这个随笔中,会有笔者的一些做题笔记,包括但不限于树形dp的思想、解题技巧、代码实现等。CF1926GVladandTroubleatMIT\(\texttt{*1900}\)。TAG:\(\texttt{树形dp}\)\(dp_{i,S,P}\)为\(i\)的子树内是否存在S和P的状态。转移方程为:当\(s_i\)为C时dp[x]......
  • THLM论文阅读笔记
    PretrainingLanguageModelswithText-AttributedHeterogeneousGraphs论文阅读笔记Abstract现存的问题:​ 目前语言模型(LM)的预训练任务主要集中在单独学习每个实体的文本信息,而忽略了捕捉TAHGs中实体间拓扑连接的关键环节。提出方法:​ 本文提出了一种新的LM预训练框架......
  • TCP 通信-Qt-思维导图-学习笔记
    TCP通信TCP简介TCP协议概述全称:TransmissionControlProtocol(传输控制协议)特性:面向连接、可靠、基于字节流的传输层通信协议TCP通信流程建立连接:TCP通信必须先建立连接通信端:分为客户端和服务端服务端操作监听端口:服务端监听某个端口,等待客户端连接......
  • 存储保护单元(MPU)的简介
    MPU主要解决了软件的隔离问题,防止不同任务或错误的代码访问或破坏关键数据区。特别是在多任务操作系统中,MPU通过定义不同的内存区域,为每个任务分配独立的内存区域,确保了操作系统的核心安全和数据的完整性。MPU支持分成8个region,每个region又可以分成更小的子region,但是子rei......