prometheus学习笔记之简介与安装

一、prometheus 简介

1.简介

Prometheus是基于go语⾔开发的⼀套开源的监控、报警和时间序列数据库的组合，是由SoundCloud公司开发的开源监控系统， Prometheus于2016年加⼊CNCF（Cloud Native Computing Foundation,
云原⽣计算基⾦会） ,2018年8⽉9⽇prometheus成为CNCF继kubernetes 之后毕业的第⼆个项⽬，prometheus在容器和微服务领域中得到了⼴泛的应⽤，其特点主要如下：
  使⽤key-value的多维度(多个⻆度，多个层⾯，多个⽅⾯)格式保存数据
  数据不使⽤MySQL这样的传统数据库，⽽是使⽤时序数据库，⽬前是使⽤的TSDB
  ⽀持第三⽅dashboard实现更绚丽的图形界⾯，如grafana(Grafana 2.5.0版本及以上)
  组件模块化
  不需要依赖存储，数据可以本地保存也可以远程保存
  平均每个采样点仅占3.5 bytes，且⼀个Prometheus server可以处理数百万级别的的metrics指标数据。
  ⽀持服务⾃动化发现(基于consul等⽅式动态发现被监控的⽬标服务)
  强⼤的数据查询语句功(PromQL,Prometheus Query Language)
  数据可以直接进⾏算术运算
  易于横向伸缩
  众多官⽅和第三⽅的exporter实现不同的指标数据收集

2.为什么使⽤Prometheus

容器监控的实现⽅对⽐虚拟机或者物理机来说⽐⼤的区别，⽐如容器在k8s环境中可以任意横向扩容与缩容，那么就需要监控服务能够⾃动对新创建的容器进⾏监控，当容器删除后⼜能够及时的从监控服务
中删除，⽽传统的zabbix的监控⽅式需要在每⼀个容器中安装启动agent，并且在容器⾃动发现注册及模板关联⽅⾯并没有⽐较好的实现⽅式。

3.Prometheus 架构图

prometheus server：主服务，接受外部http请求，收集、存储与查询数据等
prometheus targets: 静态收集的⽬标服务数据
service discovery：动态发现服务
prometheus alerting：报警通知
push gateway：数据收集代理服务器(类似于zabbix proxy)
data visualization and export： 数据可视化与数据导出(访问客户端)

二、 部署Prometheus Server 方式

可以通过不同的⽅式安装部署prometheus监控环境，虽然以下的多种安装⽅式演示了不同的部署⽅式，但是实际⽣产环境只需要根据实际需求选择其中⼀种⽅式部署即可，不过⽆论是使⽤哪⼀种⽅式安装部署的prometheus server，以后的使⽤都是⼀样的，为了更好的学习后续的笔记⼤部分以⼆进制安装环境为例，其它会做简单的对应介绍，目前主要有以下的安装方式：
1.docker-compose部署
2.Operator 部署
3.Helm部署
4.二进制部署

1.docker-compose部署

vim .env
ADMIN_USER=admin  
ADMIN_PASSWORD=admin

git clone https://github.com/Einsteinish/Docker-Compose-Prometheus-and-Grafana.git #同时部署了grafana
cd Docker-Compose-Prometheus-and-Grafana
docker-compose up -d #相关配置自行修改，启动后访问本机9090端口

2.Operator 部署

Operator部署器是基于已经编写好的yaml⽂件，可以将prometheus server、 alertmanager、grafana、 node-exporter等组件⼀键批量部署，相关配置自行修改

git clone -b v0.10.0 https://github.com/prometheus-operator/kubeprometheus.git
cd kube-prometheus/
vim manifests/prometheus-service.yaml
spec:
type: NodePort #修改为NodePort便于访问，或者通过ingress

kubectl apply --server-side -f manifests/setup
kubectl apply -f manifests/ #有些镜像⽆法下载需要⾃⾏解决
kubectl get pods -n monitoring #正常后访问节点IP：prometheus svc nodeport端口

3.helm部署

helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update
helm search repo prometheus-community
kubectl create ns monitoring
helm install prometheus-operator --set rbacEnable=true --namespace=monitoring  --wait prometheus-community/prometheus-operator #相关配置自行修改

#修改svc类型或者直接使用ingress
kubectl -n monitoring patch svc prometheus-operator-grafana -p '{"spec":{"type":"NodePort"}}'
kubectl -n monitoring patch svc prometheus-operator-prometheus -p '{"spec":{"type":"NodePort"}}'
获取grafana admin用户密码
kubectl  -n monitoring get secrets |grep Opaque|grep grafana|awk '{print $1}'|xargs kubectl -n monitoring get secrets -o yaml|grep admin-password|grep -v f:|awk -F "admin-password: " '{print $2}'|base64 -d

4.二进制部署

wget https://github.com/prometheus/prometheus/releases/download/v2.36.0/prometheus-2.36.0.linux-amd64.tar.gz
tar xf prometheus-2.36.0.linux-amd64.tar.gz -C /usr/local/
cd /usr/local
ln -sv prometheus-2.36.0.linux-amd64 prometheus

vim /usr/lib/systemd/system/prometheus.service #二进制和配置文件根据实际情况替换，命令行参数通过命令帮助获取
[Unit]
Description=prometheus
[Service]
ExecStart=/usr/local/prometheus/prometheus --config.file=/usr/local/prometheus/prometheus.yml --storage.tsdb.path=/data/prometheus --web.enable-lifecycle
ExecReload=/bin/kill -HUP $MAINPID
KillMode=process
Restart=on-failure
RestartSecs=5s
SuccessExitStatus=0
LimitNOFILE=655360
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=prometheus
[Install]
WantedBy=multi-user.target

systemctl   daemon-reload
systemctl   start prometheus.service
systemctl  enable prometheus.service
netstat -tnlp #访问本机9090端口

三、二进制安装node-export并配置prometheus抓取数据

k8s各node节点使⽤⼆进制或者daemonset⽅式安装node_exporter，⽤于收集各k8s node节点宿主机的监控指标数据，默认监听端⼝为9100

1.安装node-export

wget https://github.com/prometheus/node_exporter/releases/download/v1.3.1/node_exporter-1.3.1.linux-amd64.tar.gz
tar xf node_exporter-1.3.1.linux-amd64.tar.gz -C /usr/local
cd /usr/local/
ln -sv node_exporter-1.3.1.linux-amd64/ node_exporter

vim /usr/lib/systemd/system/node-exporter.service #没什么配置参数
[Unit]
Description=Prometheus Node Exporter
After=network.target

[Service]
ExecStart=/usr/local/node_exporter/node_exporter

[Install]
WantedBy=multi-user.target

systemctl   daemon-reload &&  systemctl  restart node-exporter
systemctl  enable  node-exporter
netstat -tnlp #默认9100

2.访问node exporter web界⾯验证安装

访问地址：节点ip:9100/metrics,正常情况下会显示当前节点信息

node-exporter常⻅指标

node_boot_time：系统⾃启动以后的总结时间
node_cpu：系统CPU使⽤量
node_disk*：磁盘IO
node_filesystem*：系统⽂件系统⽤量
node_load1：系统CPU负载
node_memeory*：内存使⽤量
node_network*：⽹络带宽指标
node_time：当前系统时间
go_*： node exporter中go相关指标
process_*： node exporter⾃身进程相关运⾏指标

3.配置prometheus server收集node-exporter指标数据

1.修改prometheus配置文件
vim /usr/local/prometheus/prometheus.yml
#在proemtheus job下添加需要抓取的target的，根据实际情况修改
scrape_configs:
  - job_name: "prometheus"
    static_configs:
      - targets: ["localhost:9090","192.168.100.131:9100","192.168.100.132:9100"]


2.更新配置
curl -X POST http://127.0.0.1:9090/-/reload  #启动时需要添加开启热更新参数

4.验证node数据抓取

prometheus图形数据展示

 参考文档：

https://prometheus.io/

https://github.com/prometheus/prometheus

https://github.com/prometheus/node_exporter