一、prometheus 简介
1.简介
Prometheus是基于go语⾔开发的⼀套开源的监控、报警和时间序列数据库的组合，是由SoundCloud公司开发的开源监控系统， Prometheus于2016年加⼊CNCF（Cloud Native Computing Foundation,
云原⽣计算基⾦会） ,2018年8⽉9⽇prometheus成为CNCF继kubernetes 之后毕业的第⼆个项⽬，prometheus在容器和微服务领域中得到了⼴泛的应⽤，其特点主要如下：
使⽤key-value的多维度(多个⻆度，多个层⾯，多个⽅⾯)格式保存数据
数据不使⽤MySQL这样的传统数据库，⽽是使⽤时序数据库，⽬前是使⽤的TSDB
⽀持第三⽅dashboard实现更绚丽的图形界⾯，如grafana(Grafana 2.5.0版本及以上)
组件模块化
不需要依赖存储，数据可以本地保存也可以远程保存
平均每个采样点仅占3.5 bytes，且⼀个Prometheus server可以处理数百万级别的的metrics指标数据。
⽀持服务⾃动化发现(基于consul等⽅式动态发现被监控的⽬标服务)
强⼤的数据查询语句功(PromQL,Prometheus Query Language)
数据可以直接进⾏算术运算
易于横向伸缩
众多官⽅和第三⽅的exporter实现不同的指标数据收集2.为什么使⽤Prometheus
容器监控的实现⽅对⽐虚拟机或者物理机来说⽐⼤的区别，⽐如容器在k8s环境中可以任意横向扩容与缩容，那么就需要监控服务能够⾃动对新创建的容器进⾏监控，当容器删除后⼜能够及时的从监控服务
中删除，⽽传统的zabbix的监控⽅式需要在每⼀个容器中安装启动agent，并且在容器⾃动发现注册及模板关联⽅⾯并没有⽐较好的实现⽅式。3.Prometheus 架构图
prometheus server：主服务，接受外部http请求，收集、存储与查询数据等
prometheus targets: 静态收集的⽬标服务数据
service discovery：动态发现服务
prometheus alerting：报警通知
push gateway：数据收集代理服务器(类似于zabbix proxy)
data visualization and export： 数据可视化与数据导出(访问客户端)
二、 部署Prometheus Server 方式
可以通过不同的⽅式安装部署prometheus监控环境，虽然以下的多种安装⽅式演示了不同的部署⽅式，但是实际⽣产环境只需要根据实际需求选择其中⼀种⽅式部署即可，不过⽆论是使⽤哪⼀种⽅式安装部署的prometheus server，以后的使⽤都是⼀样的，为了更好的学习后续的笔记⼤部分以⼆进制安装环境为例，其它会做简单的对应介绍，目前主要有以下的安装方式：
1.docker-compose部署
2.Operator 部署
3.Helm部署
4.二进制部署1.docker-compose部署
vim .env
ADMIN_USER=admin
ADMIN_PASSWORD=admin
git clone https://github.com/Einsteinish/Docker-Compose-Prometheus-and-Grafana.git #同时部署了grafana
cd Docker-Compose-Prometheus-and-Grafana
docker-compose up -d #相关配置自行修改，启动后访问本机9090端口2.Operator 部署
Operator部署器是基于已经编写好的yaml⽂件，可以将prometheus server、 alertmanager、grafana、 node-exporter等组件⼀键批量部署，相关配置自行修改
git clone -b v0.10.0 https://github.com/prometheus-operator/kubeprometheus.git
cd kube-prometheus/
vim manifests/prometheus-service.yaml
spec:
type: NodePort #修改为NodePort便于访问，或者通过ingress
kubectl apply --server-side -f manifests/setup
kubectl apply -f manifests/ #有些镜像⽆法下载需要⾃⾏解决
kubectl get pods -n monitoring #正常后访问节点IP：prometheus svc nodeport端口3.helm部署
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update
helm search repo prometheus-community
kubectl create ns monitoring
helm install prometheus-operator --set rbacEnable=true --namespace=monitoring --wait prometheus-community/prometheus-operator #相关配置自行修改
#修改svc类型或者直接使用ingress
kubectl -n monitoring patch svc prometheus-operator-grafana -p '{"spec":{"type":"NodePort"}}'
kubectl -n monitoring patch svc prometheus-operator-prometheus -p '{"spec":{"type":"NodePort"}}'
获取grafana admin用户密码
kubectl -n monitoring get secrets |grep Opaque|grep grafana|awk '{print $1}'|xargs kubectl -n monitoring get secrets -o yaml|grep admin-password|grep -v f:|awk -F "admin-password: " '{print $2}'|base64 -d4.二进制部署
wget https://github.com/prometheus/prometheus/releases/download/v2.36.0/prometheus-2.36.0.linux-amd64.tar.gz
tar xf prometheus-2.36.0.linux-amd64.tar.gz -C /usr/local/
cd /usr/local
ln -sv prometheus-2.36.0.linux-amd64 prometheus
vim /usr/lib/systemd/system/prometheus.service #二进制和配置文件根据实际情况替换，命令行参数通过命令帮助获取
[Unit]
Description=prometheus
[Service]
ExecStart=/usr/local/prometheus/prometheus --config.file=/usr/local/prometheus/prometheus.yml --storage.tsdb.path=/data/prometheus --web.enable-lifecycle
ExecReload=/bin/kill -HUP $MAINPID
KillMode=process
Restart=on-failure
RestartSecs=5s
SuccessExitStatus=0
LimitNOFILE=655360
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=prometheus
[Install]
WantedBy=multi-user.target
systemctl daemon-reload
systemctl start prometheus.service
systemctl enable prometheus.service
netstat -tnlp #访问本机9090端口三、二进制安装node-export并配置prometheus抓取数据
k8s各node节点使⽤⼆进制或者daemonset⽅式安装node_exporter，⽤于收集各k8s node节点宿主机的监控指标数据，默认监听端⼝为9100
1.安装node-export
wget https://github.com/prometheus/node_exporter/releases/download/v1.3.1/node_exporter-1.3.1.linux-amd64.tar.gz
tar xf node_exporter-1.3.1.linux-amd64.tar.gz -C /usr/local
cd /usr/local/
ln -sv node_exporter-1.3.1.linux-amd64/ node_exporter
vim /usr/lib/systemd/system/node-exporter.service #没什么配置参数
[Unit]
Description=Prometheus Node Exporter
After=network.target
[Service]
ExecStart=/usr/local/node_exporter/node_exporter
[Install]
WantedBy=multi-user.target
systemctl daemon-reload && systemctl restart node-exporter
systemctl enable node-exporter
netstat -tnlp #默认91002.访问node exporter web界⾯验证安装
访问地址：节点ip:9100/metrics,正常情况下会显示当前节点信息
node-exporter常⻅指标
node_boot_time：系统⾃启动以后的总结时间
node_cpu：系统CPU使⽤量
node_disk*：磁盘IO
node_filesystem*：系统⽂件系统⽤量
node_load1：系统CPU负载
node_memeory*：内存使⽤量
node_network*：⽹络带宽指标
node_time：当前系统时间
go_*： node exporter中go相关指标
process_*： node exporter⾃身进程相关运⾏指标3.配置prometheus server收集node-exporter指标数据
1.修改prometheus配置文件
vim /usr/local/prometheus/prometheus.yml
#在proemtheus job下添加需要抓取的target的，根据实际情况修改
scrape_configs:
- job_name: "prometheus"
static_configs:
- targets: ["localhost:9090","192.168.100.131:9100","192.168.100.132:9100"]
2.更新配置
curl -X POST http://127.0.0.1:9090/-/reload #启动时需要添加开启热更新参数4.验证node数据抓取
prometheus图形数据展示
参考文档：
https://github.com/prometheus/prometheus
https://github.com/prometheus/node_exporter
"一劳永逸" 的话，有是有的，而 "一劳永逸" 的事却极少