rancher prometheus监控API未就绪

• rancher prometheus监控API未就绪
  • 背景
  • 问题排查
  • 问题解决

rancher prometheus监控API未就绪

背景

rancher在应用商店部署了自带的prometheus后，由于闲杂人员比较多，发现监控每隔一段时间就不可用，显示 监控API未就绪，在百度上有一些说是由于启用监控后又禁止了监控再启用导致的，这里记录下本次解决方法

问题排查

下面是报红的prometheus监控（这里已经修复了）

点进去后可以看到这里用的是statefuleset控制器，prometheus监控和 prometheus-agent一直报红（这里是修复后的）

查看prometheus-agent报错日志：

[root@yuanian-61-74 ~]# docker logs -f --tail 200 ba69c3fa9f3b
INFO[2022-11-14T07:19:15Z] listening on 10.42.11.147:9090, proxying to http://127.0.0.1:9090 with ignoring 'remote reader' labels [prometheus,prometheus_replica], only allow maximum 512 connections with 5m0s r
ead timeout . INFO[2022-11-14T07:19:15Z] Start listening for connections on 10.42.11.147:9090 
2022/11/14 07:20:17 http: proxy error: dial tcp 127.0.0.1:9090: connect: connection refused

而promethues的监控也是报错连接127.0.0.1:9090连接不上，初步推断是9090端口挂了或者绑定的ip地址不对，因为从日志中可以看出，这是一个cs架构，server端启动了一个9090的端口，client连接127.0.0.1:9090被拒绝

问题解决

//打开statefuleset的yml文件
rancher kubectl  edit statefulset  prometheus-cluster-monitoring -n cattle-prometheus

联合整个yml文件看，cli不是直接连server，而是连接了server的一个proxy，而proxy是代理的$(POD_IP):9090,这里改成127.0.0.1:9090
:wq退出保存

发现服务访问正常