k8s节点宕机排查

查看集群信息发现节点宕机

排查：
1、查看服务器的物理环境
free -mh/df -h
2、查看内存是否溢出，磁盘空间是否够用，经查均在正常使用范围内；
3、top查看cpu使用状态，在可用范围内；
4、再查master组件scheduer，controller-manager，apiserver等都在正常运行；
5、查看node详细信息
[root@master ~]# kubectl describe nodes w1

7、登录node所在机器
查看kubelet状态

虽显示启动状态，但下面的事项说明中表名他其实是启动失败了的。
查看日志：[root@node1 ~]# journalctl -u kubelet

发现报错:

"Failed to run kubelet" err="failed to run Kubelet: misconfiguration: kubelet cgroup driver: \"systemd\" is different from docker cgroup driver: \"cgroupfs\""
1
由此可知，kubernets所使用的驱动与docker所使用驱动不同，导致kubelet启动失败。
这里我们将docker驱动修改与kubelet驱动一致即可解决。
修改配置文件：
[root@node1 ~]# vim /etc/docker/daemon.json
添加如下配置即可

最后重启docker，kubelet即可
[root@node1 ~]# systemctl daemon-reload
[root@node1 ~]# systemctl restart docker
[root@node1 ~]# systemctl restart kubelet
回到master节点进行查验

node已为ready状态。