在K8S中，节点状态notReady如何排查?

在 Kubernetes (K8s) 集群中，当一个节点(Node)的状态变为NotReady时，意味着该节点可能无法运行Pod或不能正确响应Kubernetes控制平面。排查NotReady节点通常涉及以下步骤：

1. 获取基本信息

• 使用 kubectl 命令行工具获取节点状态：

  kubectl get nodes
  

• 检查具体出现问题的节点详情：

  kubectl describe node <node-name>
  

2. 检查事件(Event)

• 查看节点的事件以了解与NotReady状态相关联的具体错误：

  kubectl describe node <node-name> | grep -A 10 'Conditions:'
  

3. 条件(Conditions)分析

• 在输出中关注Conditions部分，特别是Ready状态及其原因和消息。
• 不同原因可能包括但不限于：
  • 网络问题：如节点与Master通信中断、CNI网络插件问题等。
  • Kubelet问题：kubelet进程未运行或配置错误。
  • 容器运行时问题：Docker、containerd或其他容器引擎未能启动或报告错误。
  • 资源不足：磁盘空间满、内存或CPU不足等。
  • 节点健康状况探测失败：如kubelet定期向API Server汇报节点状况（通过心跳机制）出现问题。

4. 具体排查步骤

• 网络连通性：确保节点能够正常与集群中的其他组件通信。

• kubelet服务：检查kubelet服务是否运行正常，以及日志中是否有错误信息。

  systemctl status kubelet
  journalctl -u kubelet -xe
  

• 容器运行时：确认容器运行时服务也正在运行，并无错误。

• 磁盘空间与资源使用：检查节点的磁盘空间和系统资源使用情况。

  df -h
  free -m
  

• 健康检查和PLEG：Kubelet有一个Pod生命周期事件Generator (PLEG)，负责监测Pod的生命周期。若PLEG停滞可能导致节点NotReady，查看kubelet的pod状态。

• CNI插件：确认网络插件工作正常，有时网络配置或插件故障也会导致节点NotReady。

• 操作系统健康：检查操作系统层面是否有内核警告、硬件故障或安全组规则阻止必要的端口通信。

5. 恢复操作

• 根据排查结果采取相应措施，例如重启kubelet服务、清理磁盘空间、修复网络配置、更新容器运行时等。

• 如果需要，也可以尝试将节点从集群中删除并重新加入，以触发重新初始化过程：

  kubectl drain <node-name> --delete-local-data --force --ignore-daemonsets
  kubectl delete node <node-name>
  # 确保节点问题已解决后...
  kubectl uncordon <node-name>
  

综上所述，在实际环境中，排查过程应结合具体情况灵活调整，并可能需要深入了解Kubernetes的内部工作机制及特定版本的特性。