K8s 删除Terminating状态Pod

删除nfs的svc之后删除pod一直卡在Terminating状态

分析无法删除的原因

在了解以上机制后，对象无法删除无外乎以下两个原因：

• 对象存在 finalizers，关联的控制器故障未能执行或执行 finalizer 函数卡住
  • 比如namespace控制器无法删除完空间内所有的对象，特别是在使用 aggregated apiserver 时，第三方 apiserver 服务故障导致无法删除其对象。此时，需要会恢复第三方 apiserver 服务或移除该 apiserver 的聚合，具体选择哪种方案需根据实际情况而定。
  • 集群内安装的控制器给一些对象增加了自定义 finalizers ，未删除完 fianlizers 就下线了该控制器，导致这些 fianlizers 没有控制器来移除他们。此时，需要恢复该控制器会手动移除 finalizers，具体选择哪种方案根据实际情况而定。
• 对象需要优雅删除，但执行者不能完成删除。比如 Pod 因为 kubelet 无法下线节点上 node 容器、存储卷而无法删除。比较常见有以下原因：
  • kubelet 无法通过 container runtime 杀死进程。比如进程进入 D (Uninterruptible) 状态，container runtime 或操作内核遇到 bug 等。对于进程进入 D 状态，若能恢复照成 D 的故障，比如恢复关联的外设访问等，能解决问题。若不能，或者是因为后者内核 bug，一般并不能走正常流程让 kubelet 杀死进程。一般需要重启操作系统才能解决。
  • kubelet 进程停止或者 node 失去联系。 该情况下，并没有 kubelet 运行或者运行中的 kubelet 与 apiserver 已经断开，无法收到 pod 需要删除下线的消息。所以，没有执行者来进行优雅删除。该情况下，需要恢复节点以及 kubelet 的运行即可。

方法一： 强制删除

#kubectl delete pod app-nfs --force --grace-period=0
warning: Immediate deletion does not wait for confirmation that the runningresource has been terminated. The resource may continue to run on the cluster indefinitely.
pod "app-nfs" force deleted

方法二： 设置finalizers为空

如果一个容器已经在运行，这时需要对一些容器属性进行修改，又不想删除容器，或不方便通过replace的方式进行更新。kubernetes还提供了一种在容器运行时，直接对容器进行修改的方式，就是patch命令。

Finalizers 字段属于 Kubernetes GC 垃圾收集器，是一种删除拦截机制，能够让控制器实现异步的删除前（Pre-delete）回调。其存在于任何一个资源对象的 Meta中，在 k8s 源码中声明为 []string，该 Slice 的内容为需要执行的拦截器名称。

常见用途：

（1）控制器在对象刚创建时，在 metadata.finalizers 写入一个自定义字符串
（2）APIServer 在 metadata.finalizers 数组不为空时，不会删除对象。此逻辑是硬性，对所有对象生效。
（3）当有客户端删除对象时，控制器可以发现对象出于删除状态，然后执行相应的 pre-delete 逻辑。执行完成后，将之前写入的自定义字符串移除。
（4）当所有控制器都将各自写入到 metadata.finalizers 的字符串移除后。API Server 就自动将对象删除。
   注：若对象同时实现了 graceful 删除策略，删除请求需要满足 GracefulPeriodSeconds = 0 条件

#kubectl patch pod app-nfs  -p '{"metadata":{"finalizers":null}}'

k8s删除流程

基本的delete命令状态图

K8s 中对象删除基本流程如下：

（1）客户端提交删除请求到 API Server（可选传递 GracePeriodSeconds 参数）
（2）API Server 做 Graceful Deletion 检查（若对象实现了 RESTGracefulDeleteStrategy 接口，会调用对应的实现并返回是否需要进行 Graceful 删除）
（3）API Server 检查 Finalizers 并结合是否需要进行 graceful 删除，来决定是否立即删除对象（若对象需要进行 graceful 删除，更新 metadata.DeletionGracePeriodSecond 和metadata.DeletionTimestamp 字段，不从存储中删除对象；若对象不需要进行 Graceful 删除时 metadata.Finalizers 为空，直接删除。metadata.Finalizers 不为空，不删除，只更新 metadata.DeletionTimestamp。