k8s集群中pod的容器资源限制和三种探针

目录

1.pod容器的资源限制

1.1 资源单位

2.k8s的健康检查

2.1 探针的三种规则

3.pod容器的启动、退出动作

1.pod容器的资源限制

当定义 Pod 时可以选择性地为每个容器设定所需要的资源数量。 最常见的可设定资源是 CPU 和内存大小，以及其他类型的资源。

当为 Pod 中的容器指定了 request 资源时，代表容器运行所需的最小资源量，调度器就使用该信息来决定将 Pod 调度到哪个节点上。当还为容器指定了 limit 资源时，kubelet 就会确保运行的容器不会使用超出所设的 limit 资源量。kubelet 还会为容器预留所设的 request 资源量， 供该容器使用。

如果 Pod 运行所在的节点具有足够的可用资源，容器可以使用超出所设置的 request 资源量。不过，容器不可以使用超出所设置的 limit 资源量。

如果给容器设置了内存的 limit 值，但未设置内存的 request 值，Kubernetes 会自动为其设置与内存 limit 相匹配的 request 值。 类似的，如果给容器设置了 CPU 的 limit 值但未设置 CPU 的 request 值，则 Kubernetes 自动为其设置 CPU 的 request 值 并使之与 CPU 的 limit 值匹配

1.1 资源单位

CPU资源单位

CPU 资源的 request 和 limit 以 cpu 为单位。Kubernetes 中的一个 cpu 相当于1个 vCPU（1个超线程）。
Kubernetes 也支持带小数 CPU 的请求。spec.containers[].resources.requests.cpu 为 0.5 的容器能够获得一个 cpu 的一半 CPU 资源（类似于Cgroup对CPU资源的时间分片）。表达式 0.1 等价于表达式 100m（毫核），表示每 1000 毫秒内容器可以使用的 CPU 时间总量为 0.1*1000 毫秒。
Kubernetes 不允许设置精度小于 1m 的 CPU 资源。 

内存资源单位 

内存的 request 和 limit 以字节为单位。可以以整数表示，或者以10为底数的指数的单位（E、P、T、G、M、K）来表示， 或者以2为底数的指数的单位（Ei、Pi、Ti、Gi、Mi、Ki）来表示。
如：1KB=10^3=1000，1MB=10^6=1000000=1000KB，1GB=10^9=1000000000=1000MB
1KiB=2^10=1024，1MiB=2^20=1048576=1024KiB

案例

vim pod2.yaml
apiVersion: v1
kind: Pod
metadata:
  name: frontend
spec:
  containers:
  - name: web
    image: nginx                      #在两个容器下面都设置资源限制
    imagePullPolicy: IfNotPresent
    env:
    - name: WEB_ROOT_PASSWORD
      value: "password"
    resources:                        #资源限制
      requests:
        memory: "64Mi"
        cpu: "250m"
      limits:
        memory: "128Mi"
        cpu: "500m"
  - name: db
    image: mysql
    imagePullPolicy: IfNotPresent
    env:
    - name: MYSQL_ROOT_PASSWORD
      value: "abc123"
    resources:                     #资源限制，设置requests和limits中的memory数据一致会发生什么
      requests: 
        memory: "256Mi"
        cpu: "0.5"
      limits:
        memory: "256Mi"
        cpu: "1"
 
 
kubectl apply -f pod2.yaml
kubectl get pod -o wide -w

2.k8s的健康检查

健康检查：又称为探针（Probe)，探针是由kubelet对容器执行的定期诊断。

2.1 探针的三种规则

• livenessProbe ：判断容器是否正在运行。如果探测失败，则kubelet会杀死容器，并且容器将根据 restartPolicy 来设置 Pod 状态。 如果容器不提供存活探针，则默认状态为Success。
• readinessProbe ：判断容器是否准备好接受请求。如果探测失败，端点控制器将从与 Pod 匹配的所有 service endpoints 中剔除删除该Pod的IP地址。 初始延迟之前的就绪状态默认为Failure。如果容器不提供就绪探针，则默认状态为Success。
• startupProbe（这个1.17版本增加的）：判断容器内的应用程序是否已启动，主要针对于不能确定具体启动时间的应用。如果配置了 startupProbe 探测，则在 startupProbe 状态为 Success 之前，其他所有探针都处于无效状态，直到它成功后其他探针才起作用。 如果 startupProbe 失败，kubelet 将杀死容器，容器将根据 restartPolicy 来重启。如果容器没有配置 startupProbe， 则默认状态为 Success。

注：以上规则可以同时定义。在readinessProbe检测成功之前，Pod的running状态是不会变成ready状态的。

Probe支持三种检查方法：

• exec ：在容器内执行指定命令。如果命令退出时返回码为0则认为诊断成功。
• tcpSocket ：对指定端口上的容器的IP地址进行TCP检查（三次握手）。如果端口打开，则诊断被认为是成功的。
• httpGet ：对指定的端口和uri路径上的容器的IP地址执行HTTPGet请求。如果响应的状态码大于等于200且小于400，则诊断被认为是成功的

每次探测都将获得以下三种结果之一：

• 成功（Success）：表示容器通过了检测。
• 失败（Failure）：表示容器未通过检测。
• 未知（Unknown）：表示检测没有正常进行。

常用参数介绍：

• #initialDelaySeconds：指定 kubelet 在执行第一次探测前应该等待5秒，即第一次探测是在容器启动后的第6秒才开始执行。默认是 0 秒，最小值是 0。
• #periodSeconds：指定了 kubelet 应该每 5 秒执行一次存活探测。默认是 10 秒。最小值是 1。
• #failureThreshold: 探针连续失败了 failureThreshold 次之后，Kubernetes 认为总体上检查已失败。存活探测情况下的放弃就意味着重新启动容器。就绪探测情况下的放弃 Pod 会被打上未就绪的标签。默认值是 3。最小值是 1。
• #timeoutSeconds：探测的超时后等待多少秒。默认值是 1 秒。最小值是 1。（在 Kubernetes 1.20 版本之前，exec 探针会忽略 timeoutSeconds 探针会无限期地 持续运行，甚至可能超过所配置的限期，直到返回结果为止。）

示例

livenessProbe存活探针
exec检查方式

vim pod3.yaml
apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: null
  labels:
    run: pod-test
  name: pod-test
spec:
  containers:
  - image: soscscs/myapp:v1
    name: myapp
    ports:
    - containerPort: 80
    resources: {}
    command:
    - sh
    - -c
    - "touch /tmp/scj.txt; sleep 20; rm -f /tmp/scj.txt; sleep 3600"
    livenessProbe:            #存活探针
      exec:
        command:
        - sh
        - -c
        - "test -f /tmp/scj.txt"
      initialDelaySeconds: 5
      periodSeconds: 5
      failureThreshold: 3
  dnsPolicy: ClusterFirst
  restartPolicy: Always
status: {}
 
kubectl apply -f pod3.yaml
kubectl get pod -o wide -w
kubectl describe pod pod-test

httpget检查方式

vim pod4.yaml
apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: null
  labels:
    run: pod-test
  name: pod-test
spec:
  containers:
  - image: soscscs/myapp:v1
    name: myapp
    ports:
    - containerPort: 80
      name: http
    resources: {}
    livenessProbe:               #存活探针  
      initialDelaySeconds: 5
      periodSeconds: 5
      failureThreshold: 3
      httpGet:                   #httpget检查方式   
        port: http
        path: /index.html
  dnsPolicy: ClusterFirst
  restartPolicy: Always
status: {}
 
kubectl apply -f pod4.yaml
kubectl log pod-test

当我们模拟删除指定路径下的index.html文件时

tcpSocket检查方式

vim pod3.yaml
apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: null
  labels:
    run: pod-test
  name: pod-test
spec:
  containers:
  - image: soscscs/myapp:v1
    name: myapp
    ports:
    - containerPort: 80
    resources: {}
    livenessProbe:
      tcpSocket:
        port: 8080
      initialDelaySeconds: 5
      periodSeconds: 5
      failureThreshold: 3
  dnsPolicy: ClusterFirst
  restartPolicy: Always
status: {}
 
kubectl apply -f pod3.yaml
kubectl exec -it pod-test -- netstat -lntp

readinessProbe就绪探针

vim pod4.yaml
apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: null
  labels:
    run: pod-test
  name: pod-test
spec:
  containers:
  - image: soscscs/myapp:v1
    name: myapp
    ports:
    - containerPort: 80
      name: http
    resources: {}
    readinessProbe:            #就绪探针
      initialDelaySeconds: 5
      periodSeconds: 5
      failureThreshold: 3
      httpGet:
        port: http
        path: /scj.html        #目标目录中不存在这个文件
    livenessProbe:
      initialDelaySeconds: 5
      periodSeconds: 5
      failureThreshold: 3
      httpGet:
        port: http
        path: /index.html
  dnsPolicy: ClusterFirst
  restartPolicy: Always
status: {}

若想将状态变成就绪，如何操作？

kubectl exec -it pod-test -- sh
cd /usr/share/nginx/html/
echo 123 > scj.html    #创建这个文件后，就绪探针即可满足条件

startupProbe启动探针

vim pod4.yaml
apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: null
  labels:
    run: pod-test
  name: pod-test
spec:
  containers:
  - image: soscscs/myapp:v1
    name: myapp
    ports:
    - containerPort: 80
      name: http
    resources: {}
    readinessProbe:
      initialDelaySeconds: 5
      periodSeconds: 5
      failureThreshold: 3
      httpGet:
        port: http
        path: /scj.html
    livenessProbe:
      initialDelaySeconds: 5
      periodSeconds: 5
      failureThreshold: 3
      httpGet:
        port: http
        path: /index.html
    startupProbe:
      periodSeconds: 10
      failureThreshold: 12
      httpGet:
        port: http
        path: /tan.html
  dnsPolicy: ClusterFirst
  restartPolicy: Always
status: {}

3.pod容器的启动、退出动作

• postStart：当容器创建后且容器进程启动之前（即容器主进程开始运行但不一定完全准备好接收请求时），Kubernetes会尝试执行postStart。通常用来执行一些初始化任务，比如资源部署、环境配置等。如果postStart钩子执行失败，容器仍然会被启动，并且kubelet不会因此重启容器。

我们可以通过lifecycle配置项在 Pod 定义的 spec.containers[*].lifecycle.postStart 字段中指定一个命令或者 HTTP 请求。

• preStop：当容器即将被kubelet终止时，Kubernetes会尝试执行preStop。这个钩子可以优雅地关闭连接、保存状态或释放资源。kubelet会确保preStop被触发并至少已经开始执行。如果容器突然崩溃（CrashLoopBackOff等情况），preStop可能无法得到执行。

preStop的执行与SIGTERM信号是异步的，也就是说如果PreStop钩子脚本执行时间超过这个优雅期，Kubernetes将强制终止Pod。
我们同样可以通过 spec.containers[*].lifecycle.preStop 字段来设置执行命令或HTTP请求。

示例：

vim pod-test.yaml
apiVersion: v1
kind: Pod
metadata:
  name: pod-test7
spec:
  volumes:
  - name: scj-vol
    hostPath:
      path: /data/scj/
      type: DirectoryOrCreate
  initContainers:
  - name: myapp
    image: soscscs/myapp:v1
    volumeMounts:
    - name: scj-vol
      mountPath: /mnt/                
    command:
    - sh
    - -c
    - "echo 'scj like 123 from initcontainer' >> /mnt/scj.txt"
  containers:
  - image: nginx:1.20
    name: nginx
    ports:
    - containerPort: 80
    resources: {}
    volumeMounts:
    - name: scj-vol
      mountPath: /usr/local/bin/       #将本地目录/data/scj/挂载到容器的/usr/local/bin/上
    lifecycle:
      postStart:                       #设置Pod容器启动时额外执行的操作
        exec:
          command:
          - sh
          - -c
          - "echo 'tangjun like from poststat' >> /usr/local/bin/scj.txt"
      preStop:                         #设置Pod容器被kubelet杀掉退出时执行的操作
        exec:
          command:
          - sh
          - -c
          - "echo 'jun like from prestop' >> /usr/local/bin/scj.txt"
  dnsPolicy: ClusterFirst
  restartPolicy: Always
 
kubectl apply -f pod-test.yaml