pod数据持久化-pv与pvc资源及动态存储StorageClass

标签：k8s231 存储 pv pvc nfs StorageClass root

一、pc与pvc的概念

在传统的存储卷挂载，比如说nfs，它虽然能够实现我们大多数的生产场景，但是，耦合性比较高；

举例：假设，我们要将集群从“阿里云”迁移到我们私有云服务器上，并改变存储卷挂在的类型，就无法实现，必须使用原有的存储卷类型；比如我们阿里云的存储卷是nfs，我们线下服务器的存储卷是ceph，就无法迁移成功；

 那么此时，我们来通过pv与pvc，就可以解决这个耦合性问题了；

二、pvc与pv初体验

        我们先按照这个架构图搭建一遍，在来梳理内在的逻辑问题；

1，准别nfs环境

· 所有节点安装nfs工具

        harbor安装nfs：是为了作为外部存储卷使用；

        k8s231、k8s232、k8s233安装nfs：是为了，自动挂载nfs的时候，使用nfs命令；

yum -y install nfs-utils　　

 harbor节点编辑nfs配置文件

[root@harbor ~]# vim /etc/exports
/data/kubernetes *(rw,no_root_squash)

[root@harbor ~]# systemctl enable --now nfs
[root@harbor ~]# exportfs
/data/kubernetes
        <world>

2，创建3个pv资源

[root@k8s231 pv-pvc]# cat pc.yaml 
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv01
  labels:
    k8s: xinjizhiwa
spec:
  #声明访问模式
  accessModes:
    #ReadWriteOnce：   【RWO】 允许单个节点【读写】这个存储卷；
    #ReadOnlyMany：    【ROX】 允许多个节点【只读】这个存储卷；
    #ReadWriteMany：   【RWX】 允许多个节点【读写】这个存储卷；
    #ReadWriteOncePod：【RWOP】允许单个 pod【读写】这个存储卷；1.22版本后新功能；
  - ReadOnlyMany
  #声明pv的挂载类型
  nfs:
    path: /data/kubernetes/pv/pv01
    server: 10.0.0.230
  #声明数据的回收策略
  #Retain： 删除PVC时，PV不被删除，状态：已释放，需要手动回收，其他pod否则无法直接使用
  #Delete： 删除PVC时，PV和数据都将被删除；
  #Recycle：官方已经弃用；（删除PVC时，自动清理对应数据，其他pod可以继续使用）
  persistentVolumeReclaimPolicy: Retain
  #声明存储卷的容量（给你存多少东西的容量控制）
  capacity:
    storage: 2Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv02
  labels:
    k8s: xinjizhiwa
spec:
   accessModes:
   - ReadWriteMany
   nfs:
     path: /data/kubernetes/pv/pv02
     server: 10.0.0.230
   persistentVolumeReclaimPolicy: Retain
   capacity:
     storage: 5Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv03
  labels:
    k8s: xinjizhiwa
spec:
   accessModes:
   - ReadWriteMany
   nfs:
     path: /data/kubernetes/pv/pv03
     server: 10.0.0.230
   persistentVolumeReclaimPolicy: Retain
   capacity:
     storage: 10Gi

[root@k8s231 pv-pvc]# kubectl apply -f pc.yaml

　查看创建好的pc资源

[root@k8s231 pv-pvc]# kubectl get pv

3，harbor节点创建pv对应的nfs存储路径

[root@harbor ~]# mkdir -pv  /data/kubernetes/pv/pv0{1..3}

4，创建pvc关联pv

 pvc链接pv的方式有两种：

第一种：是指定使用哪个pv；

另一种：是不写使用哪个pv，pvc会自动去寻找系统中存在的所有pv，从中匹配一个合适的，进行自动化存储；

[root@k8s231 pv-pvc]# vim pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc01
spec:
  # 声明要是用的pv;PVC会根据资源限制自动选择pv存储卷；
  # volumeName: pv03 #不写volumeName就会自动根据资源限制自动选择； 
  # 声明资源的访问模式
  accessModes:
  - ReadWriteMany
  # 声明资源的使用量
  resources:
    limits:
       storage: 4Gi
    requests:
       storage: 3Gi

[root@k8s231 pv-pvc]# kubectl apply -f pvc.yaml 

查看pvc

        因为，我们三个存储卷的pv分别设置了2g、5g、10g的存储容量；

此时我们配置pvc的时候，要求期望是3g，最大值为4g，那么最优的pv选择一定是5g最合适，创建pvc后，我们可以验证查看，自动匹配的pv，就是pv02，存储容量为5g的这个；

[root@k8s231 pv-pvc]# kubectl get pvc

5，创建pod引入pvc

[root@k8s231 pv-pvc]# cat pod.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: dm-pv
spec:
  replicas: 5
  selector:
    matchLabels:
      k8s: xinjizhiwa
  template:
    metadata: 
      labels: 
        k8s: xinjizhiwa
    spec:
      volumes:
      - name: pvc-vol
        #声明pvc存储类型
        persistentVolumeClaim:
          #引用pvc的名称
          claimName: pvc01
      containers:
      - name: c1
        image: nginx:1.20.1-alpine
        volumeMounts:
        - name: pvc-vol
          mountPath: /usr/share/nginx/html/
        ports:
        - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: svc-pv-pvc
spec:
  type: NodePort
  selector:
    k8s: xinjizhiwa
  ports:
  - port: 80
    targetPort: 80
    nodePort: 8080

[root@k8s231 pv-pvc]# kubectl apply -f pod.yaml

6，编辑index访问文件到harbor存储目录下

[root@harbor ~]# echo xinjizhiwa-hahahahah > /data/kubernetes/pv/pv02/index.html

我们也可以通过查看pv的详细信息，看到存储路径

[root@k8s231 pv-pvc]# kubectl describe pv pv02

7，浏览器访问测试

三、StorageClass动态存储资源

StorageClass动态存储资源：简称sc资源；

动态存储类，它自动创建pv；不再需要手动创建pv；

但是，我们的存储卷系统nfs本身不支持这个sc动态存储，所以，我们需要借助一个插件来实现nfs配合sc资源实现动态自动存储；

整体流程规划汇总；

1，部署nfs环境（存储nfs，和集群的nfs命令）
2，配置nfs动态存储插件；
3，创建StorageClass动态存储资源；
4，创建pvc适配StorageClass动态存储资源
5，创建业务pod引用pvc

1，准备nfs环境

· 所有节点安装nfs

yum -y install nfs-utils

· harbor存储节点配置nfs

[root@harbor ~]# vim /etc/exports
/data/kubernetes *(rw,no_root_squash)

[root@harbor ~]# systemctl enable --now nfs
[root@harbor ~]# exportfs
/data/kubernetes
        <world>

· harbor节点创建nfs挂载目录

[root@harbor ~]# mkdir -p /data/kubernetes/storageclass

2，部署配置nfs动态存储插件

注意，nfs的这个插件包中，包含了创建部署服务pod清单，pvc清单和nfs插件清单（deployment.yaml）、storageclass清单（class.yaml）；

所以，这个插件包，满足了一切要求了；当然，除了deploymengt.yaml文件外，其他的都不算是插件，都是我们要创建的资源，只是这个插件的构建者，帮助我们把资源清单汇总了；

你也可以自己单独去创建；

· 修改集群api-server，为适配插件中镜像

不设置这一步，nfs的插件镜像无法启动

[root@k8s231 deploy]# vim /etc/kubernetes/manifests/kube-apiserver.yaml 

...........
  containers:
  - command:
    - kube-apiserver
    - --service-node-port-range=3000-50000

# 就是加下面这句代码
    - --feature-gates=RemoveSelfLink=false

.............

插件地址链接：

百度网盘：https://pan.baidu.com/s/106FXTyxJLNWfDStvRqBL1w?pwd=7a91 
提取码：7a91

· 上传解压插件压缩包

[root@k8s231 storageclass]# rz -E
[root@k8s231 storageclass]# tar xf k8s-external-storage.tar.gz 
[root@k8s231 storageclass]# ll
drwxr-xr-x 17 root root     4096 Jan  7 07:15 k8s-external-storage
-rw-r--r--  1 root root 17618638 Jan  7 07:17 k8s-external-storage.tar.gz

· 进入nfs动态配置文件目录

 这个插件保重包含很多存储类的动态配置，我们需要进入到nfs动态配置的目录下；

[root@k8s231 storageclass]# cd k8s-external-storage/nfs-client/deploy/
[root@k8s231 deploy]# ll

 创建sa用户

[root@k8s231 deploy]# kubectl apply -f rbac.yaml

· 修改插件文件deployment.yaml

[root@k8s231 deploy]# cat deployment.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nfs-client-provisioner
  labels:
    app: nfs-client-provisioner
  # replace with namespace where provisioner is deployed
  namespace: default
spec:
  replicas: 1
  strategy:
    type: Recreate
  selector:
    matchLabels:
      app: nfs-client-provisioner
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      #执行程序的sa用户
      serviceAccountName: nfs-client-provisioner
      containers:
        - name: nfs-client-provisioner
          image: quay.io/external_storage/nfs-client-provisioner:latest
          volumeMounts:
            - name: nfs-client-root
              mountPath: /persistentvolumes
          env:
            - name: PROVISIONER_NAME
              #对应的StorageClass资源里的provisioner字段值
              value: xinjizhiwa-provisioner
            - name: NFS_SERVER
              value: 10.0.0.230
            - name: NFS_PATH
              value: /data/kubernetes/storageclass
      volumes:
        - name: nfs-client-root
          nfs:
            server: 10.0.0.230
            # path: /ifs/kubernetes
            path: /data/kubernetes/storageclass

· 创建插件的deployment.yaml文件资源

[root@k8s231 deploy]# kubectl apply -f deployment.yaml

查看是否创建成功

· 修改nfs插件中class.yaml文件

nfs自带的sc资源模板文件，这个文件就是storageclass资源文件；

[root@k8s231 deploy]# vim class.yaml 
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: managed-nfs-storage
#这个值，对应nfs插件的deploymengt.yaml文件中env下的name是PROVISIONER_NAME的value值
provisioner: xinjizhiwa-provisioner
parameters:
  #是否删除里面的数据；
  #注意：仅对“回收策略是Retain”的值时生效，如果回收策略是delete，则这个参数无效；
  #删除数据后，会在存储卷路径创建“archived-*”前缀的目录；
  archiveOnDelete: "true"
  #在这里设置pv的回收策略（如果不设置，默认是delete）
  recalaimPolicy: Retain

[root@k8s231 deploy]# kubectl apply -f class.yaml 

查看sc资源是否成功；

· 创建pvc资源

nfs自带的pvc文件模板

[root@k8s231 deploy]# vim test-claim.yaml 
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: test-claim
  #annotations:
  #volume.beta.kubernetes.io/storage-class: "managed-nfs-storage"
spec:
  #指定storageclass资源名称，pvc向哪个storageclass申请pv？？
  storageClassName: managed-nfs-storage
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 1Mi

[root@k8s231 deploy]# kubectl apply -f test-claim.yaml 

· 验证storageclass是否自动创建了pv？

[root@k8s231 deploy]# kubectl get pv

· 此时查看harbor节点的存储路径

可以看到，创建了pvc之后，nfs挂载目录，就通过sc资源自动创建了一个目录，用于pvc使用；

· 创建pod引用pvc

nfs插件中自带的模板文件

[root@k8s231 deploy]# vim test-pod.yaml 
kind: Pod
apiVersion: v1
metadata:
  name: test-pod
spec:
  containers:
  - name: test-pod
    #咱们就修改了这个镜像而已；
    image: alpine:latest
    command:
      - "/bin/sh"
    args:
      - "-c"
      - "touch /mnt/SUCCESS && exit 0 || exit 1"
    volumeMounts:
      - name: nfs-pvc
        mountPath: "/mnt"
  restartPolicy: "Never"
  volumes:
    - name: nfs-pvc
      persistentVolumeClaim:
        claimName: test-claim

[root@k8s231 deploy]# kubectl apply -f test-pod.yaml

· pod运行结束后查看挂载卷路径

证明，动态存储验证成功

1，在创建pvc的时候，sc资源自动创建了pv

2，在创建pvc之后，插卡nfs路径，发现自动创建了pv

3，pod容器运行命令，产生存储数据后，查看nfs存储路径，发现文件生成了；

因此、可以证明，动态存储验证成功；

 

标签：k8s231,存储,pv,pvc,nfs,StorageClass,root
From： https://www.cnblogs.com/leiwenbin627/p/18368252