首页 > 其他分享 >存储

存储

时间:2024-10-19 09:59:02浏览次数:1  
标签:存储 PV name nginx nfs Pod root

容器中的文件在磁盘上是临时存放的,这给在容器中运行较重要的应用带来一些问题。 当容器崩溃或停止时会出现一个问题。此时容器状态未保存, 因此在容器生命周期内创建或修改的所有文件都将丢失。 在崩溃期间,kubelet 会以干净的状态重新启动容器。 当多个容器在一个 Pod 中运行并且需要共享文件时,会出现另一个问题。 跨所有容器设置和访问共享文件系统具有一定的挑战性。

Kubernetes 卷(Volume) 这一抽象概念能够解决这两个问题。

emptyDir

对于定义了 emptyDir 卷的 Pod,在 Pod 被指派到某节点时此卷会被创建。 就像其名称所表示的那样,emptyDir 卷最初是空的。尽管 Pod 中的容器挂载 emptyDir 卷的路径可能相同也可能不同,但这些容器都可以读写 emptyDir 卷中相同的文件。 当 Pod 因为某些原因被从节点上删除时,emptyDir 卷中的数据也会被永久删除。

emptyDir 配置

[root@master NFS-storageclass]# cat po-2.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: test-pd
spec:
  containers:
  - image: registry.k8s.io/test-webserver
    name: test-container
    volumeMounts:
    - mountPath: /cache
      name: cache-volume
  volumes:
  - name: cache-volume
    emptyDir:
      sizeLimit: 500Mi
[root@master NFS-storageclass]# kubectl apply -f po-2.yaml 
pod/test-pd created
[root@master NFS-storageclass]# kubectl get po test-pd 
NAME      READY   STATUS    RESTARTS   AGE
test-pd   1/1     Running   0          2m2s

  

hostPath

hostPath 卷能将主机节点文件系统上的文件或目录挂载到你的 Pod 中。 虽然这不是大多数 Pod 需要的,但是它为一些应用提供了强大的逃生舱。

hostPath 的一些用法有:

  • 运行一个需要访问节点级系统组件的容器 (例如一个将系统日志传输到集中位置的容器,使用只读挂载 /var/log 来访问这些日志)
  • 让存储在主机系统上的配置文件可以被静态 Pod 以只读方式访问;与普通 Pod 不同,静态 Pod 无法访问 ConfigMap
[root@master svc]# cat ../host/po.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: host
spec:
  volumes:
  - name: test-host
    hostPath:
      path: /data
  containers:
  - name: web
    image: nginx
    imagePullPolicy: IfNotPresent
    volumeMounts:
    - name: test-host
      mountPath: /test
  - name: cx
    image: tomcat:10
    imagePullPolicy: IfNotPresent
    volumeMounts:
    - name: test-host
      mountPath: /chenxi
[root@master host]# kubectl exec -it host -c cx -- /bin/sh
# ls /    
bin   __cacert_entrypoint.sh  dev  home  lib64	mnt  proc  run	 srv  tmp  var
boot  chenxi		      etc  lib	 media	opt  root  sbin  sys  usr
# cd chenxi
/bin/sh: 2: cd: can't cd to chenxi
# ^[[A^[[B
/bin/sh: 3: : not found
# /bin/bash
root@host:/usr/local/tomcat# cd /chenxi/
root@host:/chenxi# echo "chenxi" > tomcat.txt
root@host:/chenxi# ls
tomcat.txt
[root@master ~]# kubectl exec -it host -c web -- /bin/bash
root@host:/# ls /test/
tomcat.txt
root@host:/# echo "nginx" >/test/nginx.txt
[root@master svc]# kubectl get po host -owide 
NAME   READY   STATUS    RESTARTS   AGE     IP              NODE     NOMINATED NODE   READINESS GATES
host   2/2     Running   0          6m52s   172.16.84.140   node-1   <none>           <none>
[root@node-1 ~]# ls /data/
nginx.txt  tomcat.txt

  nfs

nfs 卷能将 NFS (网络文件系统) 挂载到你的 Pod 中。 不像 emptyDir 那样会在删除 Pod 的同时也会被删除,nfs 卷的内容在删除 Pod 时会被保存,卷只是被卸载。 这意味着 nfs 卷可以被预先填充数据,并且这些数据可以在 Pod 之间共享。

[root@master ~]# cat /etc/exports
/data/kubernetes/pv1  192.168.10.0/24(rw,sync,no_root_squash,no_all_squash)
/data/kubernetes/pv2  192.168.10.0/24(rw,sync,no_root_squash,no_all_squash)
/data/kubernetes/pv3  192.168.10.0/24(rw,sync,no_root_squash,no_all_squash)
/data/kubernetes/pv4  192.168.10.0/24(rw,sync,no_root_squash,no_all_squash)
/data/kubernetes/pv5  192.168.10.0/24(rw,sync,no_root_squash,no_all_squash)
/data/kubernetes/pv6  192.168.10.0/24(rw,sync,no_root_squash,no_all_squash)
[root@master NFS-storageclass]# cat po.yaml 
apiVersion: v1
kind: Pod
metadata: 
  name: nfs-1
spec: 
  containers:
  - name: nginx
    image: nginx
    imagePullPolicy: IfNotPresent
    ports:
    - name: web
      containerPort: 80
    volumeMounts:
    - name: nfs-volumes
      mountPath: /nginx
  volumes:
  - name: nfs-volumes
    nfs:
      server: 192.168.10.29
      path: /data/kubernetes/pv2
[root@master NFS-storageclass]# kubectl apply -f po.yaml 
pod/nfs-1 created
[root@master NFS-storageclass]# kubectl describe pod nfs-1 
Name:             nfs-1
Namespace:        default
Priority:         0
Service Account:  default
Node:             node-1/192.168.10.30
Start Time:       Fri, 18 Oct 2024 10:02:04 +0800
Labels:           <none>
Annotations:      cni.projectcalico.org/containerID: ce2101862c7aaafc907faf6652859a564c3d63770892e2f91acf357fb245ef00
                  cni.projectcalico.org/podIP: 172.16.84.139/32
                  cni.projectcalico.org/podIPs: 172.16.84.139/32
Status:           Running
IP:               172.16.84.139
IPs:
  IP:  172.16.84.139
Containers:
  nginx:
    Container ID:   containerd://036aed08ecdce0b3aee06a5369673ae54123362fa4c43ab00b52ef0be7efb009
    Image:          nginx
    Image ID:       docker.io/library/nginx@sha256:d2eb56950b84efe34f966a2b92efb1a1a2ea53e7e93b94cdf45a27cf3cd47fc0
    Port:           80/TCP
    Host Port:      0/TCP
    State:          Running
      Started:      Fri, 18 Oct 2024 10:02:05 +0800
    Ready:          True
    Restart Count:  0
    Environment:    <none>
    Mounts:
      /nginx from nfs-volumes (rw)
      /var/run/secrets/kubernetes.io/serviceaccount from kube-api-access-b8h9m (ro)
Conditions:
  Type              Status
  Initialized       True 
  Ready             True 
  ContainersReady   True 
  PodScheduled      True 
Volumes:
  nfs-volumes:
    Type:      NFS (an NFS mount that lasts the lifetime of a pod)
    Server:    192.168.10.29
    Path:      /data/kubernetes/pv2
    ReadOnly:  false
  kube-api-access-b8h9m:
    Type:                    Projected (a volume that contains injected data from multiple sources)
    TokenExpirationSeconds:  3607
    ConfigMapName:           kube-root-ca.crt
    ConfigMapOptional:       <nil>
    DownwardAPI:             true
QoS Class:                   BestEffort
Node-Selectors:              <none>
Tolerations:                 node.kubernetes.io/not-ready:NoExecute op=Exists for 300s
                             node.kubernetes.io/unreachable:NoExecute op=Exists for 300s
Events:
  Type    Reason     Age   From               Message
  ----    ------     ----  ----               -------
  Normal  Scheduled  27s   default-scheduler  Successfully assigned default/nfs-1 to node-1
  Normal  Pulled     27s   kubelet            Container image "nginx" already present on machine
  Normal  Created    26s   kubelet            Created container nginx
  Normal  Started    26s   kubelet            Started container nginx
[root@master NFS-storageclass]# kubectl exec -it nfs-1  -- /bin/bash
root@nfs-1:/# ls nginx/
root@nfs-1:/# cd /nginx/
root@nfs-1:/nginx# echo "nginx" > nginx.txt 
root@nfs-1:/nginx# ls
nginx.txt
[root@master ~]# ls /data/kubernetes/pv2/
nginx.txt
[root@master ~]# cat /data/kubernetes/pv2/
cat: /data/kubernetes/pv2/: 是一个目录
[root@master ~]# cat /data/kubernetes/pv2/nginx.txt 
nginx

 Persistent Volumes

本文描述 Kubernetes 中的持久卷(Persistent Volumes)

PersistentVolume 子系统为用户和管理员提供了一组 API, 将存储如何制备的细节从其如何被使用中抽象出来。 为了实现这点,我们引入了两个新的 API 资源:PersistentVolume 和 PersistentVolumeClaim。

持久卷(PersistentVolume,PV) 是集群中的一块存储,可以由管理员事先制备, 或者使用存储类(Storage Class)来动态制备。 持久卷是集群资源,就像节点也是集群资源一样。PV 持久卷和普通的 Volume 一样, 也是使用卷插件来实现的,只是它们拥有独立于任何使用 PV 的 Pod 的生命周期。 此 API 对象中记述了存储的实现细节,无论其背后是 NFS、iSCSI 还是特定于云平台的存储系统。

持久卷申领(PersistentVolumeClaim,PVC) 表达的是用户对存储的请求。概念上与 Pod 类似。 Pod 会耗用节点资源,而 PVC 申领会耗用 PV 资源。Pod 可以请求特定数量的资源(CPU 和内存)。同样 PVC 申领也可以请求特定的大小和访问模式 (例如,可以挂载为 ReadWriteOnce、ReadOnlyMany、ReadWriteMany 或 ReadWriteOncePod, 请参阅访问模式)。

尽管 PersistentVolumeClaim 允许用户消耗抽象的存储资源, 常见的情况是针对不同的问题用户需要的是具有不同属性(如,性能)的 PersistentVolume 卷。 集群管理员需要能够提供不同性质的 PersistentVolume, 并且这些 PV 卷之间的差别不仅限于卷大小和访问模式,同时又不能将卷是如何实现的这些细节暴露给用户。 为了满足这类需求,就有了存储类(StorageClass) 资源。

卷和申领的生命周期 

PV 卷是集群中的资源。PVC 申领是对这些资源的请求,也被用来执行对资源的申领检查。 PV 卷和 PVC 申领之间的互动遵循如下生命周期:

制备

PV 卷的制备有两种方式:静态制备或动态制备。

静态制备

集群管理员创建若干 PV 卷。这些卷对象带有真实存储的细节信息, 并且对集群用户可用(可见)。PV 卷对象存在于 Kubernetes API 中,可供用户消费(使用)。

动态制备

如果管理员所创建的所有静态 PV 卷都无法与用户的 PersistentVolumeClaim 匹配, 集群可以尝试为该 PVC 申领动态制备一个存储卷。 这一制备操作是基于 StorageClass 来实现的:PVC 申领必须请求某个 存储类, 同时集群管理员必须已经创建并配置了该类,这样动态制备卷的动作才会发生。 如果 PVC 申领指定存储类为 "",则相当于为自身禁止使用动态制备的卷。

为了基于存储类完成动态的存储制备,集群管理员需要在 API 服务器上启用 DefaultStorageClass 准入控制器。 举例而言,可以通过保证 DefaultStorageClass 出现在 API 服务器组件的 --enable-admission-plugins 标志值中实现这点;该标志的值可以是逗号分隔的有序列表。 关于 API 服务器标志的更多信息,可以参考 kube-apiserver 文档。

绑定

用户创建一个带有特定存储容量和特定访问模式需求的 PersistentVolumeClaim 对象; 在动态制备场景下,这个 PVC 对象可能已经创建完毕。 控制平面中的控制回路监测新的 PVC 对象,寻找与之匹配的 PV 卷(如果可能的话), 并将二者绑定到一起。 如果为了新的 PVC 申领动态制备了 PV 卷,则控制回路总是将该 PV 卷绑定到这一 PVC 申领。 否则,用户总是能够获得他们所请求的资源,只是所获得的 PV 卷可能会超出所请求的配置。 一旦绑定关系建立,则 PersistentVolumeClaim 绑定就是排他性的, 无论该 PVC 申领是如何与 PV 卷建立的绑定关系。 PVC 申领与 PV 卷之间的绑定是一种一对一的映射,实现上使用 ClaimRef 来记述 PV 卷与 PVC 申领间的双向绑定关系。

如果找不到匹配的 PV 卷,PVC 申领会无限期地处于未绑定状态。 当与之匹配的 PV 卷可用时,PVC 申领会被绑定。 例如,即使某集群上制备了很多 50 Gi 大小的 PV 卷,也无法与请求 100 Gi 大小的存储的 PVC 匹配。当新的 100 Gi PV 卷被加入到集群时, 该 PVC 才有可能被绑定。

使用

Pod 将 PVC 申领当做存储卷来使用。集群会检视 PVC 申领,找到所绑定的卷, 并为 Pod 挂载该卷。对于支持多种访问模式的卷, 用户要在 Pod 中以卷的形式使用申领时指定期望的访问模式。

一旦用户有了申领对象并且该申领已经被绑定, 则所绑定的 PV 卷在用户仍然需要它期间一直属于该用户。 用户通过在 Pod 的 volumes 块中包含 persistentVolumeClaim 节区来调度 Pod,访问所申领的 PV 卷。 相关细节可参阅使用申领作为卷

保护使用中的存储对象

保护使用中的存储对象(Storage Object in Use Protection) 这一功能特性的目的是确保仍被 Pod 使用的 PersistentVolumeClaim(PVC) 对象及其所绑定的 PersistentVolume(PV)对象在系统中不会被删除,因为这样做可能会引起数据丢失。

PV

[root@master pv]# cat pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-cx
spec:
  capacity: 
    storage: 1Gi
  accessModes: ["ReadWriteOnce"]
  nfs:
    server: 192.168.10.29
    path: /data/kubernetes/pv3
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-cx-2
spec:
  capacity: 
    storage: 2Gi
  accessModes: ["ReadWriteMany"]
  nfs:
    server: 192.168.10.29
    path: /data/kubernetes/pv4
[root@master pv]# kubectl get pv
NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM                STORAGECLASS          REASON   AGE
nfs-cx                                     1Gi        RWO            Retain           Available                                                       8m20s
nfs-cx-2                                   2Gi        RWX            Retain           Available                                                       8m20s
[root@master pv]# cat pvc.yaml 
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: cx-pvc
spec:
  accessModes: ["ReadWriteMany"]
  resources:
    requests:
      storage: 2Gi 

[root@master pv]# kubectl get pvc
NAME         STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS          AGE
cx-pvc       Bound    nfs-cx-2                                   2Gi        RWX                                  9m43s

[root@master pv]# cat po.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: mypod
spec:
  containers:
    - name: myfrontend
      image: nginx
      volumeMounts:
      - mountPath: "/var/www/html"
        name: mypd
  volumes:
    - name: mypd
      persistentVolumeClaim:
        claimName: cx-pvc
[root@master pv]# kubectl describe po mypod 
Name:             mypod
Namespace:        default
Priority:         0
Service Account:  default
Node:             node-2/192.168.10.31
Start Time:       Sat, 19 Oct 2024 09:28:22 +0800
Labels:           <none>
Annotations:      cni.projectcalico.org/containerID: 59ba3be077ca2c966a44cbd16404fcf88075394125a16d4e4c32cba4a7a281e3
                  cni.projectcalico.org/podIP: 172.16.247.40/32
                  cni.projectcalico.org/podIPs: 172.16.247.40/32
Status:           Running
IP:               172.16.247.40
IPs:
  IP:  172.16.247.40
Containers:
  myfrontend:
    Container ID:   containerd://3817af539efa8fd11e1f082cfb57d315ecfb48db14ed951c9e124c0901ba58df
    Image:          nginx
    Image ID:       docker.io/library/nginx@sha256:28402db69fec7c17e179ea87882667f1e054391138f77ffaf0c3eb388efc3ffb
    Port:           <none>
    Host Port:      <none>
    State:          Running
      Started:      Sat, 19 Oct 2024 09:28:53 +0800
    Ready:          True
    Restart Count:  0
    Environment:    <none>
    Mounts:
      /var/run/secrets/kubernetes.io/serviceaccount from kube-api-access-vv7kt (ro)
      /var/www/html from mypd (rw)
Conditions:
  Type              Status
  Initialized       True 
  Ready             True 
  ContainersReady   True 
  PodScheduled      True 
Volumes:
  mypd:
    Type:       PersistentVolumeClaim (a reference to a PersistentVolumeClaim in the same namespace)
    ClaimName:  cx-pvc
    ReadOnly:   false
  kube-api-access-vv7kt:
    Type:                    Projected (a volume that contains injected data from multiple sources)
    TokenExpirationSeconds:  3607
    ConfigMapName:           kube-root-ca.crt
    ConfigMapOptional:       <nil>
    DownwardAPI:             true
QoS Class:                   BestEffort
Node-Selectors:              <none>
Tolerations:                 node.kubernetes.io/not-ready:NoExecute op=Exists for 300s
                             node.kubernetes.io/unreachable:NoExecute op=Exists for 300s
Events:
  Type    Reason     Age    From               Message
  ----    ------     ----   ----               -------
  Normal  Scheduled  5m24s  default-scheduler  Successfully assigned default/mypod to node-2
  Normal  Pulling    5m22s  kubelet            Pulling image "nginx"
  Normal  Pulled     4m53s  kubelet            Successfully pulled image "nginx" in 28.407s (28.408s including waiting)
  Normal  Created    4m53s  kubelet            Created container myfrontend
  Normal  Started    4m53s  kubelet            Started container myfrontend

  存储类: https://www.cnblogs.com/rdchenxi/p/17113820.html

 

标签:存储,PV,name,nginx,nfs,Pod,root
From: https://www.cnblogs.com/rdchenxi/p/18475524

相关文章

  • Redis 集群:高效缓存与数据存储的利器
    在当今的互联网时代,数据的存储和处理速度至关重要。Redis作为一种高性能的内存数据库,广泛应用于各种场景。而Redis集群则进一步提升了Redis的可用性、扩展性和性能。本文将为你详细介绍Redis集群的简介以及三种模式。一、Redis集群简介Redis集群是由多个Redis......
  • 云存储图片生成缩略图开发
    作者:狼哥团队:坚果派团队介绍:坚果派由坚果等人创建,团队拥有12个华为HDE带领热爱HarmonyOS/OpenHarmony的开发者,以及若干其他领域的三十余位万粉博主运营。专注于分享HarmonyOS/OpenHarmony、ArkUI-X、元服务、仓颉。团队成员聚集在北京,上海,南京,深圳,广州,宁夏等地,目前已开发鸿蒙原......
  • Zabbix模板数据存储在哪里?
    Zabbix的模板数据存储在数据库的哪一个表里面?以MySQL数据库为例,在数据库zabbix中,其实模板数据存储在hosts这个表里面,而不是存在hosts_templates表里面。很多人一看到templates关键字,容易先入为主的以为这个表会存储模板的相关数据。但是实际上,hosts_templates表用于存储主机和模板......
  • k8s-Longhorn系统配置 20241017 -分布式存储
    目录一Longhorn存储部署1.1Longhorn概述1.2Longhorn部署1.5动态sc创建1.6测试PV及PVC1.7Ingress暴露Longhorn1.8确认验证附加Helm部署附0.1helm安装附0.2helm安装 回到顶部一Longhorn存储部署1.1Longhorn概述Longhorn是用于Kubernetes的......
  • 七牛云存储数据,删除无用数据
    最近公司有一个业务,由于多年使用七牛云存储数据【一些图片,文件】,导致占用了好几个T的空间,其实有好几年之前的大量数据是现在不再使用的,于是需要删除这批数据。需要注意的是好几年之前的数据和现在的业务生成的数据都是用的一个储存空间,想要删除就必须要根据时间来进行筛选,例......
  • perl学习笔记15_把hasharray存储在文件中
    目录可以把hash或array存储在文件中,再从文件中把变量load回来#加载模块useStorableqw/storeretrieve/;#定义变量my%data0=("a","aaa","b","bbb","c","ccc","d","ddd");#一个一维hashmy%data1=();#......
  • MySQL的server层和存储引擎层是如何交互的(处理SQL)
    假设表结构createtabletest(aintnotnull,bintnotnull,cintnotnull,primarykey(a),uniquekeyidx_b(b))Engine=InnoDB;select*fromtestwhereb<2andc<3;MySQL服务层会将SQL解析,将where条件交给存储引擎层。存储引擎层拿到where条件后,发现正好......
  • 界面控件DevExtreme中文教程 - 如何与Amazon S3和Azure Blob存储集成?
    DevExtreme拥有高性能的HTML5/JavaScript小部件集合,使您可以利用现代Web开发堆栈(包括React,Angular,ASP.NETCore,jQuery,Knockout等)构建交互式的Web应用程序。从Angular和Reac,到ASP.NETCore或Vue,DevExtreme包含全面的高性能和响应式UI小部件集合,可在传统Web和下一代移动应用程序中......
  • Hive表常用的存储格式有哪几种?
    1.一般常用的有5种(textfile,sequencefile,rcfile,orc,parquet),默认的存储格式是textfile。2.5种存储格式的区别存储格式文件存储编码格式建表指定textfile将表中的数据在hdfs上以正常文本的格式存储,下载后可以直接查看。storedastextfile sequencefile......
  • Vmware挂载san存储_vSphere 6.x 共享存储LUN丢失分区表修复(精华)
    Vmware挂载san存储_vSphere6.x共享存储LUN丢失分区表修复(精华)炎炎夏夜客户机房空调意外故障,前端ESXI物理服务器由于温度过高都自保关机,存储和SAN没有自保关机。上班修复空调后,检查存储,检查SAN无异常。开始开机ESXI主机,开机完后发现存储映射的两个LUN全部消失,重启存储,重启ESX......