1、StatefulSet介绍 RC、Deployment、DaemonSet都是面向无状态的服务,它们所管理的Pod的IP、名字,启停顺序等都是随机的, 而StatefulSet是什么?顾名思义,有状态的集合,管理所有有状态的服务,比如MySQL、Bmongo复制集 ,redis cluster,rabbitmq cluster集群等。 StatefulSet本质上是Deployment的一种变体,在v1.9版本中已成为GA版本,它为了解决有状态服务的问题,它所管理的Pod拥有固定的Pod名称,启停顺序, 在StatefulSet中,Pod名字称为网络标识(hostname),还必须要用到共享存储。 在Deployment中,与之对应的服务是service,而在StatefulSet中与之对应的headless service,即无头服务,与service的区别就是它没有Cluster IP, 解析它的名称时将返回该Headless Service对应的全部Pod的Endpoint列表。 除此之外,StatefulSet在Headless Service的基础上又为StatefulSet控制的每个Pod副本创建了一个DNS域名,这个域名的格式为: $(podname).(headless server name) FQDN:$(podname).(headless server name).namespace.svc.cluster.local Headless Service:用来定义Pod网络标识( DNS domain)。 volumeClaimTemplates: 存储卷申请模板,创建PVC,指定pvc名称大小,将自动创建pvc,且pvc必须由存储类供应。 StatefulSet:定义具体应用,有多少个Pod副本,并为每个Pod定义了一个域名。 StatefulSet 特点: 给每个pod分配固定且唯一的网络标识符 给每个pod分配固定且持久化的外部存储 对pod进行有序的部署和扩展 对pod进有序的删除和终止 对pod进有序的自动滚动更新 2、特点 Pod一致性:包含次序(启动、停止次序)、网络一致性。此一致性与Pod相关,与被调度到哪个node节点无关; 稳定的次序:对于N个副本的StatefulSet,每个Pod都在[0,N)的范围内分配一个数字序号,且是唯一的; 稳定的网络:Pod的hostname模式为( s t a t e f u l s e t 名 称 ) − (statefulset名称)-(statefulset名称)−(序号); 稳定的存储:通过VolumeClaimTemplate为每个Pod创建一个PV。删除、减少副本,不会删除相关的卷。 3、组成部分 Headless Service:用来定义Pod网络标识( DNS domain); volumeClaimTemplates :存储卷申请模板,创建PVC,指定pvc名称大小,将自动创建pvc,且pvc必须由存储类供应; StatefulSet :定义具体应用,名为Nginx,有三个Pod副本,并为每个Pod定义了一个域名部署statefulset。 为什么需要 headless service 无头服务? 在用Deployment时,每一个Pod名称是没有顺序的,是随机字符串,因此是Pod名称是无序的,但是在statefulset中要求必须是有序 ,每一个pod不能被随意取代, pod重建后pod名称还是一样的。而pod IP是变化的,所以是以Pod名称来识别。pod名称是pod唯一性的标识符,必须持久稳定有效。这时候要用到无头服务,它可以给每个Pod一个唯一的名称 。 为什么需要volumeClaimTemplate? 对于有状态的副本集都会用到持久存储,对于分布式系统来讲,它的最大特点是数据是不一样的,所以各个节点不能使用同一存储卷,每个节点有自已的专用存储, 但是如果在Deployment中的Pod template里定义的存储卷,是所有副本集共用一个存储卷,数据是相同的,因为是基于模板来的 ,而statefulset中每个Pod都要自已的专有存储卷, 所以statefulset的存储卷就不能再用Pod模板来创建了,于是statefulSet使用volumeClaimTemplate,称为卷申请模板,它会为每个Pod生成不同的pvc,并绑定pv,从而实现各pod有专用存储。 这就是为什么要用volumeClaimTemplate的原因。 4、StatefulSet详解 kubectl explain sts.spec :主要字段解释 replicas :副本数 selector:那个pod是由自己管理的 serviceName:必须关联到一个无头服务商 template:定义pod模板(其中定义关联那个存储卷) volumeClaimTemplates :生成PVC 在创建StatefulSet之前需要准备的东西,值得注意的是创建顺序非常关键,创建顺序如下: 1、Volume (多种类型,比如nfs、glusterfs、ceph )。 2、Persistent Volume 量的 3、Persistent Volume Claim(自动创建) 4、headless Service 5、StatefulSet 资源删除顺序 删除对应的pod、svc、statefulset、pv、pvc statefulset的启停顺序 有序部署:部署StatefulSet时,如果有多个Pod副本,它们会被顺序地创建(从0到N-1)并且,在下一个Pod运行之前所有之前的Pod必须都是Running和Ready状态。 有序删除:当Pod被删除时,它们被终止的顺序是从N-1到0。 有序扩展:当对Pod执行扩展操作时,与部署一样,它前面的Pod必须都处于Running和Ready状态。 实例:基于PVC+StatefulSet实现的MySQL主从架构 https://www.cnblogs.com/Yuanbangchen/p/17309336.html
1.安装nfs服务器,基于PV作为后端存储 [root@localhost7B ]# cat /etc/exports /data/k8sdata *(rw,no_root_squash) [root@localhost7B magedu]# mkdir /data/k8sdata/magedu/web-datadir-0 [root@localhost7B magedu]# mkdir /data/k8sdata/magedu/web-datadir-1 [root@localhost7B magedu]# mkdir /data/k8sdata/magedu/web-datadir-2 [root@localhost7B magedu]# mkdir /data/k8sdata/magedu/web-datadir-3 [root@localhost7B magedu]# mkdir /data/k8sdata/magedu/mysql-datadir-5 [root@localhost7B ]# systemctl restart nfs-server.service 2.创建PV,为什么创建多个,原因是replicas随时可能伸缩。 [root@localhost7C mysql]# cat pv/mysql-persistentvolume.yaml [root@localhost7C statfulset]# cat web-pv.yaml apiVersion: v1 kind: PersistentVolume metadata: name: web-pv0 labels: type: web-pv0 spec: capacity: storage: 1Gi accessModes: - ReadWriteOnce persistentVolumeReclaimPolicy: Retain nfs: path: /data/k8sdata/magedu/web-datadir-0 server: 192.168.80.110 --- apiVersion: v1 kind: PersistentVolume metadata: name: web-pv1 labels: type: web-pv1 spec: capacity: storage: 1Gi accessModes: - ReadWriteOnce persistentVolumeReclaimPolicy: Retain nfs: path: /data/k8sdata/magedu/web-datadir-1 server: 192.168.80.110 --- apiVersion: v1 kind: PersistentVolume metadata: name: web-pv2 labels: type: web-pv2 spec: capacity: storage: 1Gi accessModes: - ReadWriteOnce persistentVolumeReclaimPolicy: Retain nfs: path: /data/k8sdata/magedu/web-datadir-2 server: 192.168.80.110 --- apiVersion: v1 kind: PersistentVolume metadata: name: web-pv3 labels: type: web-pv3 spec: capacity: storage: 1Gi accessModes: - ReadWriteOnce persistentVolumeReclaimPolicy: Retain nfs: path: /data/k8sdata/magedu/web-datadir-3 server: 192.168.80.110 创建另一个PV,测试使用 [root@localhost7C statfulset]# cat test.yaml --- apiVersion: v1 kind: PersistentVolume metadata: name: mysql-datadir-5 spec: capacity: storage: 50Gi accessModes: - ReadWriteOnce nfs: path: /data/k8sdata/magedu/mysql-datadir-5 server: 192.168.80.110 3.对于StatefulSet,PVC不需要创建的,PVC模版会自动创建,此处是为方便理解。 当手工创建PV时指定了label的键值对,在PVC里通过selector可以指定PV的label,就达到调用效果。 当PVC使用模版时,是怎么生成PVC模版的,并如何调用PV?PV和PVC是怎么bound起来的呢?(应该是随机性找Availableu状态的PV ) [root@localhost7C statfulset]# cat web-pvc.yaml kind: PersistentVolumeClaim apiVersion: v1 metadata: name: www-web-0 spec: accessModes: - ReadWriteOnce resources: requests: storage: 1Gi storageClassName: my-storage-class selector: matchLabels: type: web-pv0 --- kind: PersistentVolumeClaim apiVersion: v1 metadata: name: www-web-1 spec: accessModes: - ReadWriteOnce resources: requests: storage: 1Gi storageClassName: my-storage-class selector: matchLabels: type: web-pv1 3.创建 headless service和StatefulSet [root@localhost7C statfulset]# cat web.yaml apiVersion: v1 kind: Service metadata: name: web-headless # labels: app: nginx spec: ports: - port: 80 name: web clusterIP: None selector: app: nginx --- apiVersion: v1 kind: Service metadata: name: web labels: app: nginx spec: ports: - port: 80 name: web selector: app: nginx --- apiVersion: apps/v1 kind: StatefulSet metadata: name: web #pod名 spec: selector: matchLabels: app: nginx serviceName: "web-headless" # headless servers replicas: 2 template: metadata: labels: app: nginx spec: terminationGracePeriodSeconds: 10 containers: - name: nginx image: nginx imagePullPolicy: IfNotPresent ports: - containerPort: 80 name: web volumeMounts: - name: www #调用PVCPVC模版名 mountPath: /usr/share/nginx/html volumeClaimTemplates: #PVC模版,与template平级 - metadata: name: www #PVC模版名 spec: accessModes: [ "ReadWriteOnce" ] resources: requests: storage: 1Gi [root@localhost7C statfulset]# kubectl apply -f web-pv.yaml -f test.yaml -f web.yaml PVC的名称是www-web-0看似有规律的名字, 首先StatefulSet的name叫web,设置的replicas为3个,volumeMounts和volumeClaimTemplates的name必须相同,为www, 所以StatefulSet创建的第一个Pod的name应该为web-0,第二个为web-1。这里StatefulSet中的Pod与PVC之间的绑定关系是通过名称来匹配的即: PVC_name = volumeClaimTemplates_name + "-" + pod_name www-web-0 = www + "-" + web-0 [root@localhost7C statfulset]# kubectl get pv,pvc,pod,svc -A -o wide NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE VOLUMEMODE persistentvolume/web-pv0 1Gi RWO Retain Bound default/www-web-2 84s Filesystem persistentvolume/web-pv1 1Gi RWO Retain Bound default/www-web-1 84s Filesystem persistentvolume/web-pv2 1Gi RWO Retain Available 84s Filesystem persistentvolume/web-pv3 1Gi RWO Retain Bound default/www-web-0 84s Filesystem persistentvolume/mysql-datadir-5 50Gi RWO Retain Available 84s Filesystem NAMESPACE NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE VOLUMEMODE default persistentvolumeclaim/www-web-0 Bound web-pv3 1Gi RWO 36s Filesystem default persistentvolumeclaim/www-web-1 Bound web-pv1 1Gi RWO 33s Filesystem default persistentvolumeclaim/www-web-2 Bound web-pv0 1Gi RWO 30s Filesystem NAMESPACE NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES default pod/web-0 1/1 Running 0 36s 10.20.4.65 192.168.80.170 <none> <none> default pod/web-1 1/1 Running 0 33s 10.20.5.60 192.168.80.160 <none> <none> default pod/web-2 1/1 Running 0 30s 10.20.4.66 192.168.80.170 <none> <none> NAMESPACE NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR default service/web ClusterIP 10.10.236.217 <none> 80/TCP 36s app=nginx default service/web-headless ClusterIP None <none> 80/TCP 36s app=nginx 测试:当PVC使用模版时,是怎么生成PVC模版的,并如何调用PV?PV和PVC是怎么bound起来的呢?(应该是随机性找Availableu状态的PV ) [root@localhost7C statfulset]# kubectl scale statefulset web --replicas=5 [root@localhost7C statfulset]# kubectl get pv,pvc -A -o wide NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE VOLUMEMODE persistentvolume/mysql-datadir-5 50Gi RWO Retain Bound default/www-web-4 17m Filesystem persistentvolume/web-pv0 1Gi RWO Retain Bound default/www-web-2 17m Filesystem persistentvolume/web-pv1 1Gi RWO Retain Bound default/www-web-1 17m Filesystem persistentvolume/web-pv2 1Gi RWO Retain Bound default/www-web-3 17m Filesystem persistentvolume/web-pv3 1Gi RWO Retain Bound default/www-web-0 17m Filesystem NAMESPACE NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE VOLUMEMODE default persistentvolumeclaim/www-web-0 Bound web-pv3 1Gi RWO 16m Filesystem default persistentvolumeclaim/www-web-1 Bound web-pv1 1Gi RWO 16m Filesystem default persistentvolumeclaim/www-web-2 Bound web-pv0 1Gi RWO 16m Filesystem default persistentvolumeclaim/www-web-3 Bound web-pv2 1Gi RWO 4m38s Filesystem default persistentvolumeclaim/www-web-4 Bound mysql-datadir-5 50Gi RWO 4m35s Filesystem #测试短和长域名 FQDN:$(podname).(headless server name) FQDN:$(podname).(headless server name).namespace.svc.zzhz.local [root@localhost7C statfulset]# kubectl exec -it web-0 bash root@web-0:/# apt update root@web-0:/# apt-get update root@web-0:/# apt install iputils-ping root@web-0:/# hostname web-0 root@web-0:/# ping web-2.web-headless.default.svc.zzhz.local PING web-2.web-headless.default.svc.zzhz.local (10.20.4.66) 56(84) bytes of data. 64 bytes from web-2.web-headless.default.svc.zzhz.local (10.20.4.66): icmp_seq=1 ttl=64 time=0.122 ms 64 bytes from web-2.web-headless.default.svc.zzhz.local (10.20.4.66): icmp_seq=2 ttl=64 time=0.055 ms root@web-0:/# ping web-1.web-headless PING web-1.web-headless.default.svc.zzhz.local (10.20.5.60) 56(84) bytes of data. 64 bytes from web-1.web-headless.default.svc.zzhz.local (10.20.5.60): icmp_seq=1 ttl=62 time=0.413 ms 64 bytes from web-1.web-headless.default.svc.zzhz.local (10.20.5.60): icmp_seq=2 ttl=62 time=0.591 ms
标签:web,www,StatefulSet,name,default,Pod,k8s,root From: https://www.cnblogs.com/Yuanbangchen/p/17309316.html