Rook 是一款云原生存储编排服务工具，Ceph 是一种广泛使用的开源分布式存储方案，通过Rook 可以大大简化 ceph 在 Kubernetes 集群中的部署和维护工作。
Rook 由云原生计算基金会( CNCF )孵化，且于 2020 年 10 月正式进入毕业阶段。Rook 并不直接提供数据存储方案，而是集成了各种存储解决方案，并提供一种自管理、自扩容、自修复的云原生存储服务。社区官方资料显示， Rook 目前最新的稳定版本中，只有 Rook +Ceph 存储集成方案处于 stable 状态，版本升级较平滑。
Ceph 是一种广泛使用的开源分布式存储方案，通过 Rook 则可以大大简化 Ceph 在Kubernetes 集群中的部署和维护工作。基于 Rook+Ceph 的存储方案，能为云原生环境提供文件、块及对象存储服务。
建立 ceph 集群不仅需要大量的服务器资源,本身的复杂度也需要人力成本。但是在企业内部使用 Kubemetes时，无论是在部署业务服务还是中间件服务，都能很明显地体会到Kubernetes 的便利性和强大之处，所以我们在企业内部使用 Kubernetes 时，同时也会把中间件服务(比如 MySQL、RabbitMQ、Zookeeper等)部署在Kubernetes集群中。
相对于生产环境，也需要保留它们的数据，但是非生产环境可能并没有现成的，存储平台供Kubernetes 使用，新建一个平台供其使用也会浪费很多精力。为了解决非生产环境的数据持久化问题，很多公司都采用了 NFS 作为后端，但是一旦使用的容器较多或者存储的数据量比较大，就容易造成性能问题，并且 NFS 服务器一旦出现问题,整个数据可能会全部丢失,所以在非生产环境也需要一个高可用、分布式并且免运维的存储平台，于是 Rook 就诞生了。
Rook是一个自我管理的分布式存储编排系统，它本身并不是存储系统，Rook在存储和Kubernetes 之间搭建了一个桥梁，使存储系统的搭建或者维护变得特别简单，Rook 将分布式存储系统转变为自我管理、自我扩展、自我修复的存储服务。它让一些存储的操作比如部署、配置、扩容、升级、迁移、灾难恢复、监视和资源管理变得自动化，无须人工处理。同时 Rook 支持 CSI,可以利用 CSI 做一些 PVC 的，快照、扩容、克隆等操作。
有了 Rook 就可以快速地搭建一个Ceph 存储系统，用来持久化一些必需的数据，不仅降低了运维复杂度，也能更加方便地体验 Kubernetes 带来的收益，同时也可以通过 Rook 来演示更多的Kubernetes 存储的高级功能。
RADOS（Reliable Autonomic Distributed Object Store）是一个由Ceph存储系统使用的核心组件。它是一个高性能、可靠的分布式对象存储系统，负责管理数据存储和检索。RADOS的主要特点包括：
-
分布式架构：RADOS将数据分布在多个存储节点上，这些节点共同工作以提供高可用性和高性能。
-
数据冗余：为了确保数据的可靠性，RADOS使用数据复制和纠删码技术，以处理硬件故障或节点故障时的数据恢复。
-
自我修复：RADOS具有自我修复的能力，当某些节点出现故障时，它会自动将数据重新分布到其他正常的节点上。
-
对象存储：RADOS使用对象存储的方式来管理数据，提供灵活的数据访问和管理方法。每个对象都有一个唯一的标识符，并且可以存储大量数据。
-
高可扩展性：RADOS可以随着存储需求的增长而水平扩展，只需添加更多的存储节点即可。
RADOS是Ceph的基础组件之一，为Ceph的文件系统、块存储和对象存储提供底层的存储服务。
一、Rook的安装
Rook 是专门为 Kubernetes 设计的云原生存储，所以它本身和由 Rook 创建的 Ceph 集群都是部署在 Kubernetes 平台上的，本案例安装的 Rook为1.6 的版本。
1.为所有主机添加磁盘
注意:
在本案例中，是一台 master，两台 node，因为 ceph 集群的最小要求是三个节点，因此需要在包含 master 主机在内的三台主机都添加磁盘。所有主机添加一块 100G 的磁盘，以满足案例实验需求。
数据盘可以是一块硬盘 sdb,也可以是硬盘的一个分区 sdb2,或者是逻辑卷,但是这些都必须没有被格式过，没有指定文件系统类型。
可以使用 1sblk -f 来确认数据盘有没有被文件系统格式化过。FSTYPE 字段为空即代表未被文件系统格式化过。
#如下所示，vdb 可以作为 ceph 的数据盘。
[root@master ~]# lsblk -f
NAME FSTYPE LABEL UUID MOUNTPOINT
rbd0 ext4 f45f43ee-35ef-4239-8784-5f5c84bb8e7e /var/lib/k
sdb
sr0 iso9660 CentOS 7 x86_64
2020-11-04-11-36-43-00 /media/cdr
rbd1 ext4 18326377-c7c2-459e-b8ae-91cde2c93ac5 /var/lib/k
sda
├─sda2 xfs 3f86f61c-7ee2-425e-9bef-e98f5ba8ef77 /boot
├─sda3 LVM2_me YYnCZ6-mSgF-LxfI-deUt-NHPX-AAgz-UlNnyq
│ ├─centos-swap
swap 193c600b-0015-4672-99c9-0384980d630e
│ └─centos-root
xfs 9713830a-36c8-4c74-9d85-a873984779ac /
└─sda12.保证所有安装 ceph 的节点都安装了 1vm2
Ceph 0sD 在某些情况下(比如启用加密或指定元数据设备)依赖于 LVM(Logical volumeManager)。如果没有安装 LVM2 软件包，则虽然 Rook 可以成功创建 ceph 0sD，但是当节点重新启动时，重新启动的节点上运行的 oSD pod 将无法启动。
[root@master ~]# yum -y install lvm2
已加载插件：fastestmirror
Loading mirror speeds from cached hostfile
* base: mirrors.aliyun.com
* extras: mirrors.aliyun.com
* updates: mirrors.aliyun.com
软件包 7:lvm2-2.02.187-6.el7_9.5.x86_64 已安装并且是最新版本
无须任何处理
[root@master ~]# yum list installed | grep lvm2
lvm2.x86_64 7:2.02.187-6.el7_9.5 @updates
lvm2-libs.x86_64 7:2.02.187-6.el7_9.5 @updates3.加载 rbd 内核
#Ceph 存储需要包含了 RBD 模块的 Linux 内核来文持。在使用 Kubernetes 环境中运行 ceph存储之前，需要在 Kubernetes 节点上运行 modprobe rbd 命令来测试当前内核中是否已经加载
了 RBD 内核。
[root@master ~]# modprobe rbd
[root@master ~]# lsmod | grep rbd
rbd 118784 4
libceph 512000 2 ceph,rbd4.取消 master 污点
由于 ceph 集群默认最小三个节点，当前 kubernetes 也是三节点,1个master+2 个 worker,所以需要使用 master 节点来充当 ceph 节点，因此需要取消 master 节点上的污点，否是 ceph 相关 pod 无法调度到 master 节点，导致部署失败。
当然，如果 worker 节点足够则无需此操作。
(1)查看当前 kubernetes 环境中的污点
[root@master ~]# ku get no -o yaml | grep taint -A 5
taints:
- effect: NoSchedule
key: node-role.kubernetes.io/master
status :
addresses:
- address:192.168.10.101备注:
-A 5 表示显示出 taint 行以及往下的5 行
(2)取消 master 节点的污点
[root@k8s-master ~l# kubectl taint nodes --all node-role.kubernetes.io/master-备注:
此命令能够取消所有设备的污点
5.下载 v1.11.5 版本的 Rook 源码:
git clone --single-branch --branch v1.11.5 https://github.com/rook/rook.git
备注:
v1.11.5 的版本可以支持 kubernetes:v1.21.8 以上的版本
本案例已经下载过，直接使用离线文件
6.拉取镜像(若本地已有这些镜像，可以不执行此步骤)
(1)查看都需要哪些镜像
[root@master ~]# cd rook/deploy/examples
#查看部署所需要的镜像提前拉取
[root@master examples]# cat images.txt
quay.io/ceph/ceph:v17.2.6
quay.io/cephcsi/cephcsi:v3.8.0
quay.io/csiaddons/k8s-sidecar:v0.5.0
registry.k8s.io/sig-storage/csi-attacher:v4.1.0
registry.k8s.io/sig-storage/csi-node-driver-registrar:v2.7.0
registry.k8s.io/sig-storage/csi-provisioner:v3.4.0
registry.k8s.io/sig-storage/csi-resizer:v1.7.0
registry.k8s.io/sig-storage/csi-snapshotter:v6.2.1
rook/ceph:v1.11.5(2)用 docker pu11 拉取上边的所有镜像
(3)如果无法拉取，则采用如下方法拉取
如果拉不下去可使用以下脚本
该脚本从阿里云镜像仓库拉取到本地，再用 docker image tag 命令修改为为原镜像名称，再删除从阿里云拉取的镜像。
[root@master examples]# vim ceph-images.sh
#!/bash/bin
image_list=(
csi-node-driver-registrar:v2.7.0
csi-attacher:v4.1.0
csi-snapshotter:v6.2.1
csi-resizer:v1.7.0
csi-provisioner:v3.4.0
rook/ceph:v1.11.5
quay.io/ceph/ceph:v17.2.6
quay.io/cephcsi/cephcsi:v3.8.0
)
aliyuncs="registry.aliyuncs.com/it00021hot"
google_gcr="registry.k8s.io/sig-storage"
for image in ${image_list[*]}
do
docker image pull ${aliyuncs}/${image}
docker image tag ${aliyuncs}/${image} ${google_gcr}/${image}
docker image rm ${aliyuncs}/${image}
echo "${aliyuncs}/${image} ${google_gcr}/${image} downloaded."
done#执行脚本进行拉取
[root@master examples]# bash ceph-images.sh7.部署 rook operator
[root@k8s-master examples# kubectl create -f crds.yaml -f common.yaml -foperator.yaml
[root@master examples]# ku -n rook-ceph get pod
NAME READY STATUS RESTARTS AGE
csi-cephfsplugin-8sljg 2/2 Running 0 166m
csi-cephfsplugin-mhzvv 2/2 Running 0 166m
csi-cephfsplugin-p67v4 2/2 Running 0 166m
csi-cephfsplugin-provisioner-6f5d88b7ff-h56kg 5/5 Running 0 60m
csi-cephfsplugin-provisioner-6f5d88b7ff-nw8jn 5/5 Running 0 60m
csi-rbdplugin-7n4xv 2/2 Running 0 166m
csi-rbdplugin-7z2pj 2/2 Running 0 166m
csi-rbdplugin-n9sn4 2/2 Running 0 166m
csi-rbdplugin-provisioner-57f5ddbd7-5fdmj 5/5 Running 0 60m
csi-rbdplugin-provisioner-57f5ddbd7-n26gp 5/5 Running 0 60m
rook-ceph-crashcollector-master-c9db59846-4p8k6 1/1 Running 0 59m
rook-ceph-crashcollector-node1-55f95c7755-rlrxs 1/1 Running 0 59m
rook-ceph-crashcollector-node2-64964c9cd4-9gkpr 1/1 Running 0 57m
rook-ceph-mds-myfs-a-7974ddf644-hpz4v 2/2 Running 0 59m
rook-ceph-mds-myfs-b-588ff47b85-gbnpp 2/2 Running 0 59m
rook-ceph-mgr-a-5df877c675-bhq69 3/3 Running 0 65m
rook-ceph-mgr-b-55c59f5cb-9qpz4 3/3 Running 0 165m
rook-ceph-mon-a-c95f8976f-c2rrd 2/2 Running 0 166m
rook-ceph-mon-b-6788bc9cbc-zdczq 2/2 Running 0 60m
rook-ceph-mon-c-6dc965ff85-n5bz6 2/2 Running 0 60m
rook-ceph-operator-6c54c49f5f-95nwb 1/1 Running 0 60m
rook-ceph-osd-0-6644497bb6-26k7n 2/2 Running 0 164m
rook-ceph-osd-1-7f76b5b8c9-dg9hn 2/2 Running 0 60m
rook-ceph-osd-2-74fff78787-4srqh 2/2 Running 0 60m
rook-ceph-osd-prepare-master-4ttz9 0/1 Completed 0 58m
rook-ceph-osd-prepare-node1-9fwg8 0/1 Completed 0 58m
rook-ceph-tools-598b59df89-mh6ks 1/1 Running 0 65m二、部署 ceph 集群
[root@k8s-master examples]# kubectl create -f cluster.yaml注意:
此步骤需要较长的时间(5 分钟)。总共需要启动 25 个pod，其中 ceph-osd-prepare 是job:所以状态是 Completed。
1.部署 ceph 工具
(1)部署 ceph-tools
[root@k8s-master ~]# cd /root/rook/deploy/examples/
[root@k8s-master examples]# kubectl apply -f toolbox.yaml(2)查看 pod
[root@k8s-master examples]# kubectl get pod -n rook-ceph
注意:会多出一个名为rook-ceph-tools 的 pod
NAME READY STATUS RESTARTS AGE
csi-cephfsplugin-8sljg 2/2 Running 0 169m
csi-cephfsplugin-mhzvv 2/2 Running 0 169m
csi-cephfsplugin-p67v4 2/2 Running 0 169m
csi-cephfsplugin-provisioner-6f5d88b7ff-h56kg 5/5 Running 0 64m
csi-cephfsplugin-provisioner-6f5d88b7ff-nw8jn 5/5 Running 0 64m
csi-rbdplugin-7n4xv 2/2 Running 0 169m
csi-rbdplugin-7z2pj 2/2 Running 0 169m
csi-rbdplugin-n9sn4 2/2 Running 0 169m
csi-rbdplugin-provisioner-57f5ddbd7-5fdmj 5/5 Running 0 64m
csi-rbdplugin-provisioner-57f5ddbd7-n26gp 5/5 Running 0 64m
rook-ceph-crashcollector-master-c9db59846-4p8k6 1/1 Running 0 62m
rook-ceph-crashcollector-node1-55f95c7755-rlrxs 1/1 Running 0 63m
rook-ceph-crashcollector-node2-64964c9cd4-9gkpr 1/1 Running 0 60m
rook-ceph-mds-myfs-a-7974ddf644-hpz4v 2/2 Running 0 63m
rook-ceph-mds-myfs-b-588ff47b85-gbnpp 2/2 Running 0 62m
rook-ceph-mgr-a-5df877c675-bhq69 3/3 Running 0 69m
rook-ceph-mgr-b-55c59f5cb-9qpz4 3/3 Running 0 168m
rook-ceph-mon-a-c95f8976f-c2rrd 2/2 Running 0 169m
rook-ceph-mon-b-6788bc9cbc-zdczq 2/2 Running 0 64m
rook-ceph-mon-c-6dc965ff85-n5bz6 2/2 Running 0 64m
rook-ceph-operator-6c54c49f5f-95nwb 1/1 Running 0 64m
rook-ceph-osd-0-6644497bb6-26k7n 2/2 Running 0 168m
rook-ceph-osd-1-7f76b5b8c9-dg9hn 2/2 Running 0 64m
rook-ceph-osd-2-74fff78787-4srqh 2/2 Running 0 64m
rook-ceph-osd-prepare-master-4ttz9 0/1 Completed 0 62m
rook-ceph-osd-prepare-node1-9fwg8 0/1 Completed 0 62m
rook-ceph-tools-598b59df89-mh6ks 1/1 Running 0 69m(3)登录rook-ceph-tools
# kubectl exec -it rook-ceph-tools-598b59df89-gjfvz -n rook-ceph -- bash(4)查看ceph 集群状态
(5)查看osd目录树
(6)查看osd存储状态
(7)列出osd存储池
三、安装snapshot 控制器
要想实现 PVC 的快照功能，需要 snapshot 控制器，在 kubernetes1.19 版本以上需要单独安装 snapshot 控制器。如果是 1.19 以下的版本，则不需要单独安装。
1.下载安装包
[root@k8s-master ~l# git clone https://github.com/dotbalo/k8s-ha-install.git
[root@k8s-master ~l# cd k8s-ha-install/
[root@k8s-master k8s-ha-install]# git checkout manual-installation-v1.20.x备注:
如果已经下载好离线包，上述三条可以不执行，直接使用离线包即可
2.部署
四、部署ceph-dashboard
(1)部署 dashboard
[root@k8s-master ~]# cd /root/rook/deploy/examples/
[root@k8s-master examples]# kubectl create -f dashboard-external-https.yaml(2)查看svc
注意:
红色的 svc 是原有的 dashboard，要把它删掉。绿色部分是我们部署 dashboard 的时候创建出来的。
(3)删除原有的 svc
[root@k8s-masterexamplesl# kubectldelete:svc/rook-ceph-mgr-dashboard-nrook-ceph(4)获取 ceph-dashboard 的登录密码
[root@master examples]# ku -n rook-ceph get secret rook-ceph-dashboard-password -o jsonpath="{['data']['password']}" | base64 --decode && echo
(5)登录ceph-dashboard
[root@k8s-master examples]# kubectl get svc -n rook-ceph
#访问地址
https://192.168.10.101:31540/
备注：
可以在此处做一个快照，方便后续重复实验
五、ceph 块存储的使用
块存储的使用一般是一个 Pod 挂载一个块存储，相当于一个服务器新挂了一个磁盘，只给一个应用使用，比如中间件服务 MySOL、RabbitMo、Redis 等。
1.创建 storageclass 和ceph 存储池
首先进入 Ceph 的代码目录，找到 RBD 目录的 storageclass 配置，然后根据需求修改对应参数。此处主要修改的是副本数，在生产环境中，副本数至少为3，且不能超过 OSD 的数量。此处为实验环境，本案例设置为 2。
[root@k8s-master ~]# cd /root/rook/deploy/examples/csi/rbd
[root@k8s-master rbd]# vim storageclass.yaml
replicated:
size:22.创建 storageclass 和存储池
[root@k8s-master rbd]# kubectl create -f storageclass.yaml -n rook-ceph3.查看创建结果
[root@k8s-master rbd]# kubectl get cephblockpool -n rook-ceph
NAME PHASE
replicapool Ready[root@k8s-master rbd]# kubectl get sc
注意:这里创建的 storageclass 的名字为 rook-ceph-block,在创建 PVC 的时候指定这个名字,即可让 PVC 和这个存储关联起来。
4.通过 ceph Dashboard 查看
5.挂载测试
(1)创建一个 MySQL 服务使用该存储
[root@k8s-master ~]# cd /root/rook/deploy/examples
#rook 自带了一个MySOL 的测试样例，如下所示
[root@master examples]# vim mysql.yaml
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 10Gi
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: wordpress-mysql
labels:
app: wordpress
tier: mysql
spec:
selector:
matchLabels:
app: wordpress
tier: mysql
strategy:
type: Recreate
template:
metadata:
labels:
app: wordpress
tier: mysql
spec:
containers:
- image: mysql:5.6
name: mysql
env:
- name: MYSQL_ROOT_PASSWORD
value: changeme
ports:
- containerPort: 3306
name: mysql
volumeMounts:
- name: mysql-persistent-storage
mountPath: /var/lib/mysql
volumes:
- name: mysql-persistent-storage
persistentVolumeClaim:
claimName: mysql-pv-claim备注:
在这个文件中有一段 PVC 的配置，该 PVC 会连接刚才创建的 storageclass，然后动态创建 PV供 Pod 使用,之后如果有其他的存储需求，只需要创建 PVc 指定 storageclassName 为刚才创建的Storageclass 名称即可连接到 Rook的Ceph。如果是 tatefulset，只需要将volumeTemplateclaim 里面的 claim 名称改为 Storageclass 名称即可动态地为每个 Pod 创建个单独的 PV。
[root@k8s-master examples]# kubectl create -f mysql.yaml(2)查看创建的 PVC 和 PV
因为 MySQL 的数据不允许多个MySQL 实例连接同一个存储，所以一般只能用块存储。相当于新加了一块盘给 MySOL 使用。创建完成后可以査看创建的 PVC 和 PV。
(3)ceph Dashboard 上查看对应的 Image
(4)查看 pod 中的卷
6.statfulSet volumeClaimTemplates
在之前的章节提到过 statfulset 用于有状态的应用部署，在实际使用时，可以很方便地利用statfulset 创建一个 Eureka 集群、Redis 集群或者其他集群。在使用 statfulset 创建应用时,会给每个 Pod 创建一个固定的标识符比如 redis-0、 redis-1 等。
根据 statfulset 的特性，可以很方便地组建一个集群，但是需要注意的是，受 statfulset管理的 Pod 可能每个 Pod 都需要自己独立的存储，并非和其他 Pod 共享数据。比如创建一个 Redis一主二从的主从架构,Redis 主节点和两个从节点的数据肯定是不一致的,所以此时需要为每个 Pod单独创建一个存储供其使用，可以使用 statfulset 独有的 volumeclaimTemplates 参数结合Storageclass 为每个 Pod 动态创建 PVC，这样每个 Pod 就有了自己独有的存储。接下来用一个简单的示例介绍 volumeclaimTemplates 的使用。
(1)编辑示例文件
#volumeclaimTemplates 没有提供样例文件，需要自己编辑
[root@master examples]# vim volumeClaimTemplates.yaml
apiVersion: v1
kind: Service
metadata:
name: nginx
labels:
app: nginx
spec:
ports:
- port: 80
name: web
clusterIP: None
selector:
app: nginx
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: web
spec:
selector:
matchLabels:
app: nginx # has to match .spec.template.metadata.labels
serviceName: "nginx"
replicas: 3 # by default is 1
template:
metadata:
labels:
app: nginx # has to match .spec.selector.matchLabels
spec:
terminationGracePeriodSeconds: 10
containers:
- name: nginx
image: nginx:1.7.9
ports:
- containerPort: 80
name: web
volumeMounts:
- name: www
mountPath: /usr/share/nginx/html
volumeClaimTemplates:
- metadata:
name: www
spec:
accessModes: [ "ReadWriteOnce" ]
storageClassName: "rook-ceph-block"
resources:
requests:
storage: 1Gi
备注:
name:www ##和 volume 的 name 类似，通过 volumeMounts 指定该名字挂载到 pod
accessModes:["ReadWriteOnce"] ##访问模式
storageClassName:"rook-ceph-block" ##StorageClass名字
resources:存储配置
超过 terminationGracePeriodseconds 等待时间后，K8S会强制结束老POD
(2)创建StatefulSet
[root@k8s-master examples]# kubectl create -f volumeclaimTemplates.yaml
此时,3个 Pod 分别有了自己的存储数据互不共享,在使用 statefulset 建立 Redis、MySQL、RabbitM0 集群时，如果需要持久化数据，就需要使用 volumeclaimTemplates 参数为每个 Pod 提供存储。
六、共享型文件系统的使用
共享型文件系统一般用于多个 Pod 共享一个存储，比如用户上传的头像、需要被多个前端访问等。
1.创建共享型文件系统
与块存储类似，也需要创建共享型文件存储的 pool。
(1)为共享型文件系统创建 pool
[root@k8s-master ~]# cd /root/rook/deploy/examples
[root@k8s-master examplesl# kubectl create -f filesystem.yaml(2)查看 pod 启动状态
由于文件存储需要使用 metadata server 存储元数据，因此创建完成后会启动 mds 容器，需要等待 mds 容器启动后才可以创建 PV。
(3)在ceph dashboard 查看
2.创建共享型文件系统的 storageclass
文件存储也需要一个 storageclass 动态创建 PV。
[root@k8s-master ~l# cd /root/rook/deploy/examples/csi/cephfs
[root@k8s-master cephfs]# kubectl create -f storageclass.yaml之后将 PVc 的 storageclassName 设置成 rook-cephfs 即可创建共享文件类型的存储(指向块存储的 storageclass 即为创建块存储)，可以供多个 Pod 共享数据。
3.挂载测试
创建一个 pod 挂载测试
[root@k8s-master ~]# cd /root/rook/deploy/examples/csi/cephfs#rook 提供了此测试样例
[root@k8s-master cephfs]# cat kube-registry.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: cephfs-pvc
namespace: kube-system
spec:
accessModes:
- ReadWriteMany
resources:
requests:
storage: 1Gi
storageClassName: rook-cephfs
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: kube-registry
namespace: kube-system
labels:
k8s-app: kube-registry
kubernetes.io/cluster-service: "true"
spec:
replicas: 3
selector:
matchLabels:
k8s-app: kube-registry
template:
metadata:
labels:
k8s-app: kube-registry
kubernetes.io/cluster-service: "true"
spec:
containers:
- name: registry
image: registry:2
imagePullPolicy: Always
resources:
limits:
cpu: 100m
memory: 100Mi
env:
# Configuration reference: https://docs.docker.com/registry/configuration/
- name: REGISTRY_HTTP_ADDR
value: :5000
- name: REGISTRY_HTTP_SECRET
value: "Ple4seCh4ngeThisN0tAVerySecretV4lue"
- name: REGISTRY_STORAGE_FILESYSTEM_ROOTDIRECTORY
value: /var/lib/registry
volumeMounts:
- name: image-store
mountPath: /var/lib/registry
ports:
- containerPort: 5000
name: registry
protocol: TCP
livenessProbe:
httpGet:
path: /
port: registry
readinessProbe:
httpGet:
path: /
port: registry
volumes:
- name: image-store
persistentVolumeClaim:
claimName: cephfs-pvc
readOnly: false
[root@k8s-master cephfs]# kubectl create -f kube-registry.yaml
此时一共创建了3个Pod，这3个 Pod 共用一个存储，并都挂载到了/var/1ib/registry，该目录中的数据由3个容器共享。
七、PVC 扩容
1.扩容块存储
(1)查看当前容量
[root@k8s-master ~l# kubectl get pvc
(2)扩容
保存退出后会同步更新
(3)查看 PVC 修改结果
扩容有一定的延迟，等待一小会，即可看到扩容结果。
[root@k8s-master ~]# kubectl get pvc
(4)查看PV扩容结果
(5)查看Ceph DashBoard
(6)查看容器中的扩容结果
2.扩容文件共享型PVC
(1)查看之前创建的文件共享型PVC
(2)修改大小
之前是1G，此处改为2G
保存退出后会自动更新
(3)查看修改后的 PVC 大小
[root@k8s-master ~]# kubectl get pvc -n kube-system
(4)查看修改后的 PV 的大小
(5)查看容器中的扩容结果
八、PVC快照
PVC快照功能和使用云服务器或者虚拟机的快照功能类似，可以针对存储某一刻的状态进行一个快照，无论数据出现严重丢失或者其他情况，都可以回滚数据。
1.创建snapshotclass
Snapshotclass 是创建快照的类。
[root@k8s-master ~]# cd /root/rook/deploy/examples/csi/rbd
[root@k8s-master rbd]# kubectl create -f snapshotclass.yaml2.创建快照
首先在之前创建的 MySQL 容器中创建一个文件夹，并创建一个文件。
(1)查看之前创建的 MySQL
(2)登录MySQL容器创建测试用文件
(3)修改snapshot.yaml 文件
指定为哪个 PVC 创建快照
[root@master rbd]# vim snapshot.yaml
---
apiVersion: snapshot.storage.k8s.io/v1
kind: VolumeSnapshot
metadata:
name: rbd-pvc-snapshot
spec:
volumeSnapshotClassName: csi-rbdplugin-snapclass
source:
persistentVolumeClaimName: mysql-pv-claim
(4)创建快照
[root@k8s-master rbd]# kubectl create -f snapshot.yaml(5)查看快照结果
[root@k8s-master rbdl# kubectl get volumesnapshot
3.恢复快照
(1)使用快照恢复数据
备注:
storageclassName:rook-ceph-block
dataSource:快照名称
storage:20Gi 大小不能小于原来的值
(2)执行恢复动作
[root@k8s-master rbd]# kubectl create -f pvc-restore.yaml(3)查看结果
4.检查快照的数据
(1)创建容器
创建一个容器，挂载用快照恢复的PVC，并查看里面我们创建的文件，
[root@k8s-master rbdl# vim restore-check-snapshot-rbd.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: check-snapshot-restore
spec:
selector:
matchLabels:
app: check
strategy:
type: Recreate
template:
metadata:
labels:
app: check
spec:
containers:
- image: alpine:3.8
name: check
command:
- sh
- -c
- sleep 36000
volumeMounts:
- name: check-mysql-persistent-storage
mountPath: /mnt
volumes:
- name: check-mysql-persistent-storage
persistentVolumeClaim:
claimName: rbd-pvc-restore
[root@k8s-master rbd]# kubectl create -f restore-check-snapshot-rbd.yaml(2)查看结果
九、PVC 克隆
和虚拟机类似，PVC也支持克隆，可以基于某个PVC 复制出一个一模一样数据的新的 PVC。
1.创建克隆
[root@k8s-master rbd]# pwd
/root/rook/deploy/examples/csi/rbd
注意:
datasource 的 name 是被克隆的 PVC 的名字，在此是 mysql-pv-claim
StorageclassName 是新建的PVC的Storageclass 名称
storage 大小不能小于之前的 PVC 的大小
2.开始克隆
[root@k8s-master rbd]# kubectl create -f pvc-clone.yaml
