OpenStack学习笔记之四：Cinder流程介绍及GlusterFS存储对接

4、Cinder详解及存储对接

4.1 Cinder流程介绍

4.1.1 流程结构

Cinder服务由四个进程组成：
① cinder-api是一个WSGI应用程序，它接受并验证来自客户端的REST（JSON或XML）请求，并通过AMQP将它们路由到适当的其他Cinder进程。
② cinder-scheduler确定哪个后端应作为卷创建或移动请求的目标。它维护后端的非持久状态（例如可用容量、功能和支持的额外规格），在做出放置决策时可以利用这些状态。调度程序使用的算法可以通过Cinder配置进行更改。
③ cinder-volume接受来自其他Cinder进程的请求，并充当Cinder驱动程序的操作容器。该进程是多线程的，并且通常每个Cinder后端都有一个执行线程（如Cinder配置文件中所定义）。
④ cinder-backup当客户端请求卷备份或恢复操作时，处理与潜在备份目标（例如通过NFS或OpenStack对象存储服务(Swift)导出的文件存储）的交互。

4.1.2 卷创建工作流程

以下部分将逐步介绍当用户请求从Cinder创建新卷时发生的步骤。

① 客户端通过调用REST API发出创建卷的请求（客户端可以使用python-cinder client CLI实用程序）。
② cinder-api流程验证请求、用户凭据；一旦验证，将消息放入AMQP队列进行处理。
③ cinder-volume进程从队列中取出消息，将消息发送到cinder-scheduler以确定将卷配置到哪个后端。
④ cinder-scheduler进程将消息从队列中取出，根据当前状态和请求的卷标准（大小、可用区域、卷类型（包括额外规格））生成候选列表。
⑤ cinder-volumecinder-scheduler进程从队列中读取响应消息 ；通过调用后端驱动程序方法迭代候选列表，直到成功。
⑥ Cinder驱动程序通过与存储子系统交互创建请求的卷（取决于配置和协议）。
⑦ cinder-volume进程收集卷元数据和连接信息，并将响应消息发布到AMQP队列。
⑧ cinder-api进程从队列中读取响应消息并响应客户端。
⑨ 客户端接收的信息包括创建请求的状态、卷UUID等。

4.1.3 卷附加工作流程

① 客户端通过调用Nova REST API发出附加卷的请求（客户端可以使用python-nova client CLI实用程序）。
② nova-api流程验证请求、用户凭据；验证后，调用Cinder API来获取指定卷的连接信息。
③ cinder-api流程验证请求、用户凭据；一旦验证，通过AMQP将消息发布到卷管理器。
④ cinder-volume从队列中读取消息，调用与要附加的卷相对应的Cinder驱动程序。
⑤ Cinder驱动程序准备Cinder卷以准备附件（具体步骤取决于所使用的存储协议）。
⑥ cinder-volume进程cinder-api通过AMQP队列将响应信息发布到进程。
⑦ cinder-apicinder-volume进程从队列中读取响应消息；将RESTful响应中的连接信息传递给Nova调用者。
⑧ Nova使用Cinder返回的信息创建与存储的连接。
⑨ Nova将卷设备/文件传递给管理程序，然后管理程序将卷设备/文件作为实际或虚拟块设备（取决于存储协议）附加到来宾VM。

4.1.4 卷备份工作流程

① 客户端通过调用REST API发出备份Cinder卷的请求（客户端可以使用python-cinder client CLI实用程序）。
② cinder-api流程验证请求、用户凭据；一旦验证，通过AMQP将消息发布到备份管理器。
③ cinder-backup从队列中读取消息，为备份创建数据库记录，并从数据库中获取要备份卷的信息。
④ cinder-backup调用backup_volume要备份的卷对应的Cinder卷驱动的方法，传递备份记录和要使用的备份服务的连接（NFS、Swift等）
⑤ 适当的Cinder卷驱动程序连接到源Cinder卷。
⑥ 卷驱动程序调用backup已配置的备份服务的方法，并移交卷附件。
⑦ 备份服务将Cinder卷的数据和元数据传输到备份存储库。
⑧ 备份服务使用此备份的完整记录更新数据库，并cinder-api通过AMQP队列发布响应信息以进行处理。
⑨ cinder-api进程从队列中读取响应消息并将结果以RESTful响应形式传递给客户端。

4.1.5 卷恢复工作流程

① 客户端通过调用REST API发出恢复Cinder卷的请求（客户端可以使用python-cinder client CLI实用程序）。
② cinder-api流程验证请求、用户凭据；一旦验证，通过AMQP将消息发布到备份管理器。
③ cinder-backup从队列中读取消息，获取备份的数据库记录以及新的或预先存在的卷数据库记录，具体取决于是否请求预先存在的卷。
④ cinder-backup调用backup_restore要备份的卷对应的Cinder卷驱动的方法，传递备份记录和要使用的备份服务的连接（NFS、Swift等）
⑤ 适当的Cinder卷驱动程序连接到目标Cinder卷。
⑥ 卷驱动程序调用restore已配置的备份服务的方法，并移交卷附件。
⑦ 备份服务在备份存储库中查找Cinder卷的备份元数据和数据，并使用它们将目标Cinder卷恢复到与原始备份操作在该操作时的源卷相匹配的状态。
⑧ 备份服务cinder-api通过AMQP队列发布响应信息以进行处理。
⑨ cinder-api进程从队列中读取响应消息cinder-backup并将结果以RESTful响应形式传递给客户端。

4.2. Cinder和其他存储对接

4.2.1 GlusterFS

1. 两台虚拟机(19.101和19.102)，给虚拟机添加一块磁盘，格式化并挂载给/volume目录

[root@GFS-node1 ~]# fdisk /dev/sdb
[root@GFS-node1 ~]# mkfs.xfs /dev/sdb1

[root@GFS-node1 ~]# mkdir /volume

[root@GFS-node1 ~]# vim /etc/fstab

/dev/sdb1 /volume	xfs	defaults 0 0		# 也可以用blkid命令查看uuid，直接用uuid挂载

[root@GFS-node1 ~]# mount -a

2. 使用gluster创建存储

[root@GFS-node1 ~]# mkdir /volume/node1			# 注意：使用volume目录直接创建会报错

[root@GFS-node1 ~]# gluster peer probe 192.168.19.102	# 只加对端节点
[root@GFS-node1 ~]# gluster volume create vol1 replica 2 192.168.19.101:/volume/node1 192.168.19.102:/volume/node2		# 如果只有一个节点，就不用replica，也可以选择stripple
[root@GFS-node1 ~]# gluster volume start vol1
[root@GFS-node1 ~]# gluster volume info vol1

3. 修改Cinder配置文件，挂载glusterfs

[root@openstack ~]# yum install glusterfs-fuse -y

[root@openstack ~]# vim /etc/cinder/cinder.conf 

enabled_backends=lvm,glusterfs			# 这里的glusterfs只是一个名字，和后面的配置必须对应

[lvm]							# 这部分正常来讲是应该没有的，packstack安装时创建的，便于做实验
iscsi_helper=lioadm
volume_group=cinder-volumes
iscsi_ip_address=192.168.19.201
volume_driver=cinder.volume.drivers.lvm.LVMISCSIDriver
volume_backend_name=lvm

[glusterfs]						# 新增加的部分
volume_driver=cinder.volume.drivers.glusterfs.GlusterfsDriver		# 加载驱动
glusterfs_shares_config=/etc/cinder/shares.conf			# 指定glusterfs卷使用的配置文件
volume_backend_name=GFS						# 取个别名，后面需要用到

[root@openstack ~]# vim /etc/cinder/shares.conf

192.168.19.101:/vol1
192.168.19.102:/vol1

[root@openstack ~]# systemctl restart openstack-cinder-api

4. 将配置好的存储和Cinder关联起来

[root@openstack ~]# source keystonerc_admin 
[root@openstack ~(keystone_admin)]# cinder type-create glusterfs			# 有了类型后，创建云硬盘就可以选择这个类型，还需要将这个类型和后端卷的别名关联起来
+--------------------------------------+-----------+
|                  ID                  |    Name   |
+--------------------------------------+-----------+
| 64cb444a-ec36-4036-aca0-cfd5de769453 | glusterfs |
+--------------------------------------+-----------+
[root@openstack ~(keystone_admin)]# cinder type-key glusterfs set volume_backend_name=GFS

5. 将创建好的云硬盘挂载给云主机使用时，宿主机必须要有glusterfs的驱动，否则挂载失败

[root@compute ~]# yum install glusterfs-fuse -y			# 所有的宿主机上操作