Proxmox VE 超融合集群不停服务新增配置

五个节点的Proxmox VE超融合集群，创建了两个Ceph Pool,一个是高速的Nvme存储池，另一个是大容量SATA存储池。现在需要将原有的SATA磁盘全部拔出来，换成高速Nvme磁盘。

首先，先销毁由SATA机械盘组成的“hdd_pool”，选中它，然后点击按钮“销毁”。

注意，必须先销毁Ceph Pool，在销毁组成Ceph Pool的OSD盘，如果顺序反了，在销毁Ceph OSD过程中，剩余的OSD会不断地做数据平衡，如果Ceph集群无法维持最低的磁盘数量，系统就会报错，比较麻烦。

接着对Ceph OSD进行销毁，这个步骤也是必须的，否则硬盘拔掉后，开机，会遗留一些问题，引起感官上的不舒服（强迫证）。销毁组成Ceph Pool"hdd_pool"相关的OSD磁盘分三个小的步骤：OSD下线（Out）、OSD停止（Down）和OSD销毁（Destory）。

第一步：OSD磁盘下线。选择欲下线的OSD磁盘，单击Proxmox VE集群Web管理界面右上方按钮“Out”。

第二步：停止OSD磁盘。选中处于“out”状态的OSD磁盘，单击Proxmox VE集群管理界面右上角按钮“停止”。

        为确保操作是正确的，最好确认一下Ceph集群是否在重新平衡OSD数据。可以在Proxmox VE 集群Web管理后台查看，也可 以在任意集群节点用命令行“ceph health detail”查看。如果用Web图形界面查看，正常状况应该是一片绿，如下图所示。

第三步：销毁OSD磁盘。选定同时处于“down/out”状态的OSD磁盘，单击右上方按钮“更多”，再继续单击子菜单“销毁”，如图。

按照上述三个步骤，将所有的OSD机械盘下线并销毁。除了图形操作方式外，还可以用命令行。

关掉集群中任意一台物理服务器，拔出所有的SATA硬盘，再插入新的Nvme高速磁盘，在关机以后，运行在该节点上的虚拟机全部自动飘逸到其它节点上。

更换完新盘的服务器开机，新插入的Nvme被Proxmox VE所识别，然后继续在Web管理后台，对单个磁盘执行创建OSD的操作，

如果这个步骤不处理，接下来创建OSD的时候，提示没有可以使用的硬盘。

切换到Proxmox VE超融合集群Web管理后台，选择刚插入新盘的节点，单击界面左上方按钮“创建 OSD”，弹出创建OSD的小窗口，选择新的空白设备，同时下拉列表框设备类型选择“nvme”，然后点按钮创建。

重复这个过程，将剩余的OSD创建好。然后观察Ceph Pool总体容量与以前大小的变化。

轮流执行上述全部步骤，将集群的五个节点处理完毕。因为考虑得比较周到，整个过程是非常顺利的。