3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

我们通常讲的“超融合（HCI）”是一种云平台基础架构方案，它无需专用的存储设备， 每台服务器既承担计算又存储数据， 只需增加服务器，即可等效提升计算+存储性能。是性能最强、性价比最高的一种方案。
本文将介绍搭建超融合云平台,并且平滑替代Vmware虚拟化的详细方案，以StarVCenter超融合软件为例演示具体搭建过程，本方案采用3台服务器初始搭建，后续按需添加服务器即可。
目录
1 准备工作 1-2
1.1 获取安装镜像 1-2
1.2 准备硬件 1-2
1.3 网络布线与IP规划 1-3
2 安装操作系统 2-5
2.1 开启虚拟化支持 2-5
2.2 选择安装类型 2-5
2.3 选择系统磁盘 2-6
2.4 配置主机名、IP 2-6
3 部署集群 3-8
3.1 配置分布式存储 3-10
3.2 指定网卡用途 3-11
3.3 配置镜像存储 3-11
3.4 配置数据库集群 3-12
3.5 配置管控集群 3-13
3.6 一键部署 3-13
3.7 验证安装结果 3-14
4 资源初始化 4-15
4.1 初始化IP地址池 4-15
4.2 初始化模板库 4-16
5 创建虚拟机 5-17
5.1 创建虚拟机(克隆) 5-17
5.2 跨主机迁移 5-19
5.3 迁入虚拟机 5-21
6 附录 6-25
6.1 刻录安装U盘方法 6-25
6.2 扩充节点方法 6-26

1 准备工作
1.1 获取安装镜像
从StarVCenter官网（www.starvcs.com），点击官网下载，进入下载目录：http://starvcs.com/download/StarVCenter/StarVCenter_Enterprise_Download/
选择最新版本下载：starve4-x86_64-StarVCenter-enterprise-xx.iso
验证其md5码以确保文件没损坏，然后刻录成光盘或U盘，如果只是体验安装过程，你可以选择用在虚拟机中安装StarVCetner，也就不需要刻录了。
刻录U盘方法，见附录：刻录安装U盘方法。
1.2 准备硬件
“超融合”部署最小硬件要求如下：
服务器>=3台，每台服务器最小配置为：4核、13GB内存、>=1块网卡（>=1Gb/s）、>=2块硬盘（单盘>=100GB）。
提示：按最小硬件配置只能保证安装部署成功，大家体验验证过程可选择规格高一些的硬件，以获得更好的体验。
本示例采用的3台服务器配置如下表：
服务器 规格 说明
CPU 24核 支持虚拟化VT
内存 64GB
网卡 1块千兆网卡（1Gb/s）；
1块万兆网卡（10Gb/s）；
磁盘 4块sas HDD硬盘（960GB）；
2块sas HDD硬盘（580GB）；
1块sata SSD硬盘（480GB）； （1）第1块960GB硬盘用作系统盘；
（2）本示例采用超融合部署，3块960GB硬盘和2块580GB硬盘用作分布式存储数据盘，1块SSD硬盘用作缓存盘。
提示：若部署期间不选择使用的磁盘，在部署完成后，可在存储池页面添加为本地localfile存储。
解释说明：
*为何须万兆网：超融合平台所有虚拟机的磁盘I/O数据都须通过网络传送到指定节点上保存，万兆以下扛不住。
*缓存盘是什么：N倍速于数据盘的固态硬盘，配有缓存盘时，虚拟机磁盘I/O将直接落盘于缓存盘即完成I/O，并在后台转移到数据盘，可提升存储性能。
*硬盘是否配raid：其中缓存盘和数据盘须作为独立盘被操作系统识别，因此可配置为raid直通或单盘raid0。
提示：上表中网卡和磁盘的用途在后续部署界面上可灵活地选择。
实际生产部署中，根据不同情形，可参考官网硬件配置建议：
生产环境硬件配置建议：
http://www.starvcs.com/doc/vcenter/index.html#/suggest；
企业级超融合部署方案(参考)：
http://www.starvcs.com/doc/vcenter/index.html#/ceph-build；
1.3 网络布线与IP规划
说明：平台对网络的需求有三种，管理网是访问管理界面管理各节点的网，业务网是访问虚拟机中业务应用的网，存储网是虚拟机磁盘I/O的传输网。系统默认将管理网、业务网、存储网放在同一物理网卡线路上。
本方案采用独立的万兆网作存储网，将千兆网卡接到千兆交换机上、万兆网卡接到万兆交换机上，网络拓扑如下图所示：

思考：从安全和高可用的角度看，三种网络各用两台交换机做双冗余最佳；从成本和简单的角度看，只用一台交换机接1个网口也能跑。

IP地址规划：
为了避免物理机和虚拟机IP冲突，通常将管理网和业务网的IP地址段分开。
类型 IP地址 用途
管理网 27.196.220.31-33 安装系统时配在3台服务器的管理网卡上
27.196.220.10 管控集群浮动IP
27.196.220.11 数据库集群浮动IP
27.196.220.101-120（可选） 部署完成后，从管理界面录入IP地址池备用，这是使用VPC私网、对象存储、文件存储等功能的前提条件。
业务网 192.168.10.1-100 部署完成后，从管理界面录入IP地址池备用，创建虚拟机通常需要分配这些IP。
存储网 默认后台自动分配，无须关心

2 安装操作系统
下面我们使用之前刻录的安装盘，分别在3台服务器上进行引导安装。
2.1 开启虚拟化支持
用于部署StarVCenter的服务器需要开启CPU虚拟化支持（在bios中设置，同时选择从U盘启动）。
若在Vmware workstation虚拟机中体验安装本系统（实际使用时，请在物理服务器上安装），则创建虚拟机时须在 “处理器”中勾选“虚拟化”支持。
进入系统安装引导界面后，选择“Install StarVE”，按回车键。
注意：若在ESXI的虚拟机中体验安装本系统，请允许“混杂模式”和“MAC地址修改”，否则IP将无法访问。
2.2 选择安装类型
点击【SOFTWARE SELECTION】进入软件选择界面：
（说明：部署节点安装完成后，可通过浏览器打开“http://部署节点ip:9000”，从部署界面添加多台‘Basic节点’，并将这些节点以“多管控节点集群”的模式批量部署）。
我们将第一台服务器作为部署节点，选择“Deployment node”类型，第二、三台节点，都选择“Basic node”类型。
第一台节点选择，如下图：

第二、三台节点选择，如下图：

点击【Done】铵钮确认选择。
2.3 选择系统磁盘
点击【INSTALLATION DESTINATION】选项，选择第一块磁盘作为系盘，点击【Done】按钮确认选择，如下图：

2.4 配置主机名、IP
1.配置主机名
我们将三台服务器的主机名配置为starve001、starve002、starve003。
点击【NETWORK & HOSTNAME】，打开配置界面，在“Host name”栏输入主机名。
2.配置IP地址
（提示：这里配置1个IP即可。集群部署期间，此IP将被默认识别为管理网IP，自动移植到管理网网桥‘br-mgmt’上。）
我们将三台服务器的IP配置为27.196.220.31、27.196.220.32、27.196.220.33。
（注意：这里的IP是管理网的IP，按上文网络布线规划，此处选择已接线的千兆网口）
（1）点击【Configure】按钮，选择【IPv4 Settings】，将“Method”设置为【Manual】。
（2）点击【add】，输入IP、掩码、网关，点击【Save】，如下图：

（3）点击右侧滑块启用网卡，使其从“OFF”变为“ON”，然后点击【Done】按钮进行确认，如下图：

点击【Done】按钮回到主页面，点击“Begin Installation”按钮开始部署。
点击“ROOT PASSWORD”，设置root账户密码。
约需要10分钟完成安装，安装完成后，点击“reboot”重启系统。
按照上述方法完成所有服务器的操作系统安装，并确保所有服务器之间IP互通。
3 部署集群
通过浏览器(推荐Google Chrome)打开WEB部署界面，访问地址为：
http://部署节点IP地址:9000，实际为：http://27.196.220.31:9000，如下图：

点击【开始】进入“添加主机”页面，我们将3台服务器都加进来，输入起始IP为27.196.220.31，结束IP为27.196.220.33，如下图：

说明：确认所有服务器之间IP地址互通，再添加主机。
请将所有服务器添加至部署界面，并且确保“管理网IP”栏中所有节点状态均为在线（图标为绿色），如下图：

3.1 配置分布式存储
在顶部导航栏中点击【配置分布式存储】，进入配置界面，如下图：

说明：系统将自动检测硬件是否满足超融合部署条件，上图中看到绿色框中的‘满足’字样表示满足条件。系统默认自动选择磁盘用途，绿色的表示固态盘，可点击右侧“配置磁盘”按钮按预先规划选择磁盘用途，最后点击“确定”即选择超融合部署。
3.2 指定网卡用途
在顶部导航栏中点击【指定网卡用途】，进入配置界面，系统默认选择当前IP所在的网卡充当所有网络用途，若只使用单网口则直接点击“确定”即可，如下图：

本方案中，在上图中勾选服务器，点击“配置”按钮，打开网卡用途配置页面，选用万兆网卡作为存储网，千兆网卡作为管理网和业务网，如下图：

3.3 配置镜像存储
在顶部导航栏中点击【配置镜像存储】进入辅存配置界面。
系统将自动选中默认配置，直接点击“确定”按钮即可，如下图：

3.4 配置数据库集群
在顶部导航栏中点击【配置数据库集群】，进入配置界面。
系统将自动选中数据库集群的默认配置，此处需要输入数据库集群浮动IP地址（此IP必须与数据库主、备节点IP互通），此处为27.196.220.11，然后点击“确定”按钮即可，如下图：

3.5 配置管控集群
点击顶部导航栏中【配置管控集群】，进入配置界面：
系统将自动选择管控集群节点，此处需要输入管控集群浮动IP地址（此IP必须与所有管控集群节点IP互通），此处为27.196.220.10，之后点击“确定”按钮即可，如下图：

3.6 一键部署
点击顶部导航栏中“一键部署”，进入部署界面，点击“开始一键部署”按钮开始执行部署，如下图：
注意：此处建议配置标准钟源地址，若无可用时钟源，务必确保镜像存储节点的系统时钟与标准时间一致。
等待部署完成后，界面将显示系统的访问地址，如下图：

3.7 验证安装结果
在部署完成界面点击“访问链接地址”打开管理界面(推荐Google Chrome)，如下图：

注意：2023年6月之后发布的版本，所有账号默认密码统一改为Svc*2009
默认业务操作员账号为：user/user
默认系统管理员账号为：admin/admin
这里通过账号user登录进入系统，在“资源管理”>“存储”菜单中能看到已构建完成的CEPH存储，如下图：

4 资源初始化
4.1 初始化IP地址池
按照上文IP规划，此处必须录入业务网IP段（用于虚拟机的IP分配），可选地录入管理网IP段（用于vpc私网、对象存储、文件存储等的后台地址分配）。操作方法：进入“资源管理”>“网络池”菜单，选择“IP地址池”选项，点击“新增IP”按钮，如下图：
注意：
录入业务网IP应选择‘默认子网’
录入管理网IP应选择‘默认管理网’

4.2 初始化模板库
StarVCenter的官网提供通用的虚拟机模板镜像供用户下载，如下图：

我们可以将需要用到的虚拟机模板下载到本地电脑，再上传到模板镜像库中。操作方法：进入“资源池管理”>“模板镜像库”菜单，点击“上传模板”按钮，选择下载的模板文件，选择对应操作系统，点击“确定”按钮开始上传，如下图：

说明：若StarVCenter官网模板库未提供你想要的模板，你也可以自己上传ISO光盘镜像，然后在“创建虚拟机”时选择“全新安装”的方式自定义安装制作虚拟机模板，详见http://www.starvcs.com/doc/vcenter/index.html#/create-tmp
5 创建虚拟机
到此为止，我们就可以通过StarVCenter随心所欲地创建虚拟机了。
5.1 创建虚拟机(克隆)
进入“云组件管理”>“虚拟机”菜单，点击“创建虚拟机”按钮，如下图：

在弹出框中输入虚拟机名称，其它选择默认第一个选项，如下图：

点击“下一步”按钮，选择CPU、内存、网卡规格等，如下图：

继续点击“下一步”按钮，确认虚拟机配置，然后点击“开始创建”按钮，系统开始创建虚拟机，大约需要几秒到几十秒完成创建。
进入“放醋fc云组单中能看到刚创建的虚拟机，点击右侧操作栏的“启动”按钮，启动虚拟机。等虚拟机变成“运行”状态后 ，点击“连接”按钮可打开虚拟机的控制台，如下图：

虚拟机控制台打开后，输入模板默认账号密码root/Svc*2009登录操作系统(注意不同系统管理员账号有差异，详见官网虚拟机模板目录下的：模板镜像默认账号.png)，然后执行“ip a”命令，查看到IP地址已自动配置好，如下图所示：

5.2 跨主机迁移
超融合部署的存会对所有节点都是共享的，因此虚拟机可以随意地在各个计算节点之间迁移，这种迁移不需要停止虚拟机，对虚拟机来说是无感知的。
我们来试一试迁移操作，在“虚拟机列表”右侧操作栏中点击“下拉”框，选择“跨主机迁移”，如下图：

在弹出框中就可以选择迁移到哪台计算节点上，此处我们选择迁移到starve002节点，点击“确定”按钮开始迁移，如下图：

迁移完成后，可以看到虚拟机的宿主机变成“starve002”节点，如下图：

5.3 迁入虚拟机
将第三方平台（如VMware、阿里云等）的虚拟机或物理机及系统，整体迁移转换为本平台的虚拟机（期间源端业务不停机）。这里演示VMware中的windows虚拟机迁入本平台，首先进入“虚拟机管理>迁入虚拟机”菜单，如下图：

首次使用需先安装迁移插件，在上图中点击“安装插件”按钮。若当前平台能通互联网则选择“自动下载并安装”选项。若不通互联网，则先找能上网的电脑按页面提示的地址下载，然后选择“人工下载后上传安装”选项。
安装完成后,上图中“安装插件”铵钮将变为“进入迁移管理”，点击该按钮后打开“迁移任务”页面，如下图所示：

在上图中点击“创建迁移任务”按钮，打开创建迁移任务窗口，按照导航执行以下几步：
（1）选择目标主机要放在StarVCenter的哪个子网中，如图所示：

（2）添加源主机, 完成后点击“下一步”，如下图所示：
说明：迁移windows虚拟机时，需要在被迁移的windows虚拟机中安装迁移代理，而linux虚拟机无须安装迁移代理。对于VMware中的虚拟机，迁移之前强列建议迁移前先卸载VMware Tools。

（3）选择主标主机放在哪个存储中，点击“下一步”，如下图所示：

(4)配置迁移参数页面直接点下一步，确认信息后，创建任务,如下图所示：

等待任务进度开始后,就可以在StarVCenter中看到迁移迁移任务自动创建的虚拟机，如下图所示：

等待任务进度完成后，源主机中的数据就完整复制到目标虚拟机中了。
（5）业务切换
由于迁移期间源主机中的业务并未停止，业务数据仍在变化。因此业务切换到目标主机须执行以下几步：
1） 先关停源主机中的业务，确保无数据增长后，在迁移任务的操作栏点击“结束”按钮完成迁移任务。
2） 源主机关机或断网。
3） 在StarVCenter中找到目标虚拟机并启动。
（6）安装驱动
针对源主机为非KVM平台的windows虚拟机、windows物理机的情形，其网卡和磁盘驱动不兼容，需参考windows更新驱动完成更新。
安装QGA，为目标虚拟机提供个性化组件，便于系统主机名、IP的自动化配置和管理，windows参考windows QGA安装，linux参考linux QGA安装。
到此为止，相信大家已经可以随意地管理操控虚拟机了。
当这套3节点环境资源不够时，我们可以扩充更多的计算节点，不断提升集群的计算和存储能力，操作方法见附录-“扩充计算节点方法”。
6 附录
6.1 刻录安装U盘方法
推荐使用Rufus刻录安装盘，工具获取地址：http://rufus.ie/。打开rufus，如下图：

在“设备”栏，软件会自动识别当前系统的U盘，选择需要刻录的U盘。再点击“选择”按钮，选择已经下载的ISO文件。其他设置保持系统默认，再点击【开始】：

选择“以ISO镜像模式写入(推荐）”，再点击【OK】，开始刻录。
6.2 扩充节点方法
当资源池中算力不够时，可以通过扩充计算节点的方式加入全新的服务器。首先需要在新的服务器上安装StarVE操作系统（参照上文件安装操作系统方法），在操作系统安装主界面选择安装类型为 “Basic node”,如下图：

另外，主机名不能重复，IP地址能与之前安装的服务器所设置的IP互通即可。进度走完，点击“reboot”完成系统重启。
进入之前安装的StarVCenter管理界面，在“资源管理”>“扩充计算节点”菜单下依次执行“添加节点”、选择“扩充超融合节点”、“配置网卡与磁盘用途”、“一键部署”即可，如下图：

部署成功后，在“资源管理”>“物理主机”列表中可找到刚部署的主机，此时扩充的物理主机就可以运行虚拟机了。