1. 问题描述
   1. linux
   2. windows
2. 问题原因
3. 问题影响
4. 问题解决
   1. 问题确认
   2. 修复虚拟机磁盘
      1. linux 操作系统修复
         1. 准备修复镜像
         2. 通过下载的镜像/磁盘镜像启动新的kvm虚拟机，将故障虚拟机磁盘挂载到系统进行修复
         3. 启动虚拟机，进行修复
         4. 验证
         5. 使用 ISO 修复需注意
      2. windows 操作系统修复
         1. 下载windows iso 镜像
         2. 从镜像启动kvm虚拟机
         3. 修复windows虚拟机
   3. 使用修复过得虚拟机磁盘文件替换ceph上面的rbd image
5. 验证

问题描述

在操作系统使用过程中，经常会遇到因掉电引起文件系统损坏导致系统无法启动的问题

linux

因计算节点重启过 rbd lock 未释放

操作系统文件系统损坏

windows

操作系统系统启动引导文件损坏

问题原因

因计算节点重启过 rbd lock 未释放，当第二次 qemu 进程在计算节点启动之后连接 该 rbd image 时由于上次 image 被 lock 了，所以无法进行io操作

因存储数据有损坏或者虚拟机进行不当操作，引起操作系统文件系统损坏

问题影响

虚拟机系统无法启动虚拟机 io 操作异常

问题解决

问题确认

关闭虚拟机查看是否有 rbd lock (J版)或者 rbd watcher(L版)，通过如下命令查看

rbd lock ls vms/8a918810-33ac-410d-8b5e-2b7342202a51_disk rbd status vms/8a918810-33ac-410d-8b5e-2b7342202a51_disk

如果关闭虚拟机一分钟之后有 watcher 或者 lock 则手动去掉 lock watcher启动虚拟机即可

rbd lock ls vms/f0f6e6ae-6a3f-49c6-bc23-0b7bda049783 There is 1 exclusive lock on this image.

Locker ID Address

client.39864782 auto 140568776689264 10.85.44.162:0/387540111

rbd status vms/f0f6e6ae-6a3f-49c6-bc23-0b7bda049783_disk Watchers:

watcher=10.85.44.162:0/387540111 client.39864782 cookie=140568776689264

释放 rbd lock

rbd lock remove vms/f0f6e6ae-6a3f-49c6-bc23-0b7bda049783 \ "auto 140568776689264" client.39864782

将该watcher加入黑名单

ceph osd blacklist add 10.85.44.162:0/387540111

如果都没有则关闭虚拟机，下载虚拟机磁盘到本地 进行本地修复

修复虚拟机磁盘

以uuid为f0f6e6ae-6a3f-49c6-bc23-0b7bda049783的虚拟机为例

下载虚拟机磁盘到计算节点

确保要操作的计算节点有足够的cpu 内存 磁盘空间

创建修复目录

mkdir /var/lib/nova/workers

下载虚拟机镜像到修复目录

rbd export vms/f0f6e6ae-6a3f-49c6-bc23-0b7bda049783_disk \

/var/lib/nova/workers/f0f6e6ae-6a3f-49c6-bc23-0b7bda049783_disk

linux 操作系统修复

• • • 1. 准备修复镜像

linux 操作系统文件系统格式一般为 xfs ext4 仅需一台可以挂载虚拟机磁 盘的 ISO或者 可启动的磁盘镜像

linux 为了方便可以直接下载 Openstack 平台的linux镜像

# 找到故障虚拟机对应操作系统的镜像uuid glance image-list

# 下载镜像磁盘到本地

# 例如镜像uuid为afed05de-ad6b-4ef4-aa29-04138b688838

rbd export images/afed05de-ad6b-4ef4-aa29-04138b688838 \

/var/lib/nova/workers/linuximg

亦可到官网下载 对应版本的ISO 进入救援模式修复

• • • 1. 通过下载的镜像/磁盘镜像启动新的kvm虚拟机， 将故障虚拟机磁盘挂载到系统进行修复

如果虚拟机操作系统为 LVM 且操作系统 VG 还包括 另一块云硬盘，则需要把这块云硬盘也下载到本地，挂载成

vdc

上传 files/fkk-vm.xml 到 /var/lib/nova/workers/

修改 fkk-vm.xml

<emulator>/usr/libexec/qemu-kvm</emulator>

<!-->以可启动镜像文件启动<-->

<disk type='file' device='disk'>

<driver name='qemu' type='qcow2'/>

<source file='/var/lib/nova/workers/linuximg'/>

<target dev='vda' bus='virtio'/>

</disk>

<!-->将要修复的虚拟机磁盘作为vdb挂载<-->

<disk type='file' device='disk'>

<driver name='qemu' type='raw'/>

<source file=' /var/lib/nova/workers/f0f6e6ae-6a3f-49c6-bc23- 0b7bda049783_disk'/>

<target dev='vdb' bus='virtio'/>

</disk>

• • • 1. 启动虚拟机， 进行修复

virsh create fkk-vm.xml

进入新启动的虚拟机系统修复

PC 端下载 vnc viewer

查看新建的虚拟机 vnc 端口

virsh vncdisplay fkk-vm # 输出如

:18

以上输出则 vnc 端口为 5918

通过 vnc viewer 连接，进入系统修复

分区类型主要两种 标准分区 lvm 文件系统类型主要有两种 ext4 xfs

标准分区-xfs

# 查看要要修复得分区

lsblk

# 例如 /dev/vdb1 修复

# 检查

xfs_repair -n /dev/vdb1 # 无损修复

xfs_repair /dev/vdb1

# 如无损修复失败则有损修复

xfs_repair -L /dev/vdb1

标准分区-ext4

# 查看要要修复得分区

lsblk

# 例如 /dev/vdb1 修复

fsck /dev/vdb1

lvm分区-xfs修复

# 找到想要修复的虚拟机系统分区挂载的lv和vg lvscan

vgscan # 检查

xfs_repair -n /dev/Volgroup/centos-root # 无损修复

xfs_repair /dev/Volgroup/centos-root # 如无损修复失败则有损修复

xfs_repair -L /dev/Volgroup/centos-root

至此linux修复完毕

关闭启动的修复虚拟机

可以在系统内执行 init 0

亦可使用 virsh destroy fkk-vm 来操作

• • • 1. 验证

以修复后的虚拟机磁盘来启动虚拟机修改 fkk-vm

如果虚拟机操作系统为 LVM 且操作系统 VG 还包括 另一块云硬盘，则需要把这块云硬盘也下载到本地，挂载成

vdb

<emulator>/usr/libexec/qemu-kvm</emulator>

<!--以可启动镜像文件启动-->

<!--

<disk type='file' device='disk'>

<driver name='qemu' type='qcow2'/>

<source file='/var/lib/nova/workers/linuximg'/>

<target dev='vda' bus='virtio'/>

</disk>

-->

<!--将要修复的虚拟机磁盘作为vdb挂载-->

<disk type='file' device='disk'>

<driver name='qemu' type='raw'/>

<source file=' /var/lib/nova/workers/f0f6e6ae-6a3f-49c6-bc23- 0b7bda049783_disk'/>

<target dev='vda' bus='virtio'/>

</disk>

正常启动系统则修复成功！

• • • 1. 使用 ISO 修复需注意

需要设置 xml 文件以 cdrom 启动

<disk type='file' device='cdrom'>

<driver name='qemu' type='raw'/>

<source file='/var/lib/nova/workers/en_windows_server_2016_x64_dvd_9718492.iso'/>

<target dev='hdc' bus='ide'/>

<readonly/>

<address type='drive' controller='0' bus='1' unit='0'/>

</disk>

<os>

<type arch='x86_64' machine='pc-i440fx-rhel7.0.0'>hvm</type>

<boot dev='hd'/>

<boot dev='cdrom'/>

<smbios mode='sysinfo'/>

</os>

windows 操作系统修复

windows 可操作性相对linux低的多，暂时只实践了通过ISO启动修复

• • • 1. 下载windows iso 镜像

下载镜像上传至 /var/lib/nova/workers/ 以 windows2016server standerd 为例

en_windows_server_2016_x64_dvd_9718492.iso

• • • 1. 从镜像启动kvm虚拟机

windows 占用资源比较大，这里使用8核16G的配置，如需调整修改 <memory unit='GB'>16</memory> <vcpu placement='static'>8</vcpu>

修改 fkk-cd.xml 从 cdrom 启动

注意虚拟机磁盘的驱动是 ide 盘符是 sda 使用 scsi virtio 均不能被识别 (如需标准的ISO可以识别这些驱动需要 在ISO中注入对应驱动，操作耗时耗力)

<disk type='file' device='disk'>

<driver name='qemu' type='raw'/>

<source file='/var/lib/nova/workers/59f01c98-a050-4ef3-994d-4f0c7da7e7d0_disk'/>

<target dev='sda' bus='ide'/>

</disk>

<disk type='file' device='cdrom'>

<driver name='qemu' type='raw'/>

<source file='/var/lib/nova/workers/en_windows_server_2016_x64_dvd_9718492.iso'/>

<target dev='hdc' bus='ide'/>

<readonly/>

<address type='drive' controller='0' bus='1' unit='0'/>

</disk>

启动虚拟机

virsh create fkk-cd.xml

连接虚拟机部分同 linux

• • • 1. 修复windows虚拟机

选择修复已有系统

启动系统之后选择 troubleshooting 选择 command prompt

检查虚拟机磁盘是否被识别

如果不识别说明驱动不被支持，List volume 只会有一行

Diskpart List volume List disk

List partition

修复

Bootrec /FixMbr Bootrec /FIxBoot Bootrec /ScanOs Bootrec /RebuildBcd

如果前面都能执行成功 Bootrec /RebuildBcd 失败 报错如下

执行

Diskpart List volume # 或者

List disk

# 找到 scanos找到的系统分区

# 具体select 那个需要看scanos出来的是那个 例如是分区3 select partition 3

# 激活 active退出 exit

再进行修复即可

Bootrec /RebuildBcd Y

看到如下图，修复成功

正常启动系统则修复成功！

使用修复过得虚拟机磁盘文件替换ceph上面的rbd image

删除 ceph 上面的虚拟机磁盘文件

rbd remove vms/f0f6e6ae-6a3f-49c6-bc23-0b7bda049783_disk

上传修改过的虚拟机磁盘镜像到 ceph

rbd import f0f6e6ae-6a3f-49c6-bc23-0b7bda049783_disk \ vms/f0f6e6ae-6a3f-49c6-bc23-0b7bda049783_disk

启动虚拟机

验证

启动虚拟机可以正常使用则修复完毕