裸金属宿主机挂载后端存储数据盘丢失

1、问题描述

物理机批量底层块设备丢失问题；

2、问题分析

i.物理卷、卷组、逻辑卷发现块设备打开失败；

检查物理卷状态：pvscan

检查卷组状态：vgscan

检查逻辑卷状态：lvscan

初步判断问题原因：查看物理卷pv、卷组vg、逻辑卷lvs报错“No such device or address”，怀疑multipath服务和iscsi服务没有正常启动，检查服务都正常active；

ii．检查multipathd服务、multipath捆绑的块设备详情

注意:区分multipath -ll中，mpath[*]跟随的特殊字段含义

ISCSI挂载：关键字HUAWEI,VBS fileIO；

FSCAN后端：关键字HUAWEI,XSG1;

multipath -ll 报错：“failed faulty running”,可能后端存储链路失效；

iii.检查messages日志

报错：iscsid:can't bind conn 2:0 session 2,retcode -107，怀疑iscsi目标设备连接请求失败，可能裸金属服务器——云启平台——华为后端存储存在残留链接，建议咨询存储厂商排查；

3、问题处理

i.检查multipathd服务和iscsid服务是否正常(无异常)

       systemctl status multipathd.service

　　systemctl status iscsid.service

ii.检查multipath -ll多路径挂载块设备是否异常

       发现多块块设备报“failed faulty running”，lsblk查看快设别存在，多块块设备通过iscsiadm挂载链路失效；

iii.手动扫描块设备存储链路（裸金属服务器——云启平台——后端存储）

注意：

iscsiadmin工具重扫存储链接，只会影响iscsi扫描的后端设备，咨询存储侧不会影响FCSAN存储链接；

iscsiadm -m session --rescan

iv.裸金属服务器扫描链接后端存储节点的会话

iscsiadm -m session --

iscsiadm -m node -R

iv.裸金属服务器iscsiadm重建存储挂载链接，断开再重挂链接，恢复正常

发现后端存储

iscsiadm -m discovery -t st -p 10.x.x.95:32xx

卸载后端存储链接

iscsiadm -m node –targetname iqn.2012-10.xx.xx.xx.xx.xx.vbs.xxx --logout

       注：需要断开裸金属服务器上的块设备iscsi链接，再重新链接；

4、结论

检查发现iscsiadmin 扫描华为后端存储块设备（Huawei,VBS fileIO）建立iscsi链接失效，重新建立链接后恢复正常；

5、涉及知识点

Multipath：捆绑块设备多路劲链路链路状态、multipathd.service、/etc/multipath.conf配置；

ISCSI重建后端链接：discovery后端存储、logout断开后端存储的链接、扫描ISCSI发起session

       重新扫描后端存储链接

             Iscsiadm -m node -R

       建立后端存储链接

              Iscsiadm -m discovery -t -st -p 后端存储IP:3xxx

       断开后端存储链接

              Iscsiadm -m node –targetname iqn.2012-10.com.hxxei.dxxare:xxxxx.vbs.13xxx2 –logout

       恢复后端存储链接

              Iscsiadm -m discovery -t -st -p iscsi_ip -l 异常后端存储ip

6、参考

https://www.cnblogs.com/subsea/p/17682962.html