2022年,我司技术工程师在进行第四季度设备巡检时,就在客户公司发现了一个负载均衡设备故障。
l 确认问题
我们发现有一台F5负载均衡设备,状态出现异常,出现所有的业务健康检查均未通过、设备HA状态异常现象,如下图所示:
经确认,1.1.1.2与1.1.1.1两台设备互为主备:在故障出现前,1.1.1.2为主机,1.1.1.1为备机;目前,1.1.1.2状态异常转为备机,1.1.1.1成为新的主机。
l 原因分析
在确保生产环境的设备主备状态正常后,对故障设备进行原因分析:
1.WEB页面检查设备,发现1.1.1.2的业务端口出现down的状态:
2.现场检查设备,看见设备除了管理口外的端口都没有亮灯:
3.目前分析可能存在的问题有三种:
①线路或者光模块存在异常;
②设备系统存在异常;
③设备硬件存在异常。
由于本次故障四个端口同时出现问题,故排除了第①种可能。
4.进行重启设备,发现设备在重启后故障现象依旧存在,且设备在命令行下一直有异常日志弹出:
Bcm56xxd是控制网口的进程,日志条目一直显示该进程正在重新启动,目前问题基本定位到是由于该进程的异常引起的;
5.对设备进行重装系统,发现设备在完成系统重装后,仍然一直在弹出上述日志,因此可以排除是软件层面的异常,排除第②种可能;
6.综上所述,确定是硬件层面的故障导致了问题的出现。
l 解决方案
经与客户协商,从客户测试环境撤下一台同型号的F5设备,将该设备当作新的备机来使用。
操作流程如下:
1.将新备机在测试环境的配置备份下来,存档备用:
2.将新设备从原机柜断电下架,重新上架到对应机柜;
3.为新设备上电并重新安装系统,将系统更新到与主机1.1.1.1相同的版本
4.为新设备配置好基础的网络配置,如设备管理IP、管理员账户等;
5.在新设备上将设备手动锁定为“强制备机”状态,避免后续发生自动切换;
6.将原备机的心跳线、管理线、业务线拔掉;
7.将原备机拔下来的心跳线、管理线接到新备机上;
8.使新备机与主机完成HA关系的建立;
9.HA建立完成后,将配置从主机同步到新备机上;
10.配置同步完成,将业务线接到新备机上;
11.检查新备机的状态,确认新备机状态正常;线路状态正常、业务健康检查正常;
12.解除备机的“强制备机”状态。
主备的问题已基本解决,后续再手动进行一次切换测试即可。
l 得出结论
管理IP为1.1.1.2的原设备,硬件存在异常,导致所有网口出现问题。
本期内容已结束,如果有问题可以留言,带你看不一样的IT世界,我们下期再见!
搜索
复制
标签:状态,负载,1.1,1.2,故障,新备,设备,久壳,F5 From: https://www.cnblogs.com/Ben-dumm/p/17356581.html