现象:
网页接口一直偶发性502,概率大概20%左右
排查过程:
架构是用户->WAF->lvs->NGINX->后端
1、尝试减少接口请求,依然会502,可知和接口服务能力无关。
2、WAF侧,更换服务IP,依然不行,可知不是WAF某个节点网络有问题。
3、Nginx侧,查看日志,并未发现502日志,可知502的请求没到nginx,怀疑是waf就没发请求过来。
4、直接请求源站和nginx都不会出现502现象,但经过WAF就会有502。
4、抓包排查,在WAF侧抓包
从waf侧抓到的包看,waf与源站成功建连,waf发起post请求后,源站58.220.164.203 响应了一连串的RST包。这时203源应该没把请求转发给nginx,需要看下 203源响应RST原因
在nginx侧抓包
请求响应都正常,这样验证nginx日志没有502.
在LVS侧抓包
确实LVS机器会发送RST终止TCP链接给WAF
初步定位原因:
【问题描述】 域名通过waf节点访问概率性响应502,访问源站正常。
【问题原因】WAF节点默认使用连接复用回源,源站不支持连接复用,RST这部分请求,导致WAF响应502。
【建议解决措施】
1、源站开启支持连接复用,规避WAF回源失败概率性502问题。
2、WAF侧针对域名粒度关闭回源连接复用,采用单连接回源,规避概率性502问题。
查看内核TCP长连接时间设置
# sysctl -a | grep net.ipv4.tcp_keepalive_time net.ipv4.tcp_keepalive_time = 1200
查看LVS的配置
确认是LVS的tcp长链接时间5S过短
# ipvsadm --set 7200 120 300
修改后验证,502现象消失。
标签:网页,请求,waf,源站,nginx,WAF,502,偶发性 From: https://www.cnblogs.com/justtosee/p/17273512.html