一.高可用集群
1.1Keepalived介绍
Keepalived 是一个用 C 语言编写的轻量级的高可用解决方案软件。 主要功能包括:
1. 实现服务器的高可用性(High Availability):通过虚拟路由冗余协议(VRRP)来实现主备服务器之间的故障切换,当主服务器出现故障时,备份服务器能够自动接管服务,保证业务的连续性。
2. 健康检查:可以通过配置脚本或其他方式对服务器和服务进行健康检查,以确定服务器的状态是否正常。
3. 虚拟 IP 管理:能够管理和切换虚拟 IP 地址,确保客户端始终能够通过固定的虚拟 IP 访问服务。
Keepalived 常用于 Web 服务器、数据库服务器等高可用场景,以提高服务的可靠性和稳定性。它的配置相对简单,并且具有较低的系统资源消耗。
1.2 集群类型
- LB:Load Balance 负载均衡
- LVS/HAProxy/nginx(http/upstream, stream/upstream)
- HA:High Availability 高可用集群 数据库、Redis
- SPoF: Single Point of Failure,解决单点故障
- HPC:High Performance Computing 高性能集群
1.3VRRP 相关术语
虚拟路由冗余协议,解决静态网关单点风险
- 物理层:路由器、三层交换机
- 软件层:keepalived
- 虚拟路由器:Virtual Router
- 虚拟路由器标识:VRID(0-255),唯一标识虚拟路由器
- VIP:Virtual IP VMAC:Virutal MAC (00-00-5e-00-01-VRID)
-
物理路由器: master:主设备 backup:备用设备 priority:优先级
二.Keepalived 部署
keepalived简介功能及架构
功能:
- 基于vrrp协议完成地址流动
- 为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)
- 为ipvs集群的各RS做健康状态检测
- 基于脚本调用接口完成脚本中定义的功能,进而影响集群事务,以此支持nginx、haproxy等服务
架构:
- 用户空间核心组件: vrrp stack:VIP消息通告 checkers:监测real server system call:实现 vrrp 协议状态转换时调用脚本的功能 SMTP:邮件组件 IPVS wrapper:生成IPVS规则 Netlink Reflector:网络接口 WatchDog:监控进程
- 控制组件:提供keepalived.conf 的解析器,完成Keepalived配置
- IO复用器:针对网络目的而优化的自己的线程抽象
- 内存管理组件:为某些通用的内存管理功能(例如分配,重新分配,发布等)提供访问权限
2.1 全局配置
notification_email {
[email protected] #keepalived 发生故障切换时邮件发送的目标邮箱,可以按行区 分写多个
}
notification_email_from [email protected] #发邮件的地址
smtp_server 127.0.0.1 #指定用于发送邮件的 SMTP 服务器地址,这里是 127.0.0.1 。
smtp_connect_timeou 30 #每个keepalived主机唯一标识
router_id ka1.exam.com #建议使用当前主机名,但多节点 重名不影响
vrrp_skip_check_adv_addr #对所有通告报文都检查,会比较消耗性能
#启用此配置后,如果收到的通告报文和上一 个报文是同一 #个路由器,则跳过检查,默认 值为全检查
vrrp_strict #严格遵循vrrp协议 #启用此项后以下状况将无法启动服务: #1.无VIP地址 #2.配置了单播邻居 #3.在VRRP版本2中有IPv6地址 #建议不加此项配置
vrrp_garp_interval 0 #报文发送延迟,0表示不延迟
vrrp_gna_interval 0 #消息发送延迟
vrrp_mcast_group4 224.0.0.18 #指定组播IP的地址。
2.1 虚拟服务器配置
vrrp_instance VI_1 {
state BACKUP
interface eth0 #绑定为当前虚拟路由器使用的物理接口,如:eth0,可以和VIP不在一 个网卡
virtual_router_id 100 #每个虚拟路由器惟一标识,范围:0-255,每个虚拟路由器此值必须唯一 #否则服务无法启动 #同属一个虚拟路由器的多个keepalived节点必须相同 #务必要确认在同一网络中此值必须唯一
priority 80 #当前物理节点在此虚拟路由器的优先级,范围:1-254 #值越大优先级越高,每个keepalived主机节点此值不同
advert_int 1 #vrrp通告的时间间隔,默认1s
#preempt_delay 5s
authentication { #认证机制
auth_type PASS #AH为IPSEC认证(不推荐),PASS为简单密码(建议使用)
auth_pass 1111 #预共享密钥,仅前8位有效 #同一个虚拟路由器的多个keepalived节点必须一样
}
virtual_ipaddress { #虚拟IP,生产环境可能指定上百个IP地址
172.25.254.100/24 dev eth0 label eth0:1 #指定VIP,不指定网卡,默认为eth0,注意:不指定/prefix,默认32
}
}
virtual_server IP port { #VIP和PORT
delay_loop #检查后端服务器的时间间隔
lb_algo rr|wrr|lc|wlc|lblc|sh|dh #定义调度方法
lb_kind NAT|DR|TUN <INT> #集群的类型,注意要大写
persistence_timeout #持久连接时长
protocol TCP|UDP|SCTP #指定服务协议,一般为TCP
sorry_server <IPADDR> <PORT> #所有RS故障时,备用服务器地址
real_server <IPADDR> <PORT>{ #RS的IP和PORT
weight <INT> #RS权重
notify_up <STRING>|<QUOTED-STRING> #RS上线通知脚本
notify_down <STRING>|<QUOTED-STRING> #RS下线通知脚本 HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK { ... } #定义当前主机健康状 态检测方法
}
}
#注意:括号必须分行写,两个括号写在同一行,如: }} 会出错
2.2 应用层监测
应用层检测:HTTP_GET|SSL_GET
HTTP_GET|SSL_GET {
url {
path <URL_PATH> #定义要监控的URL
status_code <INT> #判断上述检测机制为健康状态的响应码,一般为 200
}
connect_timeout <INTEGER> #客户端请求的超时时长, 相当于haproxy的timeout server
nb_get_retry <INT> #重试次数
delay_before_retry <INT> #重试之前的延迟时长
connect_ip <IP ADDRESS> #向当前RS哪个IP地址发起健康状态检测请求
connect_port <PORT> #向当前RS的哪个PORT发起健康状态检测请求
bindto <IP ADDRESS> #向当前RS发出健康状态检测请求时使用的源地址
bind_port <PORT> #向当前RS发出健康状态检测请求时使用的源端口
}
2.3 TCP监测
传输层检测:TCP_CHECK
TCP_CHECK {
connect_ip <IP ADDRESS> #向当前RS的哪个IP地址发起健康状态检测请求
connect_port <PORT> #向当前RS的哪个PORT发起健康状态检测请求
bindto <IP ADDRESS> #发出健康状态检测请求时使用的源地址
bind_port <PORT> #发出健康状态检测请求时使用的源端口
connect_timeout <INTEGER> #客户端请求的超时时长
}
2.4 定义 VRRP script
vrrp_script
script <STRING> | <QUOTED_STRING> #shell命令或脚本路径
interval <INTEGER> #间隔时间,单位为秒,默认1秒
timeout <INTEGER> #超时时间
weight <INTEGER> #默认为0,如果设置此值为负数,
#当上面脚本返回值为非0时
#会将此值与本节点权重相加可以降低本节点权重,
#即表示fall. #如果是正数,当脚本返回值为0,
#会将此值与本节点权重相加可以提高本节点权重
#即表示 rise.通常使用负值
fall <INTEGER> #执行脚本连续几次都失败,则转换为失败,建议设为2以上
rise <INTEGER> #执行脚本连续几次都成功,把服务器从失败标记为成功
user USERNAME [GROUPNAME] #执行监测脚本的用户或组
init_fail #设置默认标记为失败状态,监测成功之后再转换为成功状态 }
三.Keepalived 企业应用示例
3.1环境配置
名称 | IP |
ka1.exam.com | 172.25.254.10 |
ka2.exam.com | 172.25.254.20 |
realserver1.exam.com | 172.25.254.110 |
realserver2.exam.com | 172.25.254.120 |
vip | 172.25.254.100 |
在ka1和ka2主机上下载keepalived
3.2实现master/slave的 Keepalived 单主架构
下载软件
[root@ka2 ~]# yum install keepalived -y
[root@ka2 ~]# rpm -ql keepalived
ka1主机配置
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
notification_email {
[email protected]
}
notification_email_from [email protected]
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id ka1.exam.org
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
vrrp_mcast_group4 224.0.0.18
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 100
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
ka2主机配置
vim /etc/keepalived/keepalived.conf
global_defs {
notification_email {
[email protected]
}
notification_email_from [email protected]
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id ka2.exam.org
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
vrrp_mcast_group4 224.0.0.18
}
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 100
priority 80
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
测试结果
[root@ka1 ~]# tcpdump -i eth0 -nn host 224.0.0.18
关闭ka1主机上的keepalived服务时,VIP将转移到ka2主机上
3.3启用keepalived日志并更改日志功能
[root@ka1 ~]# vim /etc/sysconfig/keepalived
KEEPALIVED_OPTIONS="-D -S 6"
[root@ka1 ~]# systemctl restart keepalived.service
[root@ka1 ~]# vim /etc/rsyslog.conf
local6.* /var/log/keepalived.log
[root@ka1 ~]# systemctl restart rsyslog.service
[root@ka2 ~]# ll /var/log/keepalived.log
测试结果
3.4实现独立子配置文件
要在新创建的文件中写入之前原文档中注释掉的内容
注意:如果需要独立子配置文件就需要把原配置文件的内容注释掉或者删掉
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
include "/etc/keepalived/conf.d/*.conf"
[root@ka1 ~]# mkdir -p /etc/keepalived/conf.d
[root@ka1 ~]# vim /etc/keepalived/conf.d/172.25.254.100.conf
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 100
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
}
[root@ka1 ~]# systemctl restart rsyslog.service
测试结果
3.5 非抢占模式
默认为抢占模式preempt,即当高优先级的主机恢复在线后,会抢占低先级的主机的master角色, 这样会使vip在KA主机中来回漂移,造成网络抖动, 建议设置为非抢占模式 nopreempt ,即高优先级主机恢复后,并不会抢占低优先级主机的master角色 非抢占模块下,如果原主机down机, VIP迁移至的新主机, 后续也发生down时,仍会将VIP迁移回原主机
3.5.1非抢占模式 nopreempt
注意:要关闭 VIP抢占,必须将各 keepalived 服务器state配置为BACKUP
(将ka1主机和ka2主机初始状态都改为BACKUP就是改为备份状态,并且添加nopreempt)
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 100
priority 100
advert_int 1
nopreempt
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
}
[root@ka2 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 100
priority 100
advert_int 1
nopreempt
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
}
抢占延迟模式 preempt_delay
抢占延迟模式,即优先级高的主机恢复后,不会立即抢回VIP,而是延迟一段时间(默认300s)再抢回 VIP
注意:需要各keepalived服务器state为BACKUP,并且不要启用 vrrp_strict
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
preempt_delay 5s
}
3.6VIP单播配置
默认keepalived主机之间利用多播相互通告消息,会造成网络拥塞,可以替换成单播,减少网络流量
注意:启用 vrrp_strict 时,不能启用单播,所以需要关闭vrrp_strict
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
unicast_src_ip 172.25.254.10 #本机IP
unicast_peer {
172.25.254.20 #指向对方主机IP,如果有多个keepalived,再加其它节点的IP
}
[root@ka1 ~]# systemctl restart keepalived.service
[root@ka2 ~]# vim /etc/keepalived/keepalived.conf
unicast_src_ip 172.25.254.20
unicast_peer {
172.25.254.10
}
[root@ka2 ~]# systemctl restart keepalived.service
测试结果
抓包查看单播效果
tcpdump -i eth0 -nn src host 172.25.254.20 and dst 172.25.254.10
3.7 Keepalived 通知脚本配置
写脚本,并给权限
(ka1主机和ka2主机都要配置)
[root@ka1 ~]# vim /etc/keepalived/mail.sh
#!/bin/bash
mail_dest='[email protected]' #写自己的QQ号
mail_send()
{
mail_subj="$HOSTNAME to be $1 vip 转移"
mail_mess="`date +%F\ %T` : vrrp 转移,$HOSTNAME 变为 $1"
echo "$mail_mess" | mail -s "$mail_subj" $mail_dest
}
case $1 in
master)
mail_send master
;;
backup)
mail_send backup
;;
fault)
mail_send fault
;;
*)
exit 1
;;
esac
chmod +x /etc/keepalived/mail.sh
[root@ka2 ~]# vim /etc/keepalived/mail.sh
#!/bin/bash
mail_dest='[email protected]' #写自己的QQ号
mail_send()
{
mail_subj="$HOSTNAME to be $1 vip 转移"
mail_mess="`date +%F\ %T` : vrrp 转移,$HOSTNAME 变为 $1"
echo "$mail_mess" | mail -s "$mail_subj" $mail_dest
}
case $1 in
master)
mail_send master
;;
backup)
mail_send backup
;;
fault)
mail_send fault
;;
*)
exit 1
;;
esac
chmod +x /etc/keepalived/mail.sh
下载邮件服务,并进行QQ邮箱配置
(ka1主机和ka2主机都要配置)
yum install mailx -y
vim /etc/mail.rc
set [email protected] #写自己的QQ号
set smtp=smtp.qq.com
set [email protected] #写自己的QQ号
set smtp-auth-password=xxxxxxxxxxx #写自己的QQ授权码
set smtp-auth=login
set ssl-verify=ignore
配置keepalived配置文件
(ka1主机和ka2主机都要配置)
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
notify_master "/etc/keepalived/mail.sh master"
notify_backup "/etc/keepalived/mail.sh backup"
notify_fault "/etc/keepalived/mail.sh fault"
测试结果
进行关闭keepalived服务过程来触发脚本,进行邮件脚本的测试
3.8实现 master/master 的 Keepalived 双主架构
master/slave的单主架构,同一时间只有一个Keepalived对外提供服务,此主机繁忙,而另一台主机却 很空闲,利用率低下,可以使用master/master的双主架构,解决此问题。
master/master 的双主架构:
即将两个或以上VIP分别运行在不同的keepalived服务器,以实现服务器并行提供web访问的目的,提高 服务器资源利用率
(ka1主机和ka2主机都要配置,都需要添加一个VRRP(虚拟路由冗余协议)实例的配置模块。)
注意不同主机上的优先级 priority
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 100
priority 100
advert_int 1
vrrp_ipsets keepalived
#preempt_delay 5s
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
unicast_src_ip 172.25.254.10
unicast_peer {
172.25.254.20
}
}
vrrp_instance VI_2 {
state MASTER
interface eth0
virtual_router_id 200
priority 80
advert_int 1
vrrp_ipsets keepalived
#preempt_delay 5s
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.200/24 dev eth0 label eth0:2
}
unicast_src_ip 172.25.254.10
unicast_peer {
172.25.254.20
}
}
[root@ka2 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 100
priority 80
advert_int 1
#preempt_delay 5s
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
unicast_src_ip 172.25.254.20
unicast_peer {
172.25.254.10
}
}
vrrp_instance VI_2 {
state MASTER
interface eth0
virtual_router_id 200
priority 100
advert_int 1
#preempt_delay 5s
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.200/24 dev eth0 label eth0:2
}
unicast_src_ip 172.25.254.20
unicast_peer {
172.25.254.10
}
}
测试结果
这里是关闭ka1主机的keepalived服务,来实现ka1主机上的VIP迁移到ka2主机
3.9实现单主的 LVS-DR 模式
准备web服务器并使用脚本绑定VIP至web服务器lo网卡
(realserver1主机和realserver2主机都要配置)
[root@realserver1 ~]# ip a a172.25.254.100 dev lo
[root@realserver1 ~]# vim /etc/sysctl.d/arp.conf
net.ipv4.conf.all.arp_ignore=1
net.ipv4.conf.lo.arp_ignore=1
net.ipv4.conf.all.arp_announce=2
net.ipv4.conf.lo.arp_announce=2
[root@realserver1 ~]# sysctl --system
[root@realserver2 ~]# ip a a172.25.254.100 dev lo
[root@realserver2 ~]# vim /etc/sysctl.d/arp.conf
net.ipv4.conf.all.arp_ignore=1
net.ipv4.conf.lo.arp_ignore=1
net.ipv4.conf.all.arp_announce=2
net.ipv4.conf.lo.arp_announce=2
[root@realserver2 ~]# sysctl --system
配置keepalived服务
(ka1主机和ka2主机都要做)
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
virtual_server 172.25.254.100 80 {
delay_loop 6
lb_algo wrr
lb_kind DR
#persistence_timeout 50
protocol TCP
real_server 172.25.254.110 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 2
delay_before_retry 2
}
}
real_server 172.25.254.120 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 2
delay_before_retry 2
}
}
}
[root@ka1 ~]# systemctl restart keepalived.service
[root@ka1 ~]# ipvsadm -Ln
测试结果
我们测试的时候将realserver2的http服务停掉,我们可以观察到keepalived会控制ipvsadm自动将172.25.254.120这个策略剔除
但是如果realserver2的http服务重新启动,keepalived会将172.25.254.120这个策略重新恢复
3.10 实现其它应用的高可用性 VRRP Script
vrrp_script:自定义资源监控脚本,vrrp实例根据脚本返回值,公共定义,可被多个实例调用,定 义在vrrp实例之外的独立配置块,一般放在global_defs设置块之后。
通常此脚本用于监控指定应用的状态。一旦发现应用的状态异常,则触发对MASTER节点的权重减至 低于SLAVE节点,从而实现 VIP 切换到 SLAVE 节点
3.10.1 利用脚本实现主从角色切换
使用条件判断语句,用于检查 /mnt/lee
这个文件是否不存在
[root@ka2 ~]# vim /mnt/check_test.sh
#!/bin/bash
[ ! -f "/mnt/lee" ] #使用条件判断语句,用于检查/mnt/lee这个文件是否不存在
chmod +x /mnt/check_test.sh #给一个可执行权限
[root@ka2 ~]# vim /etc/keepalived/keepalived.conf
[root@ka2 ~]# systemctl stop haproxy.service
vrrp_script check_test {
script "/mnt/check_test.sh" #指定要执行的监测脚本的路径
interval 1
weight -30 #表示如果脚本执行结果不满足期望,优先级降低30
fall 2
rise 2
timeout 2 #指定脚本执行的超时时间为2秒
}
vrrp_instance VI_2 {
state MASTER
interface eth0
virtual_router_id 200
priority 100
advert_int 1
#preempt_delay 5s
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.200/24 dev eth0 label eth0:2
}
unicast_src_ip 172.25.254.20
unicast_peer {
172.25.254.10
}
track_script {
check_test
}
}
测试结果
创建文件后,vip会转移到ka1主机上
touch /mnt/lee
3.10.2 实现HAProxy高可用
下载haproxy并修改修改haproxy配置文件,修改内核参数
[root@ka2 ~]# vim /etc/haproxy/haproxy.cfg
listen webserver
bind 172.25.254.100:80
server web1 172.25.254.110:80 check inter 2s fall 3 rise 5
server web2 172.25.254.120:80 check inter 2s fall 3 rise 5
[root@ka2 ~]# vim /etc/sysctl.conf
[root@ka2 ~]# sysctl -p
net.ipv4.ip_nonlocal_bind = 1
编写脚本,并修改keepalived配置文件
[root@ka2 ~]# vim /mnt/check_test.sh
#!/bin/bash
[ ! -f "/mnt/lee" ] #使用条件判断语句,用于检查/mnt/lee这个文件是否不存在
chmod +x /mnt/check_test.sh #给一个可执行权限
[root@ka2 ~]# vim /etc/keepalived/keepalived.conf
[root@ka2 ~]# systemctl stop haproxy.service
vrrp_script check_test {
script "/mnt/check_test.sh" #指定要执行的监测脚本的路径
interval 1
weight -30 #表示如果脚本执行结果不满足期望,优先级降低30
fall 2
rise 2
timeout 2 #指定脚本执行的超时时间为2秒
}
vrrp_instance VI_2 {
state MASTER
interface eth0
virtual_router_id 200
priority 100
advert_int 1
#preempt_delay 5s
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.200/24 dev eth0 label eth0:2
}
unicast_src_ip 172.25.254.20
unicast_peer {
172.25.254.10
}
track_script {
check_test
}
}
测试结果
当停止haproxy时,vip会迁移到ka1
标签:keepalived,KEEPALIVED,ka1,vrrp,实例,集群,172.25,root,eth0 From: https://blog.csdn.net/luohailin_/article/details/141170816