openGauss+KeepAlived
实验环境
操作系统： CentOS 7.6

数据库版本： openGauss 1.1.0Primary

主机/IP： opengaussdb1/...1 (openGauss 主备已部署完毕)

Standby 主机/IP： opengaussdb2/...2 (openGauss 主备已部署完毕)

说明：

不建议在云环境(如：华为云)下搭建 Keepalived 进行测试，本人在云环境下测试发现，Keepalived 的 VIP 无法在云环境下与其他主机通信，云环境下如何使用该 VIP 建议咨询云服务厂商。在踩坑之后，选择使用本地的 VMWare workstation 进行简单测试。

安装 KeepAlived 软件

在所有节点执行安装

yum install keepalived -y
配置 keepalived
说明：

采用 nopreempt 不抢占 VIP，主备节点的 state 均设置为 BACKUP。

主节点配置文件。

vi /etc/keepalived/keepalived.conf

! Configuration File for keepalived

全局定义

global_defs {
router_id Keepalived_openGauss #运行 keepalived 服务器的一个标识
script_user root #执行脚本的用户
}

VRRP实例定义

通常如果master服务Down掉后backup会变成master，但是当master服务又好了的时候 master此时会抢占VIP，这样就会发生两次数据库切换。

建议使用nopreempt参数设置为非抢占模式，此时主库从故障中恢复后，不会从新的主库抢回VIP，但这需要将master和backup的state都设置成backup。

vrrp_instance VI_1 {
state BACKUP #指定Keepalived的角色(BACKUP需大写)
interface eth0 #指定 HA 监测的网络接口
virtual_router_id 59 #虚拟路由的数字标识，同一个 vrrp_instance 下，MASTER 和 BACKUP 一致
nopreempt #非抢占模式，主库从故障中恢复后，不会从新的主库抢回VIP
priority 100 #优先级，备节点需要适当降低优先级
advert_int 1 #MASTER 和 BACKUP 负载均衡器同步检查的时间间隔（秒）
authentication { #设置验证码和验证类型
auth_type PASS
auth_pass 1111
}
virtual_ipaddress { #设置虚拟 IP 地址，可以设置多个，每个一行
...0
}
}

虚拟服务器定义

virtual_server ...0 26000 { #设置虚拟服务器的 IP 和端口，用空格隔开
delay_loop 6 #设置运行情况检查时间，单位是秒

lb_algo rr #负载调度算法(轮询)

lb_kind DR #负载均衡机制(NAT、TUN、DR)

persistence_timeout 50 #会话保持时间(秒)
protocol TCP #转发协议类型
real_server ...1 26000 { #配置服务节点
weight 100 #配置服务节点的权重
notify_down /gauss/failoverdb.sh #故障响应脚本
TCP_CHECK { #使用TCP_CHECK方式进行健康检查
connect_timeout 10 #10秒无响应即超时
delay_before_retry 3 #重试间隔时间
}
}
}
主节点故障切换脚本（仅适用 openGauss 进程崩溃故障处理，不适用 Primary 操作系统宕机故障处理）。
vi /gauss/failoverdb.sh

!/bin/bash

echo "Start to failover openGauss database."
pkill keepalived
ssh ...2 "su - omm -c 'gs_ctl failover -D /gauss/data/db1'"
ssh ...2 "su - omm -c 'gs_om -t refreshconf'"
echo 'Failover operation is completed.'

chmod 764 /gauss/failoverdb.sh
备节点配置文件。

vi /etc/keepalived/keepalived.conf

! Configuration File for keepalived

全局定义

global_defs {
router_id Keepalived_openGauss #运行 keepalived 服务器的一个标识
script_user root #执行脚本的用户
}

VRRP实例定义

通常如果master服务Down掉后backup会变成master，但是当master服务又好了的时候 master此时会抢占VIP，这样就会发生两次数据库切换。

建议使用nopreempt参数设置为非抢占模式，此时主库从故障中恢复后，不会从新的主库抢回VIP，但这需要将master和backup的state都设置成backup。

vrrp_instance VI_1 {
state BACKUP #指定Keepalived的角色(BACKUP需大写)
interface eth0 #指定 HA 监测的网络接口
virtual_router_id 59 #虚拟路由的数字标识，同一个 vrrp_instance 下，MASTER 和 BACKUP 一致
nopreempt #非抢占模式，主库从故障中恢复后，不会从新的主库抢回VIP
priority 60 #优先级，备节点需要适当降低优先级
advert_int 1 #MASTER 和 BACKUP 负载均衡器同步检查的时间间隔（秒）
authentication { #设置验证码和验证类型
auth_type PASS
auth_pass 1111
}
virtual_ipaddress { #设置虚拟 IP 地址，可以设置多个，每个一行
...0
}
}

虚拟服务器定义

virtual_server ...0 26000 { #设置虚拟服务器的 IP 和端口，用空格隔开
delay_loop 6 #设置运行情况检查时间，单位是秒

lb_algo rr #负载调度算法(轮询)

lb_kind DR #负载均衡机制(NAT、TUN、DR)

persistence_timeout 50 #会话保持时间(秒)
protocol TCP #转发协议类型
real_server ...2 26000 { #配置服务节点
weight 60 #配置服务节点的权重
notify_down /gauss/failoverdb.sh #虚拟服务故障响应脚本
MISC_CHECK { ## 使用 MISC_CHECK 方式自定义脚本做健康检查
misc_path "/gauss/check.sh" ## 检测脚本
misc_timeout 10 ## 执行脚本的超时时间
misc_dynamic ## 根据退出状态码动态调整服务器的权重
}
}
}

备节点选择MISC_CHECK方式的原因：

测试发现，当主节点直接断电宕机后，Keepalived的VIP会漂移至备节点，此时如果使用TCP_CHECK方式做健康检查，会因为备机可读的原因使得VIP:26000连接正常，造成keepalived健康检查的误判。

最终导致主节点断电宕机后，备节点虽获取了VIP，但并没有执行openGauss的failover操作，备节点依旧只读，无法对外提供业务。

为了纠正这一点，建议使用MISC_CHECK方式自定义脚本，登录主节点做数据库健康检查(简单示例脚本：/gauss/check.sh)

备节点健康检查脚本[ ssh 登录主节点进行数据库连接检查 ]。
vi /gauss/check.sh

ssh ...1 "su - omm -c "gsql -d postgres -p 26000 -t -A -c 'select 1;'""

备节点故障切换脚本。
vi /gauss/failoverdb.sh

!/bin/bash

echo "Start to failover openGauss database."
pkill keepalived
su - omm -c "gs_ctl failover -D /gauss/data/db1"
su - omm -c "gs_om -t refreshconf"
echo 'Failover operation is completed.'

chmod 764 /gauss/failoverdb.sh
openGauss 配置
修改 openGauss 侦听地址。
$ gs_guc set -I all -N all -c "listen_addresses = '...'"
$ gs_guc set -I all -N all -c "local_bind_address = '...'"
修改所有节点 replconninfo 参数（避免端口冲突）。
$ vi /gauss/data/db1/postgresql.conf

修改：localport --> 26011
修改：remoteport --> 26011

重启 openGauss 数据库,并检查服务器状态。

重启openGauss

[omm@prod db1]$ gs_om -t stop && gs_om -t start

检查openGauss状态

[root@opengaussdb1 ~]# su - omm -c "gs_om -t status --detail"
[ Cluster State ]
cluster_state : Normal
redistributing : No
current_az : AZ_ALL
[ Datanode State ]

检查KeepAlived进程状态

[omm@opengaussdb1 ~]$ ps -ef|grep keep|grep -v grep
root 15664 1 0 16:15 ? 00:00:00 /usr/sbin/keepalived -D
root 15665 15664 0 16:15 ? 00:00:00 /usr/sbin/keepalived -D
root 15666 15664 0 16:15 ? 00:00:00 /usr/sbin/keepalived -D

检查VIP状态

[root@opengaussdb1 ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet .../8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 00:0c:29:da:60:c0 brd ff:ff:ff:ff:ff:ff
inet ...1/24 brd ... scope global noprefixroute ens33
valid_lft forever preferred_lft forever
inet ...0/32 scope global ens33 ## VIP：...0
valid_lft forever preferred_lft forever
inet6 2408:8270:237:ded0:c89c:adab:e7b:8bd6/64 scope global noprefixroute dynamic
valid_lft 258806sec preferred_lft 172406sec
inet6 fe80::c4f2:8ad1:200d:ce9b/64 scope link noprefixroute
valid_lft forever preferred_lft forever
故障模拟测试
主节点[...1]操作。

kill数据库进程

[root@opengaussdb1 ~]# ps -ef|grep gauss
omm 18115 1 4 16:30 ? 00:00:35 /gauss/app/bin/gaussdb -D /gauss/data/db1 -M primary
root 19254 9299 0 16:42 pts/0 00:00:00 grep --color=auto gauss
[root@opengaussdb1 ~]# kill -9 18115

检查message日志[检测到故障，执行notify_down脚本，并关闭keepalived服务]

tail -fn 200 /var/log/messages

Feb 19 16:42:57 opengaussdb1 Keepalived_healthcheckers[18816]: TCP connection to [...1]:26000 failed.
Feb 19 16:43:00 opengaussdb1 Keepalived_healthcheckers[18816]: TCP connection to [...1]:26000 failed.
Feb 19 16:43:00 opengaussdb1 Keepalived_healthcheckers[18816]: Check on service [...1]:26000 failed after 1 retry.
Feb 19 16:43:00 opengaussdb1 Keepalived_healthcheckers[18816]: Removing service [...1]:26000 from VS [...0]:26000
Feb 19 16:43:00 opengaussdb1 Keepalived_healthcheckers[18816]: IPVS (cmd 1160, errno 2): No such destination
Feb 19 16:43:00 opengaussdb1 Keepalived_healthcheckers[18816]: Executing [/gauss/failoverdb.sh] for service [...1]:26000 in VS [...0]:26000
Feb 19 16:43:00 opengaussdb1 Keepalived_healthcheckers[18816]: Lost quorum 1-0=1 > 0 for VS [...0]:26000
Feb 19 16:43:00 opengaussdb1 Keepalived[18815]: Stopping
Feb 19 16:43:00 opengaussdb1 Keepalived_healthcheckers[18816]: pid 19258 exited due to signal 15
Feb 19 16:43:00 opengaussdb1 Keepalived_vrrp[18817]: VRRP_Instance(VI_1) sent 0 priority
Feb 19 16:43:00 opengaussdb1 Keepalived_vrrp[18817]: VRRP_Instance(VI_1) removing protocol VIPs.
Feb 19 16:43:00 opengaussdb1 Keepalived_healthcheckers[18816]: IPVS (cmd 1156, errno 2): No such file or directory
Feb 19 16:43:00 opengaussdb1 Keepalived_healthcheckers[18816]: Stopped
Feb 19 16:43:01 opengaussdb1 Keepalived_vrrp[18817]: Stopped
Feb 19 16:43:01 opengaussdb1 Keepalived[18815]: Stopped Keepalived v1.3.5 (03/19,2017), git commit v1.3.5-6-g6fa32f2
备节点[...2]检查。

检查VIP是否已漂移

[root@opengaussdb2 ~]# ip a|grep 192.168
inet ...2/24 brd ... scope global noprefixroute ens33
inet ...0/32 scope global ens33

检查数据库状态[已failover成为Primary]

[omm@opengaussdb2 ~]$ gs_om -t status --detail
[ Cluster State ]
cluster_state : Degraded
redistributing : No
current_az : AZ_ALL
[ Datanode State ]