Nginx构建高可用集群

构建并维护基于 Nginx 分发器的高可用 Web 集群。实现分发器故障切换，数据服务器自动容错，保证 Web 服务器在宕机情况下业务的连续性

拓补图如下

配置步骤
1、配置nginx集群

master&backup安装nginx和keepalived
修改nginx配置文件
[root@master ~]# vim /usr/local/nginx/conf/nginx.conf
worker_processes  1;
events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
         upstream web {
                server 192.168.0.42 max_fails=2 fail_timeout=3;#3秒内失败2次，则认为此节点失效
                server 192.168.0.43 max_fails=2 fail_timeout=3;
        }
server {
        listen  80;
        server_name     localhost;
        location / {
        proxy_pass http://web;
        }
}
}

2、配置keepalived
主分发器

[root@master ~]# vim /etc/keepalived/keepalived.conf 
! Configuration File for keepalived
global_defs {
    router_id NGINX_DEVEL
}
vrrp_script check_nginx {	#定义脚本的名称为check_nginx
    script "/etc/keepalived/nginx_pid.sh"	#检查对应位置的文件是否存在
    interval 2	#定义执行间隔为2秒
    fall 1	#失败次数为1次
}
vrrp_instance nginx {	#定义实例名称为nginx
    state MASTER	#定义主机状态
    interface ens33	#定义通信接口，VIP绑定的接口
    mcast_src_ip 192.168.0.40	#定义发送vrrp广播的源地址，模式使用VIP绑定网卡的主IP地址
    virtual_router_id 51#定义VRID，主从设备vrid要抑制
    priority 100#定义优先级
    advert_int 1	#定义检查间隔，默认1秒
    authentication {	#设置认证，同一vrid的设备要抑制
        auth_type PASS	#认证方式为PASS
        auth_pass 1111	#认证密码为1111
    }
    track_script {
        check_nginx	#调用在vrrp_script中定义的内容
    }
    virtual_ipaddress {
        192.168.0.150/24
    }
}

备分发器

[root@backup ~]# vim /etc/keepalived/keepalived.conf 
! Configuration File for keepalived
global_defs {
    router_id NGINX_DEVEL
}
vrrp_script check_nginx {
    script "/etc/keepalived/nginx_pid.sh"
    interval 2
    fall 1
}
vrrp_instance nginx {
    state BACKUP
    interface ens33
    mcast_src_ip 192.168.0.41
    virtual_router_id 51
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    track_script {
        check_nginx
    }
    virtual_ipaddress {
        192.168.0.150/24
    }
}

3、编写主备分发器自动切换脚本
主分发器

[root@master ~]# vim /etc/keepalived/nginx_pid.sh
#!/bin/bash
nginx_kp_check () {
    nginxpid=`ps -C nginx --no-header |wc -l`
    if [ $nginxpid -eq 0 ];then
        /usr/local/nginx/sbin/nginx
        sleep 1
        nginxpid=`ps -C nginx --no-header |wc -l`
        if [ $nginxpid -eq 0 ];then
            systemctl stop keepalived
        fi
    fi
}

nginx_kp_check

备分发器

[root@backup ~]# vim /etc/keepalived/nginx_pid.sh 
#!/bin/bash
nginx_kp_check () {
    nginxpid=`ps -C nginx --no-header |wc -l`
    if [ $nginxpid -eq 0 ];then
        /usr/local/nginx/sbin/nginx
        sleep 1
        nginxpid=`ps -C nginx --no-header |wc -l`
        if [ $nginxpid -eq 0 ];then
            systemctl stop keepalived
        fi
    fi
}

nginx_kp_check

脚本功能说明：统计nginx进程数量，如果进程数量的值等于0，说明nginx挂了，那么执行/usr/local/nginx/sbin/nginx去启动分发器，等待1秒后再次检查进程数量，如果进程数量的值还是等于0，则执行systemctl stop keepalived停止keepalived服务。这样就停止发组播，释放VIP，而备用服务器就开始接手工作了。

nginx分发器主备切换测试
1）在主分发器上终结nginx服务并查看VIP

[root@master ~]# watch -n1 'killall nginx'  #每隔秒执行一次killall nginx命令
[root@master ~]# ip add  #查看VIP是否存在，正常情况下已经绑定给了备分发器

2）在备分发器下是否存在VIP

[root@backup ~]# ip add	 #正常情况下是存在VIP的

3）使用客户端访问浮动IP能正常分发

[root@client ~]# curl 192.168.0.150
web1
[root@client ~]# curl 192.168.0.150
web2

数据服务器宕机测试
1）停掉web server1上的web服务
[root@web1 ~]# systemctl stop httpd
2）使用客户端测试，正常情况为流量全部访问到web server2上面来

[root@client ~]# curl 192.168.0.150
web2
[root@client ~]# curl 192.168.0.150
web2

3）重新启动web server1的web服务器
[root@web1 ~]# systemctl restart httpd

4)使用客户端测试，正常情况为流量均匀分发到两台数据服务器上面来

[root@client ~]# curl 192.168.0.150
web2
[root@client ~]# curl 192.168.0.150
web1