Linux集群架构搭载高可用负载均衡集群

服务器

IP地址

VIP地址

Master(主节点）

192.168.213.130

192.168.213.100

Backup（从节点）

192.168.213.132

192.168.213。100

http://192.168.186.129

http://192.168.186.128

[root@master ~]# vi /etc/keepalived/keepalived.conf

! Configuration File for keepalived

######################### 全局配置 #############################

global_defs {

      # 定义管理员邮件地址,可以有多个,每行一个

   notification_email {

      # 设置报警邮件地址，可以设置多个，每行一个。 需开启本机的sendmail服务

       [email protected]

   }

     [email protected]

     [email protected]

     [email protected]

   }

     # keepalived在发生诸如切换操作时需要发送email通知地址，表示发送通知的邮件源地址是谁

   notification_email_from [email protected]

#指定发送email的smtp服务器

   smtp_server 127.0.0.1

#设置连接smtp server的超时时间

   smtp_connect_timeout 30

#运行keepalived的机器的一个标识，通常可设为hostname。故障发生时，发邮件时显示在邮件主题中的信息。

   router_id nginx-l

######################### vrrpd配置 #############################

vrrp_skip_check_adv_addr

#  vrrp_strict

   vrrp_garp_interval 0

   vrrp_gna_interval 0

}

# 定义chk_nginx脚本,脚本执行间隔10秒，权重-10，检测nginx服务是否在运行。有很多方式，比如进程，用脚本检测等等

vrrp_script chk_nginx {

# 这里通过脚本监测

script "/data/chk_nginx.sh"

# 脚本执行间隔，每2s检测一次

interval 2

# 脚本结果导致的优先级变更，检测失败（脚本返回非0）则优先级 -5

weight -10

# 检测连续2次失败才算确定是真失败。会用weight减少优先级（1-255之间）

    fall 2

# 检测1次成功就算成功。但不修改优先级

rise 1

}  

# 定义vrrp实例，VI_1 为虚拟路由的标示符，自己定义名称，keepalived在同一virtual_router_id中priority(0-255)最大的会成为master，也就是接管VIP，当priority最大的主机发生故障后次priority将会接管        

vrrp_instance VI_1 {

# 指定keepalived的角色，MASTER表示此主机是主服务器，BACKUP表示此主机是备用服务器。

注意这里的state指定instance(Initial)的初始状态，就是说在配置好后，这台服务器的初始状态就是这里指定的，

#但这里指定的不算，还是得要通过竞选通过优先级来确定。如果这里设置为MASTER，但如若他的优先级不及另外一台，那么这台在发送通告时，会发送自己的优先级，另外一台发现优先级不如自己的高， #那么他会就回抢占为MASTER

    state MASTER

# 指定HA监测网络的接口。与本机 IP 地址所在的网络接口相同，可通过ip addr 查看

interface ens33

#当该keepalived切换为MASTER状态时,执行下面的脚本

notify_master /data/chk_master.sh

#当该keepalived切换为BACKUP状态时,执行下面的脚本

    notify_backup /data/chk_backup.sh

# 发送多播数据包时的源IP地址，这里注意了，这里实际上就是在哪个地址上发送VRRP通告，这个非常重要，

# 一定要选择稳定的网卡端口来发送，这里相当于heartbeat的心跳端口，如果没有设置那么就用默认的绑定的网卡的IP，也就是interface指定的IP地址

mcast_src_ip 192.168.186.129

#虚拟路由标识，这个标识是一个数字，同一个vrrp实例使用唯一的标识。即同一vrrp_instance下，MASTER和BACKUP必须是一致的

virtual_router_id 51

#定义优先级，数字越大，优先级越高，在同一个vrrp_instance下，MASTER的优先级必须大于BACKUP的优先级

priority 100

#设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒

advert_int 1

# 设置验证类型和密码。主从必须一样

authentication {

    # 设置vrrp验证类型，主要有PASS和AH两种

        auth_type PASS

#设置vrrp验证密码，在同一个vrrp_instance下，MASTER与BACKUP必须使用相同的密码才能正常通信

        auth_pass 1111

}

# VRRP HA 虚拟地址 如果有多个VIP，继续换行填写 #设置VIP，它随着state变化而增加删除，当state为master的时候就添加，当state为backup的时候则删除，由优先级决定

    virtual_ipaddress {

        192.168.186.108/24

}

# 执行nginx检测脚本。注意这个设置不能紧挨着写在vrrp_script配置块的后面（实验中碰过的坑），否则nginx监控失效！！

    track_script {

#引用VRRP脚本，即在 vrrp_script 部分指定的名字。定期运行它们来改变优先级，并最终引发主备切换。

chk_nginx

    }

}

[root@backup ~]# vi /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {

   notification_email {

       [email protected]

   }

     [email protected]

     [email protected]

     [email protected]

   }

   notification_email_from 26989465332qq.com

   smtp_server 127.0.0.1

   smtp_connect_timeout 30

   router_id nginx-2

   router_id LVS_DEVEL

   vrrp_skip_check_adv_addr

#  vrrp_strict标红这两行删掉上面同理

   vrrp_garp_interval 0

   vrrp_gna_interval 0

}

vrrp_script chk_nginx {         

script "/data/chk_nginx.sh"   

interval 2                      

weight -10                       

fall 2                   

rise 1                  

}

vrrp_instance VI_1 {

    state BACKUP

    interface ens33

    notify_master /data/chk_master.sh

    notify_backup /data/chk_backup.sh

    mcast_src_ip 192.168.186.128

    virtual_router_id 51

    priority 90

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass 1111

    }

    virtual_ipaddress {

        192.168.186.108/24

    }

    track_script {                     

   chk_nginx                 

}

}

[root@master ~]# mkdir data

[root@master ~]# touch chk_nginx.sh

[root@master ~]# vi touch chk_nginx.sh

#!/bin/bash

# 获取当前运行的 Nginx 进程数量，并将其存储在变量 A 中

A=`ps -C nginx --no-header | wc -l`

# 检查 Nginx 进程数量是否为 0

if [ $A -eq 0 ]; then

    # 如果 Nginx 进程数量为 0，尝试重新启动 Nginx

    /usr/local/nginx/sbin/nginx

    # 等待 3 秒钟，以便 Nginx 有足够的时间启动

    sleep 3

    # 再次检查 Nginx 进程数量

    if [ `ps -C nginx --no-header | wc -l` -eq 0 ]; then

# 如果 Nginx 进程数量仍然为 0，停止 keepalived 服务

        systemctl stop keepalived

    fi

fi

_

VS/NAT

VS/TUN

VS/DR

server

any

Tunneling

Non-arp device

server network

private

LAN/WAN

LAN

server number

low(10~20)

High(100)

High(100)

server gateway

load balancer

own router

own router

服务器

内网地址

网关地址

外网地址

Dir

192.168.133.104

192.168.133.104

192.168.101.130

Rs1

192.168.133.103

192.168.133.104

Rs2

192.168.133.102

192.168.133.104

[root@hostlocal ~]# hostnamectl set-hostname dir

[root@hostlocal ~]# bash

[root@hostlocal ~]# hostnamectl set-hostname rs1

[root@hostlocal ~]# bash

[root@hostlocal ~]# hostnamectl set-hostname rs2

[root@hostlocal ~]# bash

[root@dir ~]# systemctl start iptables

[root@dir ~]# iptables -F

[root@dir ~]# service iptables save

[root@dir ~]# yum install -y ipvsadm

[root@dir ~]# vi /usr/local/sbin/lvs_nat.sh

#! /bin/bash

# director 服务器上开启路由转发功能

echo 1 > /proc/sys/net/ipv4/ip_forward

#启用 Linux 内核的 IP 转发功能。IP 转发允许 Linux 系统作为一个路由器，将数据包从一个网络接口转发到另一个网络接口。

# 关闭icmp的重定向

echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects

echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects

# 注意区分网卡名字

echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects

echo 0 > /proc/sys/net/ipv4/conf/ens36/send_redirects

# director 设置nat防火墙

iptables -t nat -F

#清空net表中的所有规则

iptables -t nat -X

#删除nat表中的所有用户自定义链

iptables -t nat -A POSTROUTING -s 192.168.213.0/24  -j MASQUERADE

3添加 POSTROUTING 链的 MASQUERADE 规则

# director设置ipvsadm

IPVSADM='/usr/sbin/ipvsadm'

$IPVSADM -C

$IPVSADM -A -t 192.168.101.130:80 -s wlc -p 300

$IPVSADM -a -t 192.168.101.130:80 -r 192.168.213.102:80 -m -w 1

$IPVSADM -a -t 192.168.101.130:80 -r 192.168.213.103:80 -m -w 1

[root@rs1 ~]# yum install nginx -y

[root@rs1 ~]# echo "hi RS1" > /usr/share/nginx/html/index.html 

[root@rs1 ~]# systemctl restart nginx

[root@rs1 ~]# echo "hi RS2" > /usr/share/nginx/html/index.html

[root@rs1 ~]# systemctl restart nginx

[root@dir ~]# curl 192.168.213.102

[root@dir ~]# curl 192.168.213.103

[root@dir ~]# curl 192.168.101.130

服务器

内网地址

VIP地址

Dir

192.168.213.107

192.168.101.103

Rs1

192.168.213.105

Rs2

192.168.213.106

[root@hostlocal ~]# hostnamectl set-hostname dir

[root@hostlocal ~]# bash

[root@hostlocal ~]# hostnamectl set-hostname rs1

[root@hostlocal ~]# bash

[root@hostlocal ~]# hostnamectl set-hostname rs2

[root@hostlocal ~]# bash

[root@dir ~]# setenforce 0

[root@dir ~]# systemctl stop firewalld

[root@dir ~]# systemctl disable firewalld

[root@dir ~]# yum install -y ipvsadm

[root@dir ~]# vi /usr/local/sbin/lvs_dr.sh

#! /bin/bash

echo 1 > /proc/sys/net/ipv4/ip_forward

ipv=/usr/sbin/ipvsadm

vip=192.168.133.133

rs1=192.168.133.131

rs2=192.168.133.132

·  ipv：指向 ipvsadm 命令的路径，用于管理 LVS 配置。

·  vip：虚拟 IP 地址（VIP），即访问者访问的公共 IP 地址。

·  rs1、rs2：代表后端的两台真实服务器（Real Server），它们负责处理客户端请求。

#注意这里的网卡名字

ifconfig ens36:2 $vip broadcast $vip netmask 255.255.255.255 up

route add -host $vip dev ens36:2

$ipv -C  

清空当前的 IPVS 配置表，确保新的配置生效

$ipv -A -t $vip:80 -s wrr

添加一个监听在 VIP:80 端口上的虚拟服务，使用加权轮询调度算法

$ipv -a -t $vip:80 -r $rs1:80 -g -w 1

$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

将两台真实服务器添加到虚拟服务中，设置为 LVS 负载均衡调度

[root@dir ~]#  bash /usr/local/sbin/lvs_dr.sh

[root@rs1 ~]# yum install nginx -y

[root@rs1 ~]# echo "Hello RS1" > /usr/share/nginx/html/index.html 

[root@rs1 ~]# systemctl start nginx

[root@rs1 ~]# echo "Hello RS2" > /usr/share/nginx/html/index.html

[root@rs1 ~]# systemctl start nginx

[root@rs1 ~]# bash /usr/local/sbin/lvs_rs.sh

http://192.168.213.100

http://192.168.213.105

http://192.168.213.106

服务器

ip地址

VIP地址

Master

192.168.213.105

192.168.213.100

Slave

192.168.213.106

192.168.213.100

Web1

192.168.213.107

Web2

192.168.213.108

[root@hostlocal ~]# hostnamectl set-hostname master

[root@hostlocal ~]# bash

[root@hostlocal ~]# hostnamectl set-hostname slave

[root@hostlocal ~]# bash

[root@hostlocal ~]# hostnamectl set-hostname web1

[root@hostlocal ~]# bash

[root@hostlocal ~]# hostnamectl set-hostname web2

[root@hostlocal ~]# bash

[root@master ~]# setenforce 0

[root@master ~]# systemctl stop firewalld

[root@master ~]# systemctl disable firewalld

[root@master ~]# vi /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {

   notification_email {

     [email protected]

     [email protected]

     [email protected]

   }

   ! 设置通知邮件的接收地址

   notification_email_from [email protected]  ! 设置通知邮件的发送地址

   smtp_server 192.168.200.1  ! 设置SMTP服务器地址

   smtp_connect_timeout 30  ! 设置SMTP连接超时时间（秒）

   router_id R1  ! 设置路由器标识

}

vrrp_instance VI_1 {

    state MASTER  ! 设置初始状态为主节点

    interface ens33  ! 设置VRRP实例绑定的网络接口

    virtual_router_id 2  ! 设置虚拟路由器ID

    priority 100  ! 设置优先级

    advert_int 1  ! 设置VRRP广播间隔（秒）

    authentication {

        auth_type PASS  ! 设置认证类型为密码

        auth_pass 1111  ! 设置认证密码

    }

    virtual_ipaddress {

        192.168.213.100  ! 设置虚拟IP地址

    }

}

virtual_server 192.168.213.100 80 {

    delay_loop 6  ! 设置健康检查间隔（秒）

    lb_algo rr  ! 设置负载均衡算法为轮询

    lb_kind DR  ! 设置LVS模式为直接路由

    nat_mask 255.255.255.0  ! 设置NAT掩码

!   persistence_timeout 50  ! 会话保持时间（秒），当前被注释

    protocol TCP  ! 设置协议为TCP

    real_server 192.168.213.107 80 {

        weight 1  ! 设置服务器权重

        TCP_CHECK {

            connect_port 80  ! 设置健康检查连接的端口

            connect_timeout 3  ! 设置连接超时时间（秒）

            nb_get_retry 3  ! 设置重试次数

            delay_before_retry 3  ! 设置重试间隔（秒）

        }

    }

    real_server 192.168.213.108 80 {

        weight

        TCP_CHECK {

            connect_port 80

            connect_timeout 3

            nb_get_retry 3

            delay_before_retry 3

        }

    }

}

[root@master ~]# systemctl start keepalived

[root@master ~]# systemctl enable keepalived

[root@master ~]# systemctl status keepalived

! Configuration File for keepalived

gloal_defs {

   notification_email {

     [email protected]

     [email protected]

     [email protected]

   }

   ! 设置通知邮件的接收地址

   notification_email_from [email protected]  ! 设置通知邮件的发送地址

   smtp_server 192.168.200.1  ! 设置SMTP服务器地址

   smtp_connect_timeout 30  ! 设置SMTP连接超时时间（秒）

   router_id R2  ! 设置路由器标识

}

vrrp_instance VI_1 {

    state BACKUP  ! 设置初始状态为主节点

    interface ens33  ! 设置VRRP实例绑定的网络接口

    virtual_router_id 2  ! 设置虚拟路由器ID

    priority 95  ! 设置优先级

    advert_int 1  ! 设置VRRP广播间隔（秒）

    authentication {

        auth_type PASS  ! 设置认证类型为密码

        auth_pass 1111  ! 设置认证密码

    }

    virtual_ipaddress {

        192.168.192.200  ! 设置虚拟IP地址

    }

}

virtual_server 192.168.213.100 80 {

    delay_loop 6  ! 设置健康检查间隔（秒）

    lb_algo rr  ! 设置负载均衡算法为轮询

    lb_kind DR  ! 设置LVS模式为直接路由

    nat_mask 255.255.255.0  ! 设置NAT掩码

#   persistence_timeout 50  ! 会话保持时间（秒），当前被注释

    protocol TCP  ! 设置协议为TCP

    real_server 192.168.213.107 80 {

        weight 1  ! 设置服务器权重

        TCP_CHECK {

            connect_port 80  ! 设置健康检查连接的端口

            connect_timeout 3  ! 设置连接超时时间（秒）

            nb_get_retry 3  ! 设置重试次数

            delay_before_retry 3  ! 设置重试间隔（秒）

        }

    }

    real_server 192.168.213.108 80 {

        weight 1

        TCP_CHECK {

            connect_port 80

            connect_timeout 3

            nb_get_retry 3

            delay_before_retry 3

        }

    }

}

[root@slave ~]# systemctl start keepalived

[root@slave ~]# systemctl enable keepalived

[root@slave ~]# systemctl status keepalived

[root@web ~]# yum insatll -y httpd

[root@web1 ~]# echo "舒克" > /var/www/html/index.html

[root@web2 ~]# echo "长江" > /var/www/html/index.html

[root@web1 ~]# cd /etc/sysconfig/network-scripts/

【[root@web1 ~]# cp -p ifcfg-lo ifcfg-lo:0

[root@web1 network-scripts]# vi ifcfg-lo:0

DEVICE=lo:0   #指定虚拟接口的名称。

IPADDR=192.168.213.100 #设置此接口的 IP 地址。

NETMASK=255.255.255.255 #设置网络掩码（这是 CIDR 表示法中的 /32）

NETWORK=192.168.213.100 #指定网络地址。

BROADCAST=192.168.213.100 #设置广播地址。

ONBOOT=yes   #确保在启动时启动接口

NAME=loopback

[root@web1 ~]# ifup ifcfg-lo:0

[root@web1 ~]# route add -host 192.168.192.200 dev lo:0

[root@web1 ~]# vi /etc/sysctl.conf

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.all.arp_announce =2

net.ipv4.conf.default.arp_ignore = 1

net.ipv4.conf.default.arp_announce =2

net.ipv4.conf.lo.arp_ignore = 1

net.ipv4.conf.lo.arp_announce =2

[root@web1 ~]# sysctl -p

[root@master ~]# ip a

[root@slave ~]# ip a

[root@master ~]# ip a

[root@slave ~]# ip a sh dev ens33