首页 > 其他分享 >09--keepalived高可用集群

09--keepalived高可用集群

时间：2024-06-22 19:59:56浏览次数：27  
标签：nginx -- 09 keepalived 192.168 etc root localhost

前言：高可用集群配置是大型网站的一个基础，网站可用性的基础保障之一，这里将对应的概念知识和实操步骤进行整理与收集。

1、基础概念详解

1.1、高可用集群

高可用集群（High Availability Cluster，简称HA Cluster），是指以减少服务中断时间为目的的服务器集群技术。它通过保护用户的业务程序对外不间断提供的服务，把因软件、硬件、人为造成的故障对业务的影响降低到最小。

1.2、高可用集群的衡量标准

1.3、自动切换/故障转移（FailOver）

自动切换阶段某一主机如果确认对方故障，则正常主机除继续进行原来的任务，还将依据各种容错备援模式接管预先设定的备援作业程序，并进行后续的程序及服务。 通俗地说，即当A无法为客户服务时，系统能够自动地切换，使B能够及时地顶上继续为客户提供服务，且客户感觉不到这个为他提供服务的对象已经更换。 通过上面判断节点故障后，将高可用集群资源（如VIP、httpd等）从该不具备法定票数的集群节点转移到故障转移域（Failover Domain，可以接收故障资源转移的节点）。

1.4、自动侦测

自动侦测阶段由主机上的软件通过冗余侦测线，经由复杂的监听程序，逻辑判断，来相互侦测对方运行的情况。 常用的方法是：集群各节点间通过心跳信息判断节点是否出现故障。

1.5、脑裂

在高可用（HA）系统中，当联系两个节点的“心跳线”断开时，本来为一整体、动作协调的HA系统，就分裂成为两个独立的个体。由于相互失去了联系，都以为是对方出了故障。两个节点上的HA软件像两个灵魂夺舍一样，争抢“共享资源”、争起“应用服务”，就会发生严重后果——或者共享资源被瓜分、两边“服务”都起不来了；或者两边“服务”都起来了，但同时读写“共享存储”，导致数据损坏（常见如数据库轮询着的联机日志出错）。

产生原因：

因心跳线坏了（包括断了，老化）。 因网卡及相关驱动坏了，ip配置及冲突问题（网卡直连）。 因心跳线间连接的设备故障（网卡及交换机）。 因仲裁的机器出问题（采用仲裁的方案）。 高可用服务器上开启了 iptables防火墙阻挡了心跳消息传输。 高可用服务器上心跳网卡地址等信息配置不正确，导致发送心跳失败。 其他服务配置不当等原因，如心跳方式不同，心跳广插冲突、软件Bug等。

解决方案：

1）添加冗余的心跳线：例如：双心跳线（心跳线也HA），尽量减少“脑裂”发生几率；

2）启用磁盘锁：正在服务一方锁住共享磁盘，“脑裂”发生时，让对方完全“抢不走”共享磁盘资源。但使用锁磁盘也会有一个不小的问题，如果占用共享盘的一方不主动“解锁”，另一方就永远得不到共享磁盘。现实中假如服务节点突然死机或崩溃，就不可能执行解锁命令。后备节点也就接管不了共享资源和应用服务（会导致昂贵的高可用架构不能发挥作用）。于是有人在HA中设计了“智能”锁。即：正在服务的一方只在发现心跳线全部断开（察觉不到对端）时才启用磁盘锁。平时就不上锁了。

3）设置仲裁机制：例如设置参考IP（如网关IP或某一个服务器），当心跳线完全断开时，2个节点都各自ping一下参考IP，不通则表明断点就出在本端。不仅“心跳”、还兼对外“服务”的本端网络链路断了，即使启动（或继续）应用服务也没有用了，那就主动放弃竞争，让能够ping通参考IP的一端去起服务。更保险一些，ping不通参考IP的一方干脆就自我重启，以彻底释放有可能还占用着的那些共享资源。

4）脑裂的监控报警：直接对高可用服务的业务进行业务监控，出现问题人为介入

1.6、其他的高可用架构

heartbeat、pacemaker、 piranha（web页面）操作部署都非常相似

1.7、keepalived

keepalived是集群管理中保证集群高可用的一个服务软件，用来防止单点故障。

keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。

将N台提供相同功能的服务器组成一个服务器组，这个组里面有一个master和多个backup，master上面有一个对外提供服务的vip（该服务器所在局域网内其他机器的默认路由为该vip），master会发组播（以224.0.0.0地址作为通信地址的一种方式），当backup收不到vrrp包时就认为master宕掉了，这时就需要根据VRRP的优先级来选举一个backup当master（可以理解为三体里面的摇篮系统，反向触发）

keepalived主要有三个模块：分别是core、check和vrrp。 core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析。 check负责健康检查，包括常见的各种检查方式。 vrrp模块是来实现VRRP协议的。

2、web高可用示例

2.1、基础环境

IP用途
192.168.189.148server1
192.168.189.149server2
192.168.189.150vip（虚拟ip）

2.2、server1部署

server1初始网络环境(网卡名和IP记一下)

 keepalive配置

[root@localhost ~]# yum install -y keepalived
[root@localhost ~]# vim /etc/keepalived/keepalived.conf 

[root@localhost ~]# cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
 router_id 1                            #设备高可用组内的id，组内唯一
 }

#vrrp_script chk_nginx {                #健康检查
# script "/etc/keepalived/ck_ng.sh"     #检查脚本
# interval 2                            #检查频率.秒
# weight -5                             #权重减5，就是下面的优先级减5
# fall 3                                #失败三次
# }

vrrp_instance VI_1 {               	#VI_1实例名。两台路由器相同。和下面的55作用相同
    state MASTER                        #主或者从状态
    interface ens33                     #监控网卡
    mcast_src_ip 192.168.189.148        #心跳源Ip
    virtual_router_id 55                #虚拟路由编号，主备要一致
    priority 100                        #优先级
    advert_int 1                        #心跳间隔

    authentication {                    #秘钥认证(1-8位)
        auth_type PASS
        auth_pass 123456
    }

    virtual_ipaddress {                 #VIP
    192.168.189.150/24
        }

#  track_script {                       #引用脚本
#       chk_nginx
#    }

}


[root@localhost ~]# systemctl start keepalived.service
[root@localhost ~]# systemctl enable keepalived.service
Created symlink from /etc/systemd/system/multi-user.target.wants/keepalived.service to /usr/lib/systemd/system/keepalived.service.

 web环境搭建

[root@localhost ~]# yum install -y nginx
[root@localhost ~]# systemctl start nginx
[root@localhost ~]# systemctl enable nginx
Created symlink from /etc/systemd/system/multi-user.target.wants/nginx.service to /usr/lib/systemd/system/nginx.service.
[root@localhost ~]# echo ">>>>>>>>>>>>>>>>>>web1<<<<<<<<<<<<<<<" > /usr/share/nginx/html/index.html 
[root@localhost ~]# curl 127.0.0.1
>>>>>>>>>>>>>>>>>>web1<<<<<<<<<<<<<<<
[root@localhost ~]# systemctl start keepalived

2.3、server2部署

其他部分与1相同，不同部分如下

 代码如下

[root@localhost ~]# vim /etc/keepalived/keepalived.conf 
[root@localhost ~]# cat /etc/keepalived/keepalived.conf 
! Configuration File for keepalived
global_defs {
 router_id 2                            #设备高可用组内的id，组内唯一
 }

#vrrp_script chk_nginx {                #健康检查
# script "/etc/keepalived/ck_ng.sh"     #检查脚本
# interval 2                            #检查频率.秒
# weight -5                             #权重减5，就是下面的优先级减5
# fall 3                                #失败三次
# }

vrrp_instance VI_1 {               	#VI_1实例名。两台路由器相同。和下面的55作用相同
    state BACKUP                        #主或者从状态
    interface ens33                     #监控网卡
    mcast_src_ip 192.168.189.149        #心跳源Ip
    virtual_router_id 55                #虚拟路由编号，主备要一致
    priority 99                        #优先级
    advert_int 1                        #心跳间隔

    authentication {                    #秘钥认证(1-8位)
        auth_type PASS
        auth_pass 123456
    }

    virtual_ipaddress {                 #VIP
    192.168.189.150/24
        }

#  track_script {                       #引用脚本
#       chk_nginx
#    }

}

[root@localhost ~]# echo "+++++++++++++++web2+++++++++++++" > /usr/share/nginx/html/index.html 
[root@localhost ~]# curl 127.0.0.1
+++++++++++++++web2+++++++++++++

2.4、模拟测试

server1正常

 server1网络中断

刷新页面

高可用完成

2.5、进阶（服务监测）

恢复之前的实验。启动两台主机的keepalived和nginx。确保页面访问正常。 关闭master的nginx服务 。systemctl stop nginx 继续访问VIP，高可用集群并未生效，keepalived监控的是接口IP状态，无法监控nginx服务状态，这里需要将服务与高可用结合起来部署，我们需要保证的是服务的高可用状态。

操作如下

2.5.1、server1操作

[root@localhost ~]# vi /etc/keepalived/ck_ng.sh
[root@localhost ~]# cat /etc/keepalived/ck_ng.sh
#!/bin/bash
#检查nginx进程是否存在
counter=$(ps -C nginx --no-heading|wc -l)
if [ "${counter}" = "0" ]; then
#尝试启动一次nginx，停止5秒后再次检测
    service nginx start
    sleep 5
    counter=$(ps -C nginx --no-heading|wc -l)
    if [ "${counter}" = "0" ]; then
#如果启动没成功，就杀掉keepalive触发主备切换
        service keepalived stop
    fi
fi
[root@localhost ~]# chmod +x /etc/keepalived/ck_ng.sh

开启状态检查脚本的调用

 重启keepalived

2.5.2、server2操作

此处与server1完全相同

2.5.3、模拟测试

正常访问

正常关闭nginx，此时keepalived会调用脚本，脚本检测到nginx关闭后重新开启nginx

网页访问未切换服务器

模拟nginx损坏无法重启（server1操作）

[root@localhost ~]# rm -rf /etc/nginx/*
[root@localhost ~]# systemctl stop nginx

刷新网页，已切换到server2提供服务

3、LVS高可用示例

web服务器在工作环境中有很多，这个架构是对lvs进行高可用保障

3.1、基础环境

IP模拟角色
192.168.189.145虚拟ip
192.168.189.148负载均衡（master）
192.168.189.149负载均衡（backup）
192.168.189.150web1
192.168.189.151web2

3.2、负载均衡（master）安装部署

[root@localhost ~]# yum install -y keepalived ipvsadm
    #    keepalived内自带lvs配置，所以后续只需配置keepalived

[root@localhost ~]# vim /etc/keepalived/keepalived.conf 
[root@localhost ~]# cat /etc/keepalived/keepalived.conf 
! Configuration File for keepalived
global_defs {						
	router_id Director1    			#设备高可用组内的id，组内唯一
	}
	
vrrp_instance VI_1 {				
	state MASTER				#另外一台机器是BACKUP	
	interface ens33				#心跳网卡	
	virtual_router_id 51			#虚拟路由编号，主备要一致
	priority 150				#优先级	
	advert_int 1				#检查间隔，单位秒	
	authentication {
		auth_type PASS
		auth_pass 12345
		}
	virtual_ipaddress {
		192.168.189.145/24       dev      ens33   	#VIP和工作网卡
		}
	}
	
virtual_server 192.168.189.145 80 {		#LVS 配置，VIP
	delay_loop 3				#lvs服务论询的时间间隔，#每隔3秒检查一次rs状态
	lb_algo rr				#LVS 调度算法
	lb_kind DR	 			#LVS 集群模式 直接路由
	protocol TCP				#rs的协议对应上方的端口号
	real_server 192.168.189.150 80 {
		weight 1
		TCP_CHECK {
			connect_timeout 3       #健康检查方式,连接超时时间，单位秒
			}
		}
	real_server 192.168.189.151 80 {
		weight 1
		TCP_CHECK {
			connect_timeout 3
			}
		}
}



[root@localhost ~]# systemctl enable keepalived
Created symlink from /etc/systemd/system/multi-user.target.wants/keepalived.service to /usr/lib/systemd/system/keepalived.service.
[root@localhost ~]# systemctl start keepalived
[root@localhost ~]# reboot

3.3、负载均衡（backup）安装部署

[root@localhost ~]# yum install -y keepalived ipvsadm

[root@localhost ~]# scp [email protected]:/etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf 
The authenticity of host '192.168.189.148 (192.168.189.148)' can't be established.
ECDSA key fingerprint is SHA256:gxTKMF8msXccCg6zmpT9TjLZflsDFX3+2fYAVD/xzSs.
ECDSA key fingerprint is MD5:1a:0b:3a:44:36:31:f6:64:d0:2b:5a:74:58:86:86:78.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '192.168.189.148' (ECDSA) to the list of known hosts.
[email protected]'s password: 
keepalived.conf                                                      100% 1034     1.6MB/s   00:00    
    #    修改一些配置
[root@localhost ~]# vim /etc/keepalived/keepalived.conf 
[root@localhost ~]# cat /etc/keepalived/keepalived.conf 
! Configuration File for keepalived
global_defs {						
	router_id Director2    			#设备高可用组内的id，组内唯一
	}
	
vrrp_instance VI_1 {				
	state BACKUP				#另外一台机器是BACKUP	
	interface ens33				#心跳网卡	
	virtual_router_id 51			#虚拟路由编号，主备要一致
	priority 140				#优先级	
	advert_int 1				#检查间隔，单位秒	
	authentication {
		auth_type PASS
		auth_pass 12345
		}
	virtual_ipaddress {
		192.168.189.145/24       dev      ens33   	#VIP和工作网卡
		}
	}
	
virtual_server 192.168.189.145 80 {		#LVS 配置，VIP
	delay_loop 3				#lvs服务论询的时间间隔，#每隔3秒检查一次rs状态
	lb_algo rr				#LVS 调度算法
	lb_kind DR	 			#LVS 集群模式 直接路由
	protocol TCP				#rs的协议对应上方的端口号
	real_server 192.168.189.150 80 {
		weight 1
		TCP_CHECK {
			connect_timeout 3       #健康检查方式,连接超时时间，单位秒
			}
		}
	real_server 192.168.189.151 80 {
		weight 1
		TCP_CHECK {
			connect_timeout 3
			}
		}
}



[root@localhost ~]# systemctl enable keepalived
Created symlink from /etc/systemd/system/multi-user.target.wants/keepalived.service to /usr/lib/systemd/system/keepalived.service.
[root@localhost ~]# systemctl start keepalived
[root@localhost ~]# reboot

3.4、检查配置

3.5、web服务器配置

web1与web2配置相同如下所示，此处大部分属于负载均衡与本章无关，详细解释可以参考上一篇文章

[root@localhost ~]# yum install -y httpd
[root@localhost ~]# systemctl start httpd
[root@localhost ~]# systemctl enable httpd
Created symlink from /etc/systemd/system/multi-user.target.wants/httpd.service to /usr/lib/systemd/system/httpd.service.
[root@localhost ~]# echo ">>>>>>>>>>>>>>web1<<<<<<<<<<<<<" >  /var/www/html/index.html

    #    配置虚拟地址
[root@localhost ~]# cp /etc/sysconfig/network-scripts/{ifcfg-lo,ifcfg-lo:0}
[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-lo:0
[root@localhost ~]# cat /etc/sysconfig/network-scripts/ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.189.145
NETMASK=255.255.255.255
ONBOOT=yes

    #    配置路由
[root@localhost ~]# vim /etc/rc.local 
[root@localhost ~]# cat /etc/rc.local 
#!/bin/bash
# THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES
#
# It is highly advisable to create own systemd services or udev rules
# to run scripts during boot instead of using this file.
#
# In contrast to previous versions due to parallel execution during boot
# this script will NOT be run after all other services.
#
# Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure
# that this script will be executed during boot.

touch /var/lock/subsys/local
/sbin/route add -host 192.168.189.145 dev lo:0


    #    arp忽略配置，此处详解可查看上一篇文章
[root@localhost ~]# vim /etc/rc.local 
[root@localhost ~]# cat /etc/rc.local 
#!/bin/bash
# THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES
#
# It is highly advisable to create own systemd services or udev rules
# to run scripts during boot instead of using this file.
#
# In contrast to previous versions due to parallel execution during boot
# this script will NOT be run after all other services.
#
# Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure
# that this script will be executed during boot.

touch /var/lock/subsys/local
/sbin/route add -host 192.168.189.145 dev lo:0
[root@localhost ~]# vim /etc/sysctl.conf 
[root@localhost ~]# cat /etc/sysctl.conf 
# sysctl settings are defined through files in
# /usr/lib/sysctl.d/, /run/sysctl.d/, and /etc/sysctl.d/.
#
# Vendors settings live in /usr/lib/sysctl.d/.
# To override a whole file, create a new file with the same in
# /etc/sysctl.d/ and put new settings there. To override
# only specific settings, add a file with a lexically later
# name in /etc/sysctl.d/ and put new settings there.
#
# For more information, see sysctl.conf(5) and sysctl.d(5).


net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2


[root@localhost ~]# reboot

 3.6、检查webserver配置

3.6、模拟测试

负载均衡正常（建议使用隐私模式测试）

 

关闭lvs上的keepalived访问网站仍然正常，观察负载均衡（backup）的IP与上文的不同

[root@localhost ~]# systemctl stop keepalived.service

 

标签：nginx,--,09,keepalived,192.168,etc,root,localhost
From： https://blog.csdn.net/qq_43387908/article/details/139840713

相关文章

  • SQL查找最晚入职员工的所有信息
    系列文章目录文章目录系列文章目录前言前言前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站，这篇文章男女通用，看懂了就去分享给你的码吧。入职最晚的员工信息(不一定只有一条)select*fromemployeesord......
  • 在windows下使用cmd命令行对java文件进行编译和执行
    系列文章目录文章目录系列文章目录前言前言前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站，这篇文章男女通用，看懂了就去分享给你的码吧。windows下利用cmd命令行可以调用jdk里的javac.exe和java.exe对java文件进......
  • 酱香型白酒派系介绍
    酱香型白酒作为中国传统白酒的重要流派，以其独特的酱香和复杂的酿造工艺而著称。在酱香型白酒中，形成了多个派系，各具特色。以下是关于北派、茅派、川派和黔派等各个派系的详细介绍。一、北派地理位置：主要产于秦岭和淮河以北的地区，如东北、京津冀、山东一带。市场份额：北派酱香......
  • 中间件(DBUS)中心化设计的优缺点
    目录标题中心化设计理念优势劣势D-Bus的中心节点设计与单点故障总结便于监控监控和诊断工具诊断步骤异步监控1.SSH隧道2.VPN或网络桥接3.自定义代理或转发服务注意事项与zmq代理模式的差异1.**简化复杂网络**2.**负载均衡和消息队列**3.**安全和隔离**4.......
  • 【秋招刷题打卡】Day02-二分系列之-二分查找
    Day02-二分系列之-二分查找前言给大家推荐一下咱们的陪伴打卡小屋知识星球啦，详细介绍=>笔试刷题陪伴小屋-打卡赢价值丰厚奖励<=⏰小屋将在每日上午发放打卡题目，包括：一道该算法的模版题(主要以力扣，牛客，acwing等其他OJ网站的题目作为模版)一道该算法的应用题（主要以往......
  • C++设计模式 之 Monostate模式
    目录标题第一章：Monostate模式简介什么是Monostate模式？Monostate模式的工作原理使用Monostate模式的优势适用场景第二章：实现Monostate模式基本结构构造函数和析构函数使用案例总结第三章：Monostate模式的优缺点优点缺点Monostate模式与单例模式的比较第四章：Monostate模......
  • python-opencv批量处理图像文件（附代码）
        这里以cifar100数据集为例。cifar100数据集保存在train文件夹中，其中一共有100类图片，每类图片被保存在不同的子文件夹中，每类图片500张，其具体文件夹如下。    首先要引入cv2和os库，接着还要提前设置好图像保存路径和原图像文件路径。如果这里设置的不对的话......
  • 读者写者问题（读者优先、公平竞争、写者优先）
    1.读者优先        当有读者进程进行读时，允许多个读者同时读，但不允许写者写；当有写者进程进行写时，不允许其他写者写，也不允许读者读读者算法：p(r_mutex);//申请修改read_countifread_count==0:p(mutex);//获得读文件的权限read_count++;V(r_mutex);阅......
  • 解决idea项目连接数据库报错：Could not create connection to database server.
    前言idea运行项目时连接数据库，报错Couldnotcreateconnectiontodatabaseserver. 方法1.检查MySQL设置时区：打开运行cmd命令提示符首先连接数据库，输入mysql-hlocalhost-uroot-p，再回车，输入密码连接成功后，输入showvariableslike'%time_zone';，再回车，显示时区配......
  • 力扣-621. 任务调度器
    1.题目题目地址(621.任务调度器-力扣（LeetCode）)https://leetcode.cn/problems/task-scheduler/题目描述给你一个用字符数组 tasks表示的CPU需要执行的任务列表，用字母A到Z表示，以及一个冷却时间n。每个周期或时间间隔允许完成一项任务。任务可以按任何顺序完成，但有一......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99