首页 > 其他分享 >LVS负载均衡群集——其二

LVS负载均衡群集——其二

时间：2023-09-09 17:37:51浏览次数：34  
标签：负载 LVS RS 群集 IP 192.168 均衡器 服务器 root

LVS-DR

通信四元素：源IP，源端口，目的IP，目的端口

主机A（客户端）——>VIP 主机B（调度器）

主机A（客户端）<——VIP 主机C（节点服务器）

通信五元素：源IP，源端口，目的IP，目的端口，协议

image-20230909171324702

回环网卡lo配置的地址，其它端看不到

数据包流向分析: (1)客户端发送请求到 Director Server (负载均衡器)，请求的数据报文(源 P 是 CIP,目标 IP 是 VIP)到达内核空间。 (2)Director Server 和 Real Server 在同一个网络中，数据通过二层数据链路层来传输。 (3)内核空间判断数据包的目标1P是本机VIP，此时IPVS (IP 虚拟服务器)比对数据包请求的服务是否是集群服务，是集群服务就重新封装数据包。修改源 MAC 地址为Diretor Server 的 MAC地址，修改目标 MAC 地址为 Beal Server 的 MAC 地址，源 IP 地址与目标 IP地址没有改变，然后将数据包发送给 Beal Server。 (4) 到达 Beal Server 的请求报文的 MAC 地址是自身的 MAC 地址，就接收此报文。数据包重新封装报文(源 IP 地址为 VIP，目标 IP 为 CIP)，将响应报文通过 lo接口(回环网卡)传送给物理网卡然后向外发出。 (5) Real Server 直接将响应报文传送到客户端。

总结：

1）客户端通过VIP将访问请求发送到调度器

2）调度器通过调度算法选择分发请求的节点服务器，并重新封装数据报文，将源MAC改为调度器MAC地址，目的MAC地址改为节点服务器的MAC地址，再通过交换机转发给节点服务器

3）节点服务器收到请求报文后，确认目的MAC地址和目的IP无误后解包并送达到应用层进行处理

4）节点服务器要返回响应报文前，会先重新封装报文（源IP为VIP，目的IP为客户端IP），再将响应报文通过lo接口传送给物理网卡然后直接发送给客户端

客户端将数据只传给传给调度服务器而不是节点服务器，这一步依靠了ARP协议

ARP工作原理

  1. PC1想发送数据给PC2， 会先检查自己的ARP缓存表。 只在终端设备上

  2. 如果发现要查找的MAC地址不在表中，就会发送一个ARP请求广播，用于发现目的地的MAC地址。

  3. 交换机收到广播后做泛洪处理，除PC1外所有主机收到ARP请求消息，PC2以单播方式发送ARP应答， 并在自己的ARP表中缓存PC1的IP地址和MAC地址的对应关系，而其他主机则丢弃这个ARP请求消息。

  4. PC1在自己的ARP表中添加PC2的IP地址和MAC地址的对应关系，以单播方式与PC2通信。

LVS-DR中的ARP问题

1、节点服务器、调度服务器的VIP地址一致，都会响应交换机广播的ARP请求，会造成地址紊乱

解决思路：让节点服务器不响应ARP请求

解决手段：

  • 使用虚接口lo:0承载VIP地址

  • 设置内核参数arp_ignore=1：系统只响应目的IP为本地IP的ARP请求

2、路由器根据ARP表项，会将新来的请求报文转发给节点服务器（RealServer）,导致原本调度服务器（Director）的VIP失效，导致后续数据传输变得困难

解决方式：

节点服务器（RealServer）返回响应数据使用另一IP地址，

解决ARP的两问题的设置方法

修改/etc/sysctl.conf文件

 net.ipv4.conf.lo.arp_ignore=1
 net.ipv4.conf.lo.arp_announce=1
 net.ipv4.conf.all.arp_ignore=2
 net.ipv4.conf.all.arp_announce=1

DR模式下LVS负载均衡群集部署

调度服务器（03号：ens33:192.168.177.103）

节点服务器（04号：192.168.177.104）（05号：192.168.177.105）

nfs服务器（06号：192.168.177.106）

配置NFS服务器

06号机（ens33:192.168.177.106）

 06号上
 关闭防火墙
 #安装软件包
 [root@localhost share]#yum install nfs-utils.x86_64 rpcbind -y
 ​
 #新建共享目录
 mkdir /opt/ky31 /opt/ky32
 ​
 echo "this is ky31 test web page!" >/opt/ky31/test.html
 echo "this is ky32 test web page!" >/opt/ky32/test.html
 #编写配置文件
 vim /etc/exports
 /opt/ky31 192.168.177.0/24(rw,sync,no_root_squash)#不要空格
 /opt/ky32 192.168.177.0/24(rw,sync,no_root_squash)
 #共享目录  网段               读写，同步，无root权限
 ​
 [root@localhost ~]# systemctl start rpcbind nfs
 [root@localhost ~]#exportfs -vr
 #不重启生效
 [root@localhost share]#exportfs -v
 #查看详细的nfs信息
 #exportfs 可用于管理nfs
 -v 查看本机所有nfs
 -r 重读配置文件
 -a 输出本机所有共享
 04号机使用nginx
 节点服务器挂载共享目录
 mount 192.168.177.106:/opt/ky31 /usr/share/nginx/html
 #       服务器地址   冒号 对方共享文件夹    本地挂载点
 [root@yml-4 ~]# showmount -e 192.168.177.106
 Export list for 192.168.177.106:
 /opt/ky32 192.168.177.0/24
 /opt/ky31 192.168.177.0/24
 ​
 05号机使用apache
 mount 192.168.177.106:/opt/ky32 /var/www/html
 [root@localhost ~]# showmount -e 192.168.177.106
 Export list for 192.168.177.106:
 /opt/ky32 192.168.177.0/24
 /opt/ky31 192.168.177.0/24
 ​
 #永久挂载
 04号机上
 vim /etc/nginx/conf.d/default.conf#去找根路径（/usr/share/nginx/html）
 vim /etc/fstab
 192.168.177.106:/opt/ky31   /usr/share/nginx/html   nfs     defaults,_netdev 0 0  
                             #网页服务根节点
 05号机上
 vim /etc/httpd/conf/httpd.conf#去找根路径（/var/www/html）
 vim /etc/fstab
 192.168.177.106:/opt/ky32   /var/www/html   nfs     defaults,_netdev 0 0  
                             #网页服务根节点

配置节点服务器

添加VIP虚拟IP

 04号机上
 cd /etc/sysconfig/network-scripts/
 [root@yml-4 network-scripts]# vim ifcfg-lo:0
 DEVICE=lo:0
 ONBOOT=yes
 IPADDR=192.168.177.200
 NETMASK=255.255.255.255
 #刷新管理服务
 [root@yml-4 network-scripts]# ifup lo:0
 05号机上
 cd /etc/sysconfig/network-scripts/
 [root@yml-4 network-scripts]# vim ifcfg-lo:0
 DEVICE=lo:0
 ONBOOT=yes
 IPADDR=192.168.177.200
 NETMASK=255.255.255.255
 #刷新管理服务
 [root@yml-4 network-scripts]# ifup lo:0

image-20230909150024832

添加路由，重复操作

 [root@localhost network-scripts]# route add -host 192.168.177.200 dev lo:0
 ​
 #永久添加，该文件下命令会开机时执行
 vim c/rc.d/rc.local
 /usr/sbin/route add -host 192.168.177.200 dev lo:0
 route -n#查看全部配置
 #该文件需要执行权限，这才可以开机自执行
 chmod +x /etc/rc.d/rc.local
 ​

image-20230909150819522

添加内核参数

 [root@localhost rc.d]# vim /etc/sysctl.conf
 net.ipv4.conf.lo.arp_ignore = 1
 net.ipv4.conf.lo.arp_announce = 1
 net.ipv4.conf.all.arp_ignore = 2
 net.ipv4.conf.all.arp_announce = 1
 [root@localhost rc.d]# sysctl -p#加载配置，刷新
 ​
 ​

配置负载调度器

03号机（ens33:192.168.177.103）

1）配置虚拟 IP 地址（VIP：192.168.177.200）

 [root@localhost ~]#vim /etc/sysconfig/network-scripts/ifcfg-ens33:0
 ​
 DEVICE=ens33:0
 ONBOOT=yes
 IPADDR=192.168.177.200
 NETMASK=255.255.255.255
 ​
 [root@localhost ~]#ifup ens33:0
 ifconfig ens33:0

image-20230909160825505

2）调整 proc 响应参数

#由于 LVS 负载调度器和各节点需要共用 VIP 地址，需要关闭 icmp 的重定向，不充当路由器。
vim /etc/sysctl.conf
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

sysctl -p

3）配置负载分配策略

安装
[root@localhost ~]#yum -y install ipvsadm
[root@localhost ~]#rpm -q ipvsadm
ipvsadm-1.27-8.el7.x86_64
#先备份
[root@localhost ~]#ipvsadm-save > /etc/sysconfig/ipvsadm
#启动
[root@localhost ~]#systemctl start ipvsadm
systemctl enable ipvsadm
#加载模块:不加载也会自动调用
[root@localhost ~]#modprobe ip_vs#加载通用模块


ipvsadm -C
ipvsadm -A -t 192.168.177.200:80 -s rr
ipvsadm -a -t 192.168.177.200:80 -r 192.168.177.104:80 -g			#若隧道模式，-g替换为-i
ipvsadm -a -t 192.168.177.200:80 -r 192.168.177.105:80 -g
ipvsadm#加载配置

ipvsadm -ln					#查看节点状态，Route代表 DR模式

image-20230909162035169

验证：

image-20230909162240380

后记

简述LVS三种工作模式，简述他们的区别? 答案: NAT：通过网络地址转换实现的虚拟服务器，大并发访问时，调度器的性能成为瓶颈 DR：使用路由技术实现虚拟服务器，节点服务器需要配置VIP，注意MAC地址广播 TUN：通过隧道方式实现虚拟服务器。

列举你知道的LVS调度算法? 答案: 轮询(Round Robin); 加权轮询（Weighted Round Robin）; 最少连接（Least Connections）; 加权最少连接（Weighted Least Connections）; 源地址哈希值（source hash）。

LVS调度器常见算法（均衡策略）？ LVS调度器用的调度方法基本分为两类： 固定调度算法：rr，wrr，dh，sh rr：轮询算法，将请求依次分配给不同的rs节点，即RS节点中均摊分配。适合于RS所有节点处理性能接近的情况。 wrr：加权轮训调度，依据不同RS的权值分配任务。权值较高的RS将优先获得任务，并且分配到的连接数将比权值低的RS更多。相同权值的RS得到相同数目的连接数。 dh：目的地址哈希调度（destination hashing）以目的地址为关键字查找一个静态hash表来获得所需RS。 sh：源地址哈希调度（source hashing）以源地址为关键字查找一个静态hash表来获得需要的RS。

动态调度算法：wlc，lc，lblc wlc：加权最小连接数调度，假设各台RS的权值依次为Wi，当前tcp连接数依次为Ti，依次去Ti/Wi为最小的RS作为下一个分配的RS。 lc：最小连接数调度（least-connection），IPVS表存储了所有活动的连接。LB会比较将连接请求发送到当前连接最少的RS。 lblc：基于地址的最小连接数调度（locality-based least-connection）：将来自同一个目的地址的请求分配给同一台RS，此时这台服务器是尚未满负荷的。否则就将这个请求分配给连接数最小的RS，并以它作为下一次分配的首先考虑。

 

LVS的工作模式及其工作过程：

LVS 有三种负载均衡的模式，分别是VS/NAT（nat 模式）、VS/DR（路由模式）、VS/TUN（隧道模式）。

1、NAT模式（VS-NAT）

原理：首先负载均衡器接收到客户的请求数据包时，根据调度算法决定将请求发送给哪个后端的真实服务器（RS）。然后负载均衡器就把客户端发送的请求数据包的目标IP地址及端口改成后端真实服务器的IP地址（RIP）。真实服务器响应完请求后，查看默认路由，把响应后的数据包发送给负载均衡器，负载均衡器在接收到响应包后，把包的源地址改成虚拟地址（VIP）然后发送回给客户端。

优点：集群中的服务器可以使用任何支持TCP/IP的操作系统，只要负载均衡器有一个合法的IP地址。

缺点：扩展性有限，当服务器节点增长过多时，由于所有的请求和应答都需要经过负载均衡器，因此负载均衡器将成为整个系统的瓶颈。

2、直接路由模式（VS-DR）

原理：首先负载均衡器接收到客户的请求数据包时，根据调度算法决定将请求发送给哪个后端的真实服务器（RS）。然后负载均衡器就把客户端发送的请求数据包的目标MAC地址改成后端真实服务器的MAC地址（R-MAC）。真实服务器响应完请求后，查看默认路由，把响应后的数据包直接发送给客户端，不需要经过负载均衡器。

优点：负载均衡器只负责将请求包分发给后端节点服务器，而RS将应答包直接发给用户。所以，减少了负载均衡器的大量数据流动，负载均衡器不再是系统的瓶颈，也能处理很巨大的请求量。

缺点：需要负载均衡器与真实服务器RS都有一块网卡连接到同一物理网段上，必须在同一个局域网环境。

3、IP隧道模式（VS-TUN）

原理：首先负载均衡器接收到客户的请求数据包时，根据调度算法决定将请求发送给哪个后端的真实服务器（RS）。然后负载均衡器就把客户端发送的请求报文封装一层IP隧道（T-IP）转发到真实服务器（RS）。真实服务器响应完请求后，查看默认路由，把响应后的数据包直接发送给客户端，不需要经过负载均衡器。

优点：负载均衡器只负责将请求包分发给后端节点服务器，而RS将应答包直接发给用户。所以，减少了负载均衡器的大量数据流动，负载均衡器不再是系统的瓶颈，也能处理很巨大的请求量。

缺点：隧道模式的RS节点需要合法IP，这种方式需要所有的服务器支持“IP Tunneling”。

标签：负载,LVS,RS,群集,IP,192.168,均衡器,服务器,root
From： https://www.cnblogs.com/bacolate/p/17689870.html

相关文章

  • 负载均衡之一致性哈希算法详解
    负载均衡之一致性哈希算法详解传统的哈希是直接把数据映射到对应的hash表上，但是当我们的数据量很大的时候，我们会采用多个hash节点来存储的方式来减少存储压力。但是这种hash算法下，如果我们的节点发生了增加或减少的时候，我们就需要将所有数据，重新建立映射关系，这会导致大量的数据......
  • 流媒体平台EasyDSS实现网络负载均衡的意义
    负载均衡是一种网络技术，用于在多个计算机、网络连接、CPU、磁盘驱动器或其他资源之间分配负载，以实现资源的最佳化利用、最大化吞吐量、最小化响应时间，并避免过载。近年来，在快速发展的视频服务技术中，负载均衡技术在视频平台中得到广泛应用。作为分布式系统中的关键门户，负载均衡在连......
  • K8S之ipvs负载均衡原理
    1、iptables、ipvs(IPVirtualServer)实现了传输层负载均衡，也就是我们常说的4层LAN交换，作为Linux内核的一部分。ipvs运行在主机上，在真实服务器集群前充当负载均衡器。ipvs可以将基于TCP和UDP的服务请求转发到真实服务器上，并使真实服务器的服务在单个IP地址上显示为虚拟服务......
  • 有关lvs高可用架构
    我们可以用多台LVS来做高可用。这里又会有两种选择：一是主备模式/主主模式，可以利用Keepalived的VRRP功能，但是大规模生产环境中，用集群模式更好，因为其同时提高了伸缩性和可用性，而前者只解决了可用性（当然，也更简单），LVS是基于IP层的负载均衡，它通过修改数据包的目标IP或MAC地址来实现负......
  • Linux基础38 负载均衡会话保持(redis配session共享), 四层负载均衡, nginx端口转发
    一、负载均衡会话保持当用户访问页面登录后，会在服务器上生成一个session文件，并且返回给浏览器一个session_id内容的cookie，cookie会存在浏览器中，下一次访问cookie会携带session_id来到服务器验证，没有变化则说明是登录状态，不需要重新登录1.session共享的方法1.把session文件保......
  • nginx负载均衡结构示例
    Linux系统-部署-运维系列导航 使用说明nginx负载均衡需要使用stream模块，支持HTTP与TCP服务。此处仅说明负载均衡的配置结构，具体参数请自行查阅相关资料。 Nginx负载均衡策略nginx自有策略轮询(默认)权重(weight)IP地址哈希(ip_hash)最小连接数(least_conn......
  • 浅分析安防视频监控平台EasyCVR视频融合平台接入大量设备后如何维持负载均衡
    安防视频监控平台EasyCVR视频融合平台可拓展性强、视频能力灵活、部署轻快，可支持的主流标准协议有国标GB28181、RTSP/Onvif、RTMP等，以及支持厂家私有协议与SDK接入，包括海康Ehome、海大宇等设备的SDK等。视频汇聚融合管理平台EasyCVR既具备传统安防视频监控的能力，也具备接入AI智能分......
  • 乌班图系统负载提示器
    apt-getupdateapt-getinstallindicator-multiload以为命令行直接可以打开，结果不可以GDBus.Error:org.freedesktop.DBus.Error.NotSupported:Applicationdoesnothandlecommandlinearguments打开系统负载提示器安装成功......
  • SpringCloud中Ribbon负载均衡配置
    配置方法在启动类配置,使用此配置方法，对应全部服务都会进行该规则的负载均衡@BeanpublicIRulerandomRule(){//方法名及返回值根据下表修改即可returnnewRandomRule();}在对应yml文件配置，使用这种方法可以对某一个服务单独配置userservice:#给某个微......
  • VMware NSX Advanced Load Balancer (NSX ALB) 30.1.1 发布 - 多云负载均衡平台
    VMwareNSXAdvancedLoadBalancer(NSXALB)30.1.1发布-多云负载均衡平台请访问原文链接：https://sysin.org/blog/vmware-nsx-alb-30/，查看最新版。原创作品，转载请保留出处。作者主页：sysin.org负载均衡平台NSXAdvancedLoadBalancerNSXAdvancedLoadBalancer(Avi)......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99