LVS（Linux Virtual Server）备忘录

（241226）

基础内容

LVS 是 Linux Virtual Server ，Linux 虚拟服务器；是一个虚拟的服务器集群【多台机器 LB IP】。LVS 集群分为三层结构:

负载调度器(load balancer)：它是整个LVS 集群对外的前端机器，负责将client请求发送到一组服务器【多台LB IP】上执行，而client端认为是返回来一个同一个IP【通常把这个IP 称为虚拟IP/VIP】

服务器池(server pool)：一组真正执行client 请求的服务器，一般是我们的web服务器；除了web，还有FTP，MAIL，DNS

共享存储(shared stored)：它为 server pool 提供了一个共享的存储区，很容易让服务器池拥有相同的内容，提供相同的服务

DR(Direct Routing)

工作的基本原理：
client发送一个pv请求给VIP；VIP 收到这请求后会跟LVS设置的LB算法选择一个LB比较合理的realserver，然后把此请求的package 的MAC地址修改为realserver的MAC地址；

通信的Package有六个主要的字段：src mac、dst mac、src ip、src prot、dst ip、dst ip；个包里面的dst mac是LVS VIP的网卡MAC，在TCP三次握手完成时就只知道dsp ip和dsp mac了

DR模式会把packet里面的dst mac改成realserver的MAC地址；然后VIP会把这个包广播到当前的这个LAN里面；所以，要提前保证VIP 和所有的realserver在同一个网段，也就是在用过LAN里面。

同一个网段：用子网掩码来实现的，我们知道我们的网络中有局域网，一个局域网有很多台机器，这些LAN里面的所有机器都公用一个外网IP；我们是怎样界定这个LAN的呢？用的就是网段号；IP只是是32位二进制数表示，这32位分为：网络位 + 主机位；表现在子网掩码是就是：网络位是1，主机位是0；这样网络位=IP按位与子网掩码；所以，我们在把realserver挂到LVS上前，需要确认DR模式，且IP在同一个网段内。

ARP协议会把这个包发送给真正的realserver【根据MAC找到机器】；

把这个src ip----->realserver的mac 地址建立一个hash表；这此次连接未断开前，同一个client发送的请求通过查询hash表，在次发送到这台realserver上面；

realserver 收到这个pachet后，首先判断dst ip是否是自己的IP地址；如果不是就丢掉包；如果是就处理这个包。所以，DR模式还要在所有的realserver 的机器上面绑定VIP的ip地址；

这样realserver发现package的dst自己能识别【绑定了2个IP】，会处理这个包，处理完后把package的src mac dst mac src ip dst ip 都修改后再通过ARP 发送给VIP，通过VIP 发送给client。realserver发送给VIP的package的格式；

realserver处理这个包后，会跟dst为client ip 直接发送给client ip；不经过lvs ；这样虽然效率比较高，但是有安全漏洞。

LVS DR模式的注意情况：
LVS的VIP和realserver 必须在同一个网段，不然广播后所有的包都会丢掉：提前确认LVS/硬件LB 是什么模式，是否需要在同一个网段

所有的realserver 都必须绑定VIP的IP地址，否则realserver收到package后发现dst不是自己的IP，所有包都会丢掉。

realserver处理完包后直接把package通过dst IP发送给 client ，不通过LVS/迎接IP了这样的LVS /VIP效率会更高一点。

NAT

和NAT网络协议一样

NAT 模式的注意事项：
NAT模式修改的是dst IP，直接走 switch 或pub 不需要修改MAC 所以，不需要VIP和realserver同在一个网段内。
NAT模式package in和package out 都需要经过LVS ；因此LVS的可能会成为一个系统瓶颈问题。

FULL NAT

FULL NAT在client请求VIP时，不仅替换了package的dst ip，还替换了package的 src ip；但VIP返回给client时也替换了src ip；

FULL NAT 模式的注意事项：
FULL NAT模式也不需要 LBIP 和realserver ip 在同一个网段；
full nat跟nat 相比的优点是：保证RS回包一定能够回到LVS；
full nat因为要更新sorce ip 所以性能正常比nat 模式下降 10%。

TUNNEL

IP TUNNEL 模式的注意：
TUNNEL模式必须在所有的realserver 机器上面绑定VIP的IP地址；
TUNNEL模式的vip ------>realserver 的包通信通过TUNNEL 模式，不管是内网和外网都能通信，所以不需要lvs vip跟realserver 在同一个网段内；
TUNNEL模式 realserver会把packet 直接发给client 不会给lvs了；
TUNNEL模式 由于公网路由选路没有直接路由网络问题较为复杂，出现问题排查时间较长。

LVS DR、NAT、FULL NAT、IP TUNNEL 模式的区别：

• 是否需要lvs vip跟realserver 在同一个网段：
  DR 模式因为只修改package的 MAC地址通过ARP广播的形势找到realserver，所以 要求LVS 的VIP 和realserver的IP 必须在同一个网段内，也就是在挂载VIP 时先确认LVS的工作模式，如果是DR模式需要先确认这个IP 只是否能挂在这个LVS下面。
  其他模式因为都会修改DST ip为 realserver的IP地址，所以不需要在同一个网段内。

• 是否需要在realserver 绑定LVS vip 的IP 地址：
  realserver 收到package后会判断dst ip 是否是自己的ip，如果不是就直接丢掉包；因为DR模式dst 没有修改还是LVS的VIP；所以需要在realserver上面绑定VIP；IP TUNNEL 模式只是对package重新包装一层，realserver解析后的IP包的DST 仍然是 LVS的VIP ；也需要在realserver上面绑定VIP；其他的都不需要。

• 四种模式的性能比较：
  因为DR模式 TP TUNELL 模式都是在package in 时经过LVS ；在package out是直接返回给client；所以二者的性能比NAT 模式高；但IP TUNNEL 因为是TUNNEL 模式比较复杂，其性能不如DR模式；FULL NAT 模式因为不仅要更换 DST IP 还更换 SOURCE IP 所以性能比NAT下降10%。

所以，4中模式的性能如下：DR --> IP TUNNEL --->NAT ----->FULL NAT