首页 > 系统相关 >搭建基于lvs+nginx的负载均衡服务集群

搭建基于lvs+nginx的负载均衡服务集群

时间:2022-12-23 15:33:32浏览次数:40  
标签:负载 network lvs ip nginx net root localhost

  • GreatSQL社区原创内容未经授权不得随意使用,转载请联系小编并注明来源。
  • GreatSQL是MySQL的国产分支版本,使用上与MySQL一致。
  • 作者:蟹黄瓜子
  • 文章来源:社区投稿

1.基于四层+七层的负载均衡

实现负载均衡的方式有很多,例如基于DNS的负载均衡、基于四层交换技术的负载均衡、基于七层交换技术的负载均衡,其中nginx大家不陌生,我们可以通过配置实现负载均衡,可是问题也很明显,如果nginx宕机了,那么如何进行负载?这个时候会想多来几台nginx,综合考虑,今天介绍一种基于四层+七层交换技术的负载均衡,以虚拟ip来负载给我们多台nginx,再由nginx来实现负载均衡过程。本文采用CentOS 7.6作为操作系统示例。

2.nginx部署安装

2.1.环境准备

VMware创建2台虚拟机,XShell工具连接虚拟机进行操作,以下操作集群2台设备都需要完成:

  • 1、静态分配ip,可自定:
[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
  • 2、为机子安装环境,采用yum源安装,注意设置yum源:
[root@localhost ~]# yum install -y gcc
[root@localhost ~]# yum install -y pcre pcre-devel
[root@localhost ~]# yum install -y zlib zlib-devel
[root@localhost ~]# yum install -y openssl openssl-devel

2.2.安装

  • 下载“nginx-1.8.0.tar.gz”文件并解压:
[root@localhost ~]# wget http://nginx.org/download/nginx-1.8.0.tar.gz
[root@localhost ~]# tar -zxvf nginx-1.8.0.tar.gz 
  • 进入目录:
[root@localhost ~]# cd nginx-1.8.0/
[root@localhost nginx-1.8.0]# 
  • 通过configure进行安装:
[root@localhost nginx-1.8.0]# ./configure \
--prefix=/usr/local/nginx \
--pid-path=/var/run/nginx/nginx.pid \
--lock-path=/var/lock/nginx.lock \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--with-http_gzip_static_module \
--http-client-body-temp-path=/var/temp/nginx/client \
--http-proxy-temp-path=/var/temp/nginx/proxy \
--http-fastcgi-temp-path=/var/temp/nginx/fastcgi \
--http-uwsgi-temp-path=/var/temp/nginx/uwsgi \
--http-scgi-temp-path=/var/temp/nginx/scgi
  • 进行编译安装:
[root@localhost nginx-1.8.0]# make
[root@localhost nginx-1.8.0]# make install
  • /var/下创建temp目录和nginx目录::
[root@localhost /]# mkdir -p /var/temp/nginx/
[root@localhost nginx]# pwd
/var/temp/nginx
[root@localhost ~]# cd /var/run/
[root@localhost run]# mkdir nginx
  • 查看nginx的安装目录并运行:
[root@localhost nginx]# pwd
/usr/local/nginx
[root@localhost nginx]# cd sbin/
[root@localhost sbin]# ./nginx 
# 64519是nginx主进程的进程id,64520是nginx工作进程的进程id
[root@localhost sbin]# ps aux|grep nginx
root      64519  0.0  0.0  24892   772 ?        Ss   09:36   0:00 nginx: master process ./nginx
nobody    64520  0.0  0.1  27404  1520 ?        S    09:36   0:00 nginx: worker process
root      64531  0.0  0.0 112808   964 pts/1    R+   09:36   0:00 grep --color=auto nginx
  • 注意:执行./nginx启动nginx,这里可以-c指定加载的nginx配置文件,如下:

    ./nginx -c /usr/local/nginx/conf/nginx.conf

    如果不指定-c,nginx在启动时默认加载conf/nginx.conf文件,此文件的地址也可以在编译安装nginx时指定./configure的参数(--conf-path= 指向配置文件(nginx.conf))

3.lvs部署安装

3.1.环境准备

VMware创建1台虚拟机,XShell工具连接虚拟机进行操作:

  • 1、配置ip:
[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
  • 2、安装依赖,静等安装成功出现“Complete”即可:
[root@localhost ~]# yum install -y gcc gcc-c++ makepcre pcre-devel kernel-devel openssl-devel libnl-devel popt*

3.2.安装

  • LVS是Linux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立,是中国国内最早出现的自由软件项目之一。
  • centos6.5自带lvs,本系统采用centos7.6,检查linux内核是否集成lvs模块::
[root@localhost ~]# cat /etc/system-release
CentOS Linux release 7.9.2009 (Core)
# centos7已经没有集成modprobe的“-l”参数了
[root@localhost ~]# modprobe -l | grep ipvs
modprobe: invalid option -- 'l'
[root@localhost ~]# 
# 可以使用如下命令:
[root@localhost ~]#  find /lib/modules/$(uname -r)/ -iname "**.ko*" | cut -d/ -f5-
.........略..................
kernel/net/netfilter/ipvs/ip_vs.ko.xz
kernel/net/netfilter/ipvs/ip_vs_dh.ko.xz
kernel/net/netfilter/ipvs/ip_vs_ftp.ko.xz
kernel/net/netfilter/ipvs/ip_vs_lblc.ko.xz
kernel/net/netfilter/ipvs/ip_vs_lblcr.ko.xz
kernel/net/netfilter/ipvs/ip_vs_lc.ko.xz
kernel/net/netfilter/ipvs/ip_vs_nq.ko.xz
kernel/net/netfilter/ipvs/ip_vs_pe_sip.ko.xz
kernel/net/netfilter/ipvs/ip_vs_rr.ko.xz
kernel/net/netfilter/ipvs/ip_vs_sed.ko.xz
kernel/net/netfilter/ipvs/ip_vs_sh.ko.xz
kernel/net/netfilter/ipvs/ip_vs_wlc.ko.xz
kernel/net/netfilter/ipvs/ip_vs_wrr.ko.xz
.........略..................
  • 拉取lvs的管理工具ipvsadm,并解压:
[root@localhost ~]# cd /usr/local/
[root@localhost local]# wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.26.tar.gz
[root@localhost local]# tar zxvf ipvsadm-1.26.tar.gz 
  • 进入目录后编译安装:
[root@localhost local]# cd ipvsadm-1.26/
[root@localhost ipvsadm-1.26]# make
[root@localhost ipvsadm-1.26]# make install
  • 验证是否安装成功:
[root@localhost ipvsadm-1.26]# ipvsadm -h
ipvsadm v1.26 2008/5/15 (compiled with popt and IPVS v1.2.1)
Usage:
  ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [--pe persistence_engine]
  ipvsadm -D -t|u|f service-address
  ipvsadm -C
  ipvsadm -R
  ipvsadm -S [-n]
.........略..................

4.lvs实现四层负载DR模式与Nginx七层进行整合

  • 在lvs虚拟机的eth33(自己网卡名字)上绑定虚拟ip假设为:192.168.1.200:
[root@localhost ~]# cd /etc/sysconfig/network-scripts
[root@localhost network-scripts]# cp ifcfg-ens33 ifcfg-ens33:0
[root@localhost network-scripts]# vi ifcfg-ens33:0
# 将以下配置拷贝进去
DEVICE="ens33:0"
BOOTPROTO="static"
ONBOOT="yes"
IPADDR=192.168.1.200
NETMASK=255.255.255.255
BROADCAST=192.168.1.200
# 刷新
[root@localhost network-scripts]# systemctl restart network
  • 添加路由规则:
[root@localhost network-scripts]# route add -host 192.168.1.200 dev ens33:0
  • 启用系统的包转发功能,参数值为1时启用ip转发,为0时禁止ip转发:
[root@localhost network-scripts]# echo "1" >/proc/sys/net/ipv4/ip_forward
  • 清除原有转发规则:
[root@localhost network-scripts]# ipvsadm --clear
  • 添加虚拟IP规则:

    • -s rr表示采用轮询策略
    • :80表示负载转发的端口是80
[root@localhost network-scripts]# ipvsadm -A -t 192.168.1.200:80 -s rr
  • 给虚拟IP中添加服务规则(1.13和1.14为两台nginx服务器):
[root@localhost network-scripts]# ipvsadm -a -t 192.168.1.200:80 -r 192.168.1.13:80 -g
[root@localhost network-scripts]# ipvsadm -a -t 192.168.1.200:80 -r 192.168.1.14:80 -g
  • 在新加虚拟IP记录中添加两条新的Real Server记录,-g表示指定LVS 的工作模式为直接路由模式。lvs进行负载转发需要保证lvs负载的端口要和nginx服务的端口的一致,这里都为80
  • 重启lvs
[root@localhost network-scripts]# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  localhost.localdomain:http rr
  -> 192.168.1.13:http          Route   1      0          0         
  -> 192.168.1.14:http          Route   1      0          0   
  • 在lvs的DR和TUn模式下,用户的访问请求到达真实服务器后,是直接返回给用户的,而不再经过前端的Director Server,因此,就需要在每个Real server节点上增加虚拟的VIP地址,这样数据才能直接返回给用户
  • 回环设备(nginx)上绑定了一个虚拟IP地址:
[root@localhost sbin]# cd /etc/sysconfig/network-scripts/

[root@localhost network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@localhost network-scripts]# vi ifcfg-lo:0

DEVICE=lo:0
IPADDR=192.168.1.200
BROADCAST=192.168.1.200
NETMASK=255.255.255.255
# If you're having problems with gated making 127.0.0.0/8 a martian,
# you can change this to something else (255.255.255.255, for example)
ONBOOT=yes
NAME=loopback

[root@localhost network-scripts]# systemctl restart network
[root@localhost sbin]# /sbin/route add -host 192.168.1.200 dev lo:0
  • 关闭arp解析:

    • arp_announce :定义不同级别:当ARP请求通过某个端口进来是否利用这个接口来回应。 0 -利用本地的任何地址,不管配置在哪个接口上去响应ARP请求; 1 - 避免使用另外一个接口上的mac地址去响应ARP请求; 2 - 尽可能使用能够匹配到ARP请求的最佳地址。
    • arp_ignore:当ARP请求发过来后发现自己正是请求的地址是否响应; 0 - 利用本地的任何地址,不管配置在哪个接口上去响应ARP请求; 1 - 哪个接口上接受ARP请求,就从哪个端口上回应。
[root@localhost conf]# pwd
/proc/sys/net/ipv4/conf
[root@localhost conf]# echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore 
[root@localhost conf]# echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
[root@localhost conf]# echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
[root@localhost conf]# echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
 #使用修改生效
[root@localhost conf]# sysctl -p
  • 验证,通过vip是否可以访问到两台nginx
  • 还可以通过七层部署负载几台tomcat来测试:
[root@localhost conf]# vi nginx.conf
# 配置如下
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    
  upstream tomcat_server_pool{
        server 192.168.1.20:8080 weight=10;
        server 192.168.1.21:8080 weight=10;
        }
        
    server {
        listen       80;
        server_name  localhost;
        location / {
            root   html;
            proxy_pass http://tomcat_server_pool;
            index  index.html index.htm;
        }
      
    }
  • 验证效果,此时通过lvs即可对Tomcat进行访问了,不管哪一台Tomcat宕机,或哪一台nginx宕机,都不会影响访问。那么如果lvs所在的机器宕机了呢?入口没了就找不到nginx了,这个时候可以通过keepalived的心跳机制来实现lvs的主备操作,以此来检测主机是否还存活,如果宕机,备机就作为主机使用了,几台先讲到这,下次有机会继续说部署方案。

Enjoy GreatSQL

标签:负载,network,lvs,ip,nginx,net,root,localhost
From: https://www.cnblogs.com/greatsql/p/17000777.html

相关文章

  • nginx通过set变量来实现if语句的AND判断;
    http://www.doself.com/?post=105今天在配置一个网站的rewrite规则时碰到了这个问题。在Nginx里不能够采用这样的语句 1if ($request_method=POST&&$htt......
  • Nginx配置时的参数及作用
    $args#请求中的参数值$query_string#同$args$arg_NAME   #GET请......
  • 高性能web服务器nginx和反向代理
    高性能web服务器——nginx一、 简介1. nginx是什么?l 是一个使用c语言开发的高性能的http服务器和反向代理服务器以及电子邮件(IMAP/POP3)代理服务器。l 是俄罗斯的程序设......
  • Nginx 重定向
    301重定向location/{return301https://$host$request_uri;}禁止ip地址访问server{listen80default_server;return500;......
  • Nginx反向代理
    1、何为反向代理在介绍反向代理之前,先来了解一下正向代理。正向代理:如果把局域网外的Internet想象成一个巨大的资源库,则局域网中的客户端要访问Internet,则需要通过代理......
  • docker的dockerfile案例nginx学习
    一、什么是DockerfileDockerfile是自动构建docker镜像的配置文件,将镜像构建过程通过指令的方式定义在Dockerfile中。配合​​dockerbuild​​命令行可以实现自动化的Docker......
  • 神器 Nginx 的学习手册 ( 建议收藏 )
    Nginx是一个高性能的HTTP和反向代理服务器,特点是占用内存少,并发能力强,事实上Nginx的并发能力确实在同类型的网页服务器中表现较好。Nginx专为性能优化而开发,性能是......
  • Nginx 解决跨域问题(CORS)
    CORS(Cross-OriginResourceSharing)跨域资源共享,是一种允许当前域(domain)的资源(比如html/js/webservice)被其他域(domain)的脚本请求访问的机制,通常由于同域安全策略(thes......
  • 修改Nginx默认80端口指向目录
    vim/usr/local/nginx/conf/nginx.conf ......
  • nginx 配置服务端地址
    server{listen8099;server_namelianghj.top;#charsetkoi8-r;#access_loglogs/host.access.logmain;......