nginx mirror流量镜像详细介绍以及实战示例
1.nginx mirror作用
为了便于排查问题，可能希望线上的请求能够同步到测试环境，以便于验证某些功能；或者是在多个环境的情况下，希望能够将某些请求在几个环境中同步，比如调用环境A接口保存的数据，也需要在环境B、环境C中保存。而如果没有特别配置，则这个请求就只在当前环境中生效，这无法满足我们的需求。于是，我们需要引入流量镜像这一概念。
2.nginx安装
注意：nginx 1.13.4及后续版本才包含内置ngx_http_mirror_module模块，提供流量镜像(复制)的功能。
使用docker-compose安装nginx。本文使用的nginx版本为1.22.0.若还没有安装docker-compose的可以点击这里 查看教程。
拉取镜像：docker pull nginx:1.22.0
配置docker-compose.yml
version: "3.3"
services:
mynginx:
container_name: mynginx
image: nginx:1.22.0
# volumes:
# - ./conf/nginx.conf:/etc/nginx/nginx.conf
# - ./conf/conf.d:/etc/nginx/conf.d
# - ./log/nginx:/var/log/nginx
ports:
- "19096:19096"
- "80:80"
networks:
- test-network
privileged: true
deploy:
replicas: 1
update_config:
parallelism: 2
delay: 10s
restart_policy:
condition: on-failure
networks:
test-network:
启动：docker-compose up -d
注意：第一次启动时需要将volumes目录挂载注释掉，否则nginx会启动失败。
启动成功后，再将nginx的配置文件复制出来，后续直接在外面修改配置，而不需要再进入到容器内。
复制配置文件到conf目录内：
mkdir conf
docker cp mynginx:/etc/nginx/nginx.conf ./conf/nginx.conf
docker cp mynginx:/etc/nginx/conf.d ./conf/conf.d
复制完成后，再将上面docker-compose.yml中的volumes挂载都取消注释，然后重新启动，执行命令：docker-compose up -d
至此，nginx安装启动完成。
3.修改配置
3.1.nginx.conf
配置如下，include /etc/nginx/conf.d/*.conf; 表示会把/etc/nginx/conf.d目录下所有.conf结尾的文件都加载进来，所以我们不需要改这个文件，直接修改conf.d目录下的配置即可。
3.2.conf.d目录下添加default.conf配置文件
如果已存在default.conf配置，可以删掉再重新添加，内容如下
# 定义三个后端服务的 upstream
upstream main_server {
server 192.168.80.251:9096;
}
upstream mirror_server1 {
server 192.168.80.251:9097;
}
upstream mirror_server2 {
server 192.168.80.251:9098;
}
# 主要的 server 块
server {
listen 19096;
access_log /var/log/nginx/access.log main;
error_log /var/log/nginx/error.log warn;
location / {
# 主要逻辑，传到 main_server
proxy_pass http://main_server;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
# 镜像流量到 mirror_servers
mirror /mirror1;
mirror /mirror2;
mirror_request_body on; # 启用镜像请求的请求主体
proxy_pass_request_body on;
}
# Mirror location
location = /mirror1 {
internal; # 内部调用，不对外开放
proxy_pass http://mirror_server1$request_uri;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
}
location = /mirror2 {
internal; # 内部调用，不对外开放
proxy_pass http://mirror_server2$request_uri;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
}
}
3.3.nginx配置注意事项
- internal 指令的使用：internal 指令表示该 location 只能被内部请求访问。在 mirror 配置中，这是正确的设置，但请确保在 proxy_pass 指令中正确传递 URI。
- 检查 proxy_pass 指令：确保在 proxy_pass 指令中传递的 URI 是正确的。特别是在镜像请求部分：
proxy_pass http://mirror_server1$request_uri;
- mirror_request_body on; # 启用镜像请求的请求主体 on | off,这行只需在主 location 块中配置一次。
- proxy_pass_request_body on； 待了解
- $request_uri；$request_uri 是一个 Nginx 变量，代表客户端请求的 URI。在 Nginx 配置中，它可以用于传递当前请求的 URI。在主服务中，通常不需要在 proxy_pass 指令中配置 $request_uri，因为默认情况下，proxy_pass 会传递原始请求的 URI。但在一些特殊情况下，您可能希望将当前请求的 URI 传递给后端服务器，这时可以在主服务中使用 $request_uri。在镜像服务中，由于要确保传递的是镜像请求的 URI，通常会显式地使用 $request_uri。因此，需要根据具体需求在不同的 location 中决定是否使用 $request_uri。
proxy_pass http://mirror_server1$request_uri;
-
这几行 proxy_set_header 指令用于设置向后端服务器传递的请求头信息。它们分别设置了 Host、X-Real-IP、X-Forwarded-For 和 X-Forwarded-Proto 请求头。这些请求头在代理过程中非常重要，它们能够让后端服务器了解到客户端的真实 IP、协议类型等信息。这些指令通常需要在主服务和镜像服务中都配置，以确保传递给后端的请求头是完整的、准确的，并且包含了必要的信息。proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme;
3.3.nginx重启
修改完配置nginx配置后，重启服务：docker exec -it mynginx nginx -s reload ；
或者 进入容器内重启：
docker exec -it mynginx
nginx -s reload
4.测试
监听的19096端口为nginx的服务，9096、9097、9098为三个相同的服务的端口，9096端口为主服务，9097、9098为镜像服务
例如调用接口：http://192.168.80.251:9096/data/receive/receiveImgtList，数据只会保存在9096服务；
例如调用接口：http://192.168.80.251:19096/data/receive/receiveImgtList，数据会在这三个服务都保存；