首页 > 系统相关 >从零手写实现 nginx-34-proxy_pass 配置加载处理

从零手写实现 nginx-34-proxy_pass 配置加载处理

时间:2024-07-27 17:55:48浏览次数:20  
标签:实现 34 nginx proxy pass 手写 config

前言

大家好,我是老马。很高兴遇到你。

我们为 java 开发者实现了 java 版本的 nginx

https://github.com/houbb/nginx4j

如果你想知道 servlet 如何处理的,可以参考我的另一个项目:

手写从零实现简易版 tomcat minicat

手写 nginx 系列

如果你对 nginx 原理感兴趣,可以阅读:

从零手写实现 nginx-01-为什么不能有 java 版本的 nginx?

从零手写实现 nginx-02-nginx 的核心能力

从零手写实现 nginx-03-nginx 基于 Netty 实现

从零手写实现 nginx-04-基于 netty http 出入参优化处理

从零手写实现 nginx-05-MIME类型(Multipurpose Internet Mail Extensions,多用途互联网邮件扩展类型)

从零手写实现 nginx-06-文件夹自动索引

从零手写实现 nginx-07-大文件下载

从零手写实现 nginx-08-范围查询

从零手写实现 nginx-09-文件压缩

从零手写实现 nginx-10-sendfile 零拷贝

从零手写实现 nginx-11-file+range 合并

从零手写实现 nginx-12-keep-alive 连接复用

从零手写实现 nginx-13-nginx.conf 配置文件介绍

从零手写实现 nginx-14-nginx.conf 和 hocon 格式有关系吗?

从零手写实现 nginx-15-nginx.conf 如何通过 java 解析处理?

从零手写实现 nginx-16-nginx 支持配置多个 server

从零手写实现 nginx-17-nginx 默认配置优化

从零手写实现 nginx-18-nginx 请求头+响应头操作

从零手写实现 nginx-19-nginx cors

从零手写实现 nginx-20-nginx 占位符 placeholder

从零手写实现 nginx-21-nginx modules 模块信息概览

从零手写实现 nginx-22-nginx modules 分模块加载优化

从零手写实现 nginx-23-nginx cookie 的操作处理

从零手写实现 nginx-24-nginx IF 指令

从零手写实现 nginx-25-nginx map 指令

从零手写实现 nginx-26-nginx rewrite 指令

从零手写实现 nginx-27-nginx return 指令

从零手写实现 nginx-28-nginx error_pages 指令

从零手写实现 nginx-29-nginx try_files 指令

从零手写实现 nginx-30-nginx proxy_pass upstream 指令

从零手写实现 nginx-31-nginx load-balance 负载均衡

从零手写实现 nginx-32-nginx load-balance 算法 java 实现

从零手写实现 nginx-33-nginx http proxy_pass 测试验证

从零手写实现 nginx-34-proxy_pass 配置加载处理

从零手写实现 nginx-35-proxy_pass netty 如何实现?

配置加载

配置文件的例子

  • nginx-proxy-pass.conf
# HTTP模块配置
http {
    upstream backend {
        server 127.0.0.1:3000 weight=5;
    }

    # 定义服务器块
    server {
        listen 8080;
        server_name 127.0.0.1:8080;  # 服务器域名

        # 静态文件的根目录
        root D:\data\nginx4j;  # 静态文件存放的根目录
        index index.html index.htm;  # 默认首页

        # = 精准匹配
        location / {
        }

        # = 精准匹配
        location /p {
            proxy_pass http://backend;
        }
    }

}

配置文件加载

下面的实现主要用来解析 upstream 模块处理。

/**
 * @since 0.27.0
 * @author 老马啸西风
 */
public class NginxUserUpstreamConfigLoadFile implements INginxUserUpstreamConfigLoad {

    private final NgxConfig conf;

    private final NgxBlock ngxBlock;

    public NginxUserUpstreamConfigLoadFile(NgxConfig conf, NgxBlock ngxBlock) {
        this.conf = conf;
        this.ngxBlock = ngxBlock;
    }

    @Override
    public NginxUserUpstreamConfig load() {
        NginxUserUpstreamConfig config = new NginxUserUpstreamConfig();
        config.setName(ngxBlock.getName());
        config.setValue(ngxBlock.getValue());
        config.setValues(ngxBlock.getValues());

        // 配置
        String upstreamName = ngxBlock.getValue();
        if(StringUtil.isEmpty(upstreamName)) {
            throw new Nginx4jException("upstream 名称不可为空");
        }

        config.setUpstream(upstreamName);
        Collection<NgxEntry> entryList = ngxBlock.getEntries();
        List<NginxUserUpstreamConfigItem> configItemList = new ArrayList<>();
        if(CollectionUtil.isNotEmpty(entryList)) {
            for(NgxEntry ngxEntry : entryList) {
                if(ngxEntry instanceof NgxParam) {
                    NgxParam ngxParam = (NgxParam) ngxEntry;

                    NginxUserUpstreamConfigItem configItem = new NginxUserUpstreamConfigItem();
                    configItem.setName(ngxParam.getName());
                    configItem.setValue(ngxParam.getValue());
                    configItem.setValues(ngxParam.getValues());

                    configItemList.add(configItem);
                }
            }
        }

        config.setConfigItemList(configItemList);
        return config;
    }

}

配置的预处理

我们在处理配置的时候,需要处理一下上面的配置

整体逻辑

直接处理上述的 NginxUserServerLocationConfig 加载处理,针对 proxy_pass 指令解析处理。

/**
 * 默认负载均衡配置
 * 
 * @since 0.27.0
 * @author 老马啸西风
 */
public class NginxLoadBalanceDefaultConfig implements INginxLoadBalanceConfig {

    private static final Log log = LogFactory.getLog(NginxLoadBalanceDefaultConfig.class);

    @Override
    public NginxLoadBalanceConfig buildBalanceConfig(NginxRequestDispatchContext dispatchContext) {
        NginxLoadBalanceConfig config = new NginxLoadBalanceConfig();
        config.setNeedProxyPass(false);

        NginxUserServerLocationConfig nginxUserServerLocationConfig = dispatchContext.getCurrentUserServerLocationConfig();
        List<NginxCommonConfigEntry> configEntryList = nginxUserServerLocationConfig.getConfigEntryList();
        if(CollectionUtil.isEmpty(configEntryList)) {
            return config;
        }

        //1. serverList proxy_pass http://my_backend;
        for(NginxCommonConfigEntry entry : configEntryList) {
            if("proxy_pass".equals(entry.getName())) {
                config.setNeedProxyPass(true);

                final String url = entry.getValue();
                config.setProxyPassUrl(url);
                String upstreamName = getUpstreamName(url, dispatchContext);
                config.setUpstreamName(upstreamName);
                // 获取对应的配置信息
                final NginxUserUpstreamConfig upstreamConfig = getUpstreamConfig(upstreamName, url, dispatchContext);

                List<IServer> serverList = buildServerList(upstreamConfig, url, dispatchContext);
                config.setUpstreamServerList(serverList);

                // 设置对应的哈希策略 一般第一行为策略?
                NginxCommonConfigEntry upstreamStrategy = getUpstreamStrategyConfig(upstreamConfig);
                if(upstreamStrategy != null) {
                    config.setUpstreamProxyStrategy(upstreamStrategy.getName());
                    config.setUpstreamProxyStrategyValue(upstreamStrategy.getValue());
                }

                break;
            }
        }

        return config;
    }
}

getUpstreamName 获取 upstreamName

假如配置信息为 proxy_pass http://backend;

那么我们需要解析到 backend 作为 upstreamName。

/**
 * 获取对应的 upstream 名称
 * @param target 目标url
 * @param dispatchContext 上下文
 * @return 结果
 */
private String getUpstreamName(String target, NginxRequestDispatchContext dispatchContext) {
    String urlSuffix = getUrlSuffix(target);
    if(StringUtil.isEmpty(urlSuffix)) {
        return urlSuffix;
    }

    // 结果
    return urlSuffix.split(":")[0];
}

getUpstreamConfig 获取配置信息

如果我们得到了 upstreamName,那么如何找到对应的 upstream 配置呢?

根据 upstream 名称,找到对应的配置信息。

private NginxUserUpstreamConfig getUpstreamConfig(String upstreamName, String url, NginxRequestDispatchContext dispatchContext) {
    if(StringUtil.isEmpty(upstreamName)) {
        return null;
    }
    NginxUserConfig nginxUserConfig =  dispatchContext.getNginxConfig().getNginxUserConfig();
    List<NginxUserUpstreamConfig> upstreamConfigs = nginxUserConfig.getUpstreamConfigs();
    if(CollectionUtil.isEmpty(upstreamConfigs)) {
        log.info("upstreamConfigs is empty, match config is null");
        return null;
    }

    // 遍历
    for(NginxUserUpstreamConfig upstreamConfig : upstreamConfigs) {
        if(upstreamName.equals(upstreamConfig.getUpstream())) {
            return upstreamConfig;
        }
    }
    log.info("upstreamConfigs match config not found!");
    return null;
}

buildServerList 如何构建对应的目标服务器列表?

这里稍微繁琐一点。

默认配置

我们首先可以指定默认的端口:

在 HTTP 和 HTTPS 通信中,默认端口号如下:

  • HTTP: 默认端口是 80
  • HTTPS: 默认端口是 443

核心实现

核心实现如下:

1) 没找到对应的 upstream

直接根据指定的配置,构建服务器列表。

比如 proxy_pass http://localhost:8080;

2) 找到对应的 upstream 配置

根据对应的服务器列表,构建对应的列表即可。

这里需要注意一下细节,处理一下 host+port+weight

    private List<IServer> buildServerList(final NginxUserUpstreamConfig upstreamConfig,
                                          String url,
                                          NginxRequestDispatchContext dispatchContext) {
        List<IServer> list = new ArrayList<>();

        // 协议
        Integer defaultPort = NginxHttpEnum.getDefaultPortByUrl(url);
        String urlSuffix = getUrlSuffix(url);

        if(upstreamConfig == null) {
            // proxy_pass http://backend.example.com:8080;
            String[] urlSuffixSplits = urlSuffix.split(":");
            if(urlSuffixSplits.length > 1) {
                defaultPort = Integer.parseInt(urlSuffixSplits[1]);
            }
            IServer server = Server.newInstance().host(urlSuffixSplits[0]).port(defaultPort).weight(1);
            list.add(server);
        } else {
            //....

            //server backend1.example.com:8080 weight=3;
            for(NginxUserUpstreamConfigItem configItem : configItemList) {
                String name = configItem.getName();
                if(!"server".equals(name)) {
                    continue;
                }

                List<String> values = configItem.getValues();
                String serverValue = values.get(0);
                String[] serverValueSplits = serverValue.split(":");
                int port = defaultPort;
                if(serverValueSplits.length > 1) {
                    port = Integer.parseInt(serverValueSplits[1]);
                }

                int weight = 1;
                if(values.size() > 1) {
                    String weightValue = values.get(1);
                    weight = Integer.parseInt(weightValue.split("=")[1]);
                }

                IServer server = Server.newInstance()
                        .host(serverValueSplits[0])
                        .port(port)
                        .weight(weight);

                list.add(server);
            }
        }

        return list;
    }

小结

到这里开始,我们介绍了如何解析配置文件。

并且介绍了针对 proxy_pass 的指令,如何做好对应的配置解析处理。

下一节,我们一起看一下如何实现 proxy_pass 的反向代理。

标签:实现,34,nginx,proxy,pass,手写,config
From: https://blog.csdn.net/ryo1060732496/article/details/140738934

相关文章

  • 代码随想录day11 || 150 逆表达式求值 239 滑动窗口最大值 347 前k最高频元素
    150逆波兰表达式计算funcevalRPN(tokens[]string)int{ //自己想是真的想不出来,看了视频之后有了思路 //本质上逻辑就是遇到数字入栈,遇到运算符号出栈两个元素然后计算再入栈,最终就是计算结果 stack:=Constructor() for_,val:=rangetokens{ //如果数字入......
  • FL Studio 24.1.1.4234官方中文版全新发布
     在当今这个数字化的时代,音乐制作已经成为了一项越来越受欢迎的艺术形式。FLStudio作为一款功能强大的数字音频工作站(DAW),一直以其出色的性能和丰富的功能吸引着全球的音乐创作者。今天,我们就来详细探讨一下FLStudio24.1.1.4239中文版在音乐制作中的卓越表现以及它为创作者......
  • nginx 代理php
    centos7.6nginx编译安装./configure--prefix=/data/apps/nginx\--user=nginx\--group=nginx\--with-http_stub_status_module\--with-http_ssl_module\--with-http_gzip_static_module\--with-stream\--with-http_v2_module\--with-http_realip_mo......
  • nginx批量封禁黑名单ip
    nginx批量封禁黑名单ip昨天搞到差不多1点,今天又是忙到6点半,连我领导都说“搞得我们加一好憔悴呀”。有很长一段时间没更新博客了,想着怎么做个人IP。。。谋出路 一、需求介绍废话少说,需求就是怎么批量封禁别人给来的一大堆黑名单ip。甲方每天不定期发来几百、上千个ip,我......
  • Ubuntu 使用nginx部署thinkphp8配置
    server{listen80;server_nameemall.alliky.cn;root/var/www/html/EMALL_EVTP8_SERVER/public;indexindex.phpindex.htmlindex.htm;#防止文件缓存location~*\.(css|js|jpg|jpeg|png|gif|ico|woff|woff2|css.map|js.map|txt)${expires14d;add_headerC......
  • 【踩坑系列-Docker】基于Alibaba Cloud Linux3基础镜像安装Nginx
    Author:赵志乾Date:2024-07-26Declaration:AllRightReserved!!!1.问题描述    使用AlibabaCloudLinux3作为基础镜像,在其上安装Nginx,对应的Dockerfile内容如下:#指定基础镜像FROMalibaba-cloud-linux-3-registry.cn-hangzhou.cr.aliyuncs.com/alinux3/alinux3:lat......
  • Nginx服务器无法实现伪静态化,在后台设置不成功
    错误提示:Nginx服务器无法实现伪静态化,在后台设置不成功解决方案:这主要是nginx的rewrite没有设置导致的在nginx.conf里找到网站的server配置段,一般我们推荐如下的配置     server {        listen          80;        server_name   ......
  • Nginx review
    Nginx的组成nginx二进制可执行文件:由各模块源码编译出的一个文件nginx,conf配置文件:控制nginx的行为access.log访问日志:记录每一条http请求信息error.log 错误日志:定位问题Nginx版本发布情况选择哪个版本Nginx编译适合自己的Nginx下载nginx nginx......
  • 用他 nginx 访我 nginx 之计(跨 nginx 访问方案)
    需求:生产环境上,我们这边网络权限他们开不了,想从被人系统的ng跳转到我们ng,这个需要怎么做?总之就是人家ng有外网权限,通过人家ng访问我们ng,然后我们用人家域名。答:如果想要通过别人项目的Nginx(简称“外网Nginx”)来访问自己环境的Nginx(简称“内部Nginx”),并且你还希望使用别人的域名,......
  • python requests 报错 Caused by ProxyError ('Unable to connect to proxy', OSError
    背景:访问https接口,使用http代理版本:requests:2.31.0 从报错可以看出,是proxy相关的报错调整代码,设定不使用代理,将http与https对应的proxy值置空即可(尝试过proxies={},但此写法不生效)proxies={'http':'','https':''}response = requests.get('https://xxx......