首页 > 系统相关 >nginx中一个请求匹配到多个location时的优先级问题,马失前蹄了

nginx中一个请求匹配到多个location时的优先级问题,马失前蹄了

时间:2023-10-14 17:57:07浏览次数:37  
标签:匹配 nginx json proxy 马失前蹄 http servlet location

背景

为什么讲这么小的一个问题呢?因为今天在进行系统上线的时候遇到了这个问题。

这次的上线动作还是比较大的,由于组织架构拆分,某个接入层服务需要在两个部门各自独立部署,以避免频繁的跨部门沟通,提升该接入层服务的变更效率。

该接入层服务之前是使用cookie + 内存session机制的,这次要独立部署,首先是将这种内存session机制改成分布式会话(使用redis),总之,就是做成无状态的。

再其次,就是将原来的流量网关nginx,升级成为openresty。openresty使用lua代码,判断请求应该分发到我们部门的接入层服务,还是另一个部门的接入层服务。

升级成openresty,这块涉及到两件事情,一个是openresty的安装,再一个是修改了原来的nginx.conf。今天升级后,大部分业务验证ok,唯独两三个业务报错,由于是app报错,所以是要了对方的用户名密码在我手机上登录,在电脑上charles抓包,发现报错的原因,竟然是个这。

处理过程

先给大家看下,nginx中原始的配置:

location ~ (^/(cgi-bin|servlet|chart)/|\.jsp$)
{
    proxy_pass http://backendServer;
    include proxy.conf;
}

这个location会匹配/servlet/json这样的请求,我们这次就是对这个请求做了改造,用lua判断应该反向代理到什么地方,如下:

image-20231014164016112

我们最终的openresty(就是增强版本的ng,配置文件都是基本兼容的)配置大概如下:

location ~ /servlet/json {
    set $target_url '';

    rewrite_by_lua_block {
    	...
    	proxy_pass http://$target_url;
    }
}

location /Api/   这个是之前就有的,本次没动
{
    proxy_pass http://ApiGatewayServer/;
    include proxy.conf;
}
location ~ (^/(cgi-bin|chart)/|\.jsp$)
{
    proxy_pass http://info-tech-department-upstream;
    include proxy.conf;
}

在我们上述这个配置里,http://www.test.com/servlet/json 这样的请求,就会匹配上location /servlet/jsonhttp://www.test.com/Api 这样的请求,就会匹配上location /Api,但是,我抓包后,发现竟然报错的请求长这样:

http://www.test.com/Api/servlet/json

而查看openresty日志,发现其匹配上了location /servlet/json,而不是预期的location /Api/,这自然就是问题所在了。

http://www.test.com/Api/servlet/json 这样一个请求,能匹配上下面这个location,我觉得正常:

location /Api/   这个是之前就有的,本次没动
{
    proxy_pass http://ApiGatewayServer/;
    include proxy.conf;
}

但是,竟然也匹配上了下面这个location:

location ~ /servlet/json {
    set $target_url '';

    rewrite_by_lua_block {
    	...
    	proxy_pass http://$target_url;
    }
}

此时,我才开始搜索,这个 location 后面的 ~ 符号的确切意思,我知道这个表示正则,但是没想到,这种请求路径/Api/servlet/json包含了/servlet/json也能匹配上。

我刚开始以为是这种匹配上了多个,那我是不是换下顺序就好了,把/Api那个location放到了文件最前面:

location /Api/   这个是之前就有的,本次没动
{
    proxy_pass http://ApiGatewayServer/;
    include proxy.conf;
}

location ~ /servlet/json {
    set $target_url '';

    rewrite_by_lua_block {
    	...
    	proxy_pass http://$target_url;
    }
}

结果还是没效果。

没效果的话,我最终解决的办法就是,修改location ~ /servlet/json为只匹配/servlet/json开头的那些请求。

最终的改动如下:

// ^在正则中,一般表示匹配一行的开头,所以,我这里加了^
location ~ ^/servlet/json {

}

终于ok了。

说起来,确实是对原nginx的配置文件迁移出的这个问题,人家以前是:

location ~ (^/(cgi-bin|servlet|chart)/|\.jsp$)
{
    proxy_pass http://backendServer;
    include proxy.conf;
}

这个是匹配/cgi-bin、/servlet、/chart开头的请求,或者是jsp结尾的请求,我一迁移,就把意思整错了。

那这块的匹配机制到底是怎样的呢?

location匹配机制

官网:

https://nginx.org/en/docs/http/ngx_http_core_module.html#location

语法如下:

Syntax:	location [ = | ~ | ~* | ^~ ] uri { ... }
location @name { ... }
Default:	—
Context:	server, location

按文档的说法,location 和 uri之间,可以什么都没有,如我们上面的:

location /Api/   

这种呢,就算是前缀匹配。

比如,

location / {
    [ configuration B ]
}

/index.html 这种url就可以匹配。

当然,也可以在location和uri中间加如下几种符号:

  • =

    完全匹配,比如,

    location = / {
        [ configuration A ]
    }
    

​ 只能匹配“/” 这个请求,其他请求都不能匹配,这个优先级最高

  • ~ (uri部分为:大小写敏感的正则)或者 ~* (uri部分:大小写不敏感的正则)

    这种就是正则匹配,也就是我们前面的

    location ~ /servlet/json {
    

    这种,居然就匹配上了/Api/servlet/json,我不是很理解,但大家要谨慎。好好学习下这块的正则表达式怎么写。

  • ^~

    这种,一会再讲。

匹配逻辑:

首先,对uri进行normalize,也就是,比如url有特殊字符的话,一般浏览器会自动编码成%XX这种,另外,可能url中也有相对路径,或者有重复的斜杠,都要处理。

The matching is performed against a normalized URI, after decoding the text encoded in the “%XX” form, resolving references to relative path components “.” and “..”, and possible compression of two or more adjacent slashes into a single slash.

接下来,nginx首先会找出整个server块中,前缀匹配的所有location(就是location和uri中间啥都不加的那种),然后挨个匹配,找出最长前缀匹配的那个location,在我们前面的例子中,就会找到:

location /Api/  

但是,找到了之后,不会结束;还要继续找正则类型的location,这次就是按照文件的顺序,从上到下找,

如果找到了,直接使用;如果没找到,则使用最长前缀的那个。

这次,在我们的例子中,就会找到如下部分,且直接使用这个location,不再继续找。

location ~ /servlet/json {
    set $target_url '';

    rewrite_by_lua_block {
    	...
    	proxy_pass http://$target_url;
    }
}

所以,这里的逻辑就是:

1、先找 = 这种完全匹配的,找到就结束;
2、开始找前缀匹配这种的,没找到就算了,找到了也只是做个标记,把最长前缀那个location记录下来,假设为location A;
3、开始找正则这种类型的location,从上到下找,找到就直接停止,就用这个;没找到就继续找下一个正则类型;如果最终,完全没找到正则类型的,就用第二步里找到的location A

当然了,对于这个机制,有个小例外,就是有一种符号,可以打破这种机制:

^~

这个符号加在前缀类型的location上,如果最长前缀的那个location,加了这个符号,直接结束,不找正则类型的了。原文:

If the longest matching prefix location has the “^~” modifier then regular expressions are not checked.

这个符号,感觉很容易误用,一开始没研究之前,我以为^是一行的开头的意思,危险。

我以前,以为前缀这种优先级很高,没想到,比正则要低,被正则压着打啊。

推荐工具

https://nginx.viraptor.info/

location ~ /servlet/json {
	proxy_pass http://localhost:8082;
}
location /Api/
{
	proxy_pass http://localhost:8083;
}

这边有个网站,可以贴配置进去,检测到底匹配上哪个:

image-20231014173853294

参考资料

大家也可以看下参考文档:

https://stackoverflow.com/questions/5238377/nginx-location-priority

image-20231014173452342

image-20231014173721448

标签:匹配,nginx,json,proxy,马失前蹄,http,servlet,location
From: https://www.cnblogs.com/grey-wolf/p/17764465.html

相关文章

  • 部署Nginx1.23脚本
    #!/bin/bashck_ok(){    if[$?-ne0]    then        echo"$1error."        exit1    fi}download_ng(){  cd /usr/local/src  if[-fnginx-1.23.0.tar.gz]  then    echo"当前目录已......
  • 配置nginx开机启动
    切换到/lib/systemd/system/目录,创建nginx.service文件vimnginx.service[unit]description=nginxafter=network.target[service]type=forkingexecstart=/usr/local/nginx/sbin/nginxexecreload=/usr/local/nginx/sbin/nginxreloadexecstop=/usr/local/nginx/sbin/......
  • 编译安装CENTOS7.6+NGINX1.8+MYSQL5.7+PHP7.9+ZABBIX5.0
    LNMP系统安装环境准备:系统版本:CentOSLinuxrelease7.6.1810(Core)PHP版本:php-7.4.9NGINX版本:nginx-1.19.2MYSQL版本:MySQL5.7.43zabbix版本:zabbix-5.0.3以下为下载地址PHPNginxMYSQLzabbixPHP依赖包 把下载的源码包都上传到服务器上,并解压[root@zabbixserver......
  • Linux系统下配置Nginx使部分URL使用多套自定义的PHP-FPM配置
    Nginx修改演示:vim/usr/local/nginx/conf/vhost/example.comserver{ listen80; server_name192.168.1.180; location/{ root/Code/project/public; indexindex.phpindex.html; include/usr/local/nginx/conf/rewrite/laravel.conf;location~\.......
  • nginx 关闭TLS 1.0 TLS 1.1
    server{listen443ssl;server_namewww.XXX.com;proxy_read_timeout3600s; #设置读取超时时间ssl_certificateC:/xxxx.pem;ssl_certificate_keyC:/xxxx.key;ssl_session_cachesha......
  • FastDFS+Nginx - 本地搭建文件服务器同时实现在外远程访问「端口映射」 转载
    前言FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡......
  • 简单易学的机器学习算法——Latent Dirichlet Allocation(理论篇)
    引言LDA(LatentDirichletAllocation)称为潜在狄利克雷分布,是文本语义分析中比较重要的一个模型,同时,LDA模型中使用到了贝叶斯思维的一些知识,这些知识是统计机器学习的基础。为了能够对LDA原理有清晰的认识,也为了能够对贝叶斯思维有全面的了解,在这里对基本知识以及LDA的相关知识进......
  • Nginx 做前端代理,上传文件速度慢
    同一台服务器,前端部署在nginx,在上传33M的文件时,耗时36s,但是通过IIS或者swagger上传文件,只需要8s解决方案:将Nginx配置文件中 proxy_passhttp://139.196.154.85:54730/;改为localhost: proxy_passhttp://localhost:54730/; 此方案只适用于前后端部署在同一台服务器的情况......
  • Nginx配置文件中,如何配置启用SignalR
    以下内容包含为SignalR启用WebSocket、ServerSentEvents和LongPolling所需的最低设置:http{map$http_connection$connection_upgrade{"~*Upgrade"$http_connection;defaultkeep-alive;}server{listen80;server_nameexample.com*.......
  • window.location.href中文参数
    1.window.location.href=url+"&name="+encodeURI(encodeURI(name));name是中文,客户端编码两次,服务器端只需要解码一次name=java.net.URLDecoder.decode(name,"UTF-8");2.window.location.href=url+"&name="+encod......