Nginx流量控制

标签：控制 请求 zone nginx req 流量 Nginx limit

目录

1、Nginx如何限流

2、配置基本的限流

3、处理突发

4、无延迟的排队

5、高级配置示例

1、白名单

2、location 包含多limit_req指令

6、配置流量控制相关功能

1、配置日志记录

2、发送到客户端的错误代码

7、nginx 流量控制总结

---

 

流量限制 (rate-limiting)，是Nginx中一个非常实用，却经常被错误理解和错误配置的功能。我们可以用来限制用户在给定时间内HTTP请求的数量。请求，可以是一个简单网站首页的GET请求，也可以是登录表单的 POST 请求。流量限制可以用作安全目的，比如可以减慢暴力密码破解的速率。通过将传入请求的速率限制为真实用户的典型值，并标识目标URL地址(通过日志)，还可以用来抵御 DDOS 攻击。更常见的情况，该功能被用来保护上游应用服务器不被同时太多用户请求所压垮。

以下将会介绍Nginx的 流量限制 的基础知识和高级配置，”流量限制”在Nginx Plus中也适用。

1、Nginx如何限流

Nginx的”流量限制”使用漏桶算法(leaky bucket algorithm)，该算法在通讯和分组交换计算机网络中广泛使用，用以处理带宽有限时的突发情况。就好比，一个桶口在倒水，桶底在漏水的水桶。如果桶口倒水的速率大于桶底的漏水速率，桶里面的水将会溢出；同样，在请求处理方面，水代表来自客户端的请求，水桶代表根据”先进先出调度算法”(FIFO)等待被处理的请求队列，桶底漏出的水代表离开缓冲区被服务器处理的请求，桶口溢出的水代表被丢弃和不被处理的请求。

  

2、配置基本的限流

准备两台机器，关闭防火墙和selinux

localhost	Roucky_linux9.4	192.168.226.20
localhost	Roucky_linux9.4	192.168.226.21

都使用nginx官方源下载nginx并启动

sudo tee /etc/yum.repos.d/nginx.repo << 'EOF'
[nginx-stable]
name=nginx stable repo
baseurl=https://nginx.org/packages/centos/$releasever/$basearch/
gpgcheck=1
enabled=1
gpgkey=https://nginx.org/keys/nginx_signing.key
 
[nginx-mainline]
name=nginx mainline repo
baseurl=https://nginx.org/packages/mainline/centos/$releasever/$basearch/
gpgcheck=1
enabled=0
gpgkey=https://nginx.org/keys/nginx_signing.key
EOF

yum install -y nginx
systemctl enable --now nginx

 这里还准备了访问自动测试的代码，使用go语言编写

package main

import (
	"fmt"
	"io"
	"net/http"
	"time"
)

// ANSI color codes
const (
	RedColor    = "\033[31m"
	GreenColor  = "\033[32m"
	YellowColor = "\033[33m"
	ResetColor  = "\033[0m"
)

// 记录成功、失败、无法响应以及服务暂时不可用（503）的请求数量
var successCount int
var failureCount int
var unresponsiveCount int
var tempUnavailableCount int // 新增变量来跟踪503 Service Unavailable状态的请求数量

// makeRequest 向给定的 URL 发送一个 GET 请求，并根据响应的成功与否以不同颜色打印出响应状态和所花费的时间。
func makeRequest(url string, attempt int) {
	startTime := time.Now()
	resp, err := http.Get(url)
	elapsedTime := time.Since(startTime)

	if err != nil {
		// 如果因为网络问题或服务器问题导致请求失败，我们将其计为“无法响应”
		fmt.Printf("[%d] %sRequest unresponsive: %s %.4f seconds%s\n", attempt, RedColor, err, elapsedTime.Seconds(), ResetColor)
		unresponsiveCount++
		return
	}
	defer func(Body io.ReadCloser) {
		err := Body.Close()
		if err != nil {
			fmt.Printf("Error closing response body: %s\n", err)
		}
	}(resp.Body)

	color := GreenColor
	if resp.StatusCode == 503 {
		color = YellowColor
		tempUnavailableCount++ // 对返回503状态码的请求进行统计
	} else if resp.StatusCode != 200 {
		color = RedColor
		failureCount++
	} else {
		successCount++
	}

	// 根据状态码，以对应的颜色打印响应状态码和耗时
	fmt.Printf("[%d] %s%d %.4f seconds%s\n", attempt, color, resp.StatusCode, elapsedTime.Seconds(), ResetColor)
}

func main() {
	url := "http://192.168.226.21"
	totalAttempts := 1000
	startTime := time.Now()

	for attempt := 1; attempt <= totalAttempts; attempt++ {
		makeRequest(url, attempt)
	}

	totalElapsedTime := time.Since(startTime)
	successRate := (float64(successCount) / float64(totalAttempts)) * 100
	failureRate := (float64(failureCount) / float64(totalAttempts)) * 100
	unresponsiveRate := (float64(unresponsiveCount) / float64(totalAttempts)) * 100
	tempUnavailableRate := (float64(tempUnavailableCount) / float64(totalAttempts)) * 100 // 计算503状态码比率

	fmt.Printf("%sTotal elapsed time: %.4f seconds%s\n", ResetColor, totalElapsedTime.Seconds(), ResetColor)
	fmt.Printf("成功率: %.2f%%, 失败率: %.2f%%, 无法响应的请求比: %.2f%%, 服务暂时不可用请求比率(503): %.2f%%\n", successRate, failureRate, unresponsiveRate, tempUnavailableRate)
}

实验开始前进行访问1000次测试耗时和成功率

 

 在192.168.226.20主机操作

“流量限制”配置两个主要的指令，limit_req_zone和limit_req，如下所示：  

在http模块里配置

    # 定义一个限流区域
    # $binary_remote_addr 使用二进制格式的客户端IP地址作为键
    # zone=mylimit:10m 创建一个名为'mylimit'的共享内存区域，大小为10MB
    # rate=10r/s 每秒最多允许1个请求
    limit_req_zone $binary_remote_addr zone=mylimit:10m rate=10r/s;
    upstream myweb {
        server 192.168.226.21:80 weight=1 max_fails=1 fail_timeout=1;
    }

在server模块里配置

server {
    listen       80;  # 定义服务器监听的端口为 80，这是 HTTP 协议的默认端口。
    server_name  localhost;  # 设置服务器名称为 localhost，这意味着它将响应发送到 localhost 的请求。
    
    location /{  # 定义对根路径("/")的请求的处理规则。
        root   /usr/share/nginx/html;  # 设置文档根目录，这是 Nginx 在响应请求时查找文件的地方。
        index  index.html index.htm;  # 设置当请求是一个目录时，默认会返回的文件。在这里，如果访问根目录("/"),会首先尝试返回 index.html 文件，如果没有找到，再尝试 index.htm。
        limit_req zone=mylimit;  # 为根路径的请求应用请求限制，使用名为 mylimit 的限流规则。
        limit_req_dry_run off;  # 设置为on以在日志中查看限制的影响，而不会实际限制流量
        proxy_pass http://myweb;
        proxy_set_header Host $host:$server_port;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}

#修改默认打开页面，用来区分两个主机
#修改192.168.226.20主机
echo "webserver1" > /usr/share/nginx/html/index.html

#修改192.168.226.21主机
echo "webserver2" > /usr/share/nginx/html/index.html

#两个主机都重启nginx
systemctl restart nginx

 

 浏览器访问192.168.226.20实际上会看到webserver2的字样页面，然后刷新看，有失败和成功页面，就完成了基本的限流设置。跑完go代码看结果如果（比率是有一点波动的是正常的）：

 

limit_req_zone指令定义了流量限制相关的参数，而limit_req指令在出现的上下文中启用流量限制(示例中，对于”/login/”的所有请求)。

limit_req_zone指令通常在HTTP块中定义，使其可在多个上下文中使用，它需要以下三个参数：

• Key - 定义应用限制的请求特性。示例中的 Nginx 变量$binary_remote_addr，保存客户端IP地址的二进制形式。这意味着，我们可以将每个不同的IP地址限制到，通过第三个参数设置的请求速率。(使用该变量是因为比字符串形式的客户端IP地址$remote_addr，占用更少的空间)

• Zone - 定义用于存储每个IP地址状态以及被限制请求URL访问频率的共享内存区域。保存在内存共享区域的信息，意味着可以在Nginx的worker进程之间共享。定义分为两个部分：通过zone=keyword标识区域的名字，以及冒号后面跟区域大小。16000个IP地址的状态信息，大约需要1MB，所以示例中区域可以存储160000个IP地址。

• Rate - 定义最大请求速率。在示例中，速率不能超过每秒10个请求。Nginx实际上以毫秒的粒度来跟踪请求，所以速率限制相当于每100毫秒1个请求。因为不允许”突发情况”(见下一章节)，这意味着在前一个请求100毫秒内到达的请求将被拒绝。

当Nginx需要添加新条目时存储空间不足，将会删除旧条目。如果释放的空间仍不够容纳新记录，Nginx将会返回 503状态码(Service Temporarily Unavailable)。另外，为了防止内存被耗尽，Nginx每次创建新条目时，最多删除两条60秒内未使用的条目。

limit_req_zone指令设置流量限制和共享内存区域的参数，但实际上并不限制请求速率。所以需要通过添加

limit_req指令，将流量限制应用在特定的location或者server块。在上面示例中，我们对/login/请求进行流量限制。

现在每个IP地址被限制为每秒只能请求10次/login/，更准确地说，在前一个请求的100毫秒内不能请求该URL。

3、处理突发

如果我们在100毫秒内接收到2个请求，怎么办？对于第二个请求，Nginx将给客户端返回状态码503。这可能并不是我们想要的结果，因为应用本质上趋向于突发性。相反地，我们希望缓冲任何超额的请求，然后及时地处理它们。我们更新下配置，在limit_req中使用burst参数：

重启nginx然后运行go代码请求测试

 

burst参数定义了当请求速率超过rate参数所设定的限制时，允许额外处理的请求数量。这些额外的请求将被暂时放入一个队列中等待处理，而不是立即返回错误。但是访问量大的话后面的排队时间就会太慢，并不是最优的选择。 

burst参数定义了超出zone指定速率的情况下(示例中的mylimit区域，速率限制在每秒10个请求，或每100毫秒一个请求)，客户端还能发起多少请求。上一个请求100毫秒内到达的请求将会被放入队列，我们将队列大小设置为20。

这意味着，如果从一个给定IP地址发送21个请求，Nginx会立即将第一个请求发送到上游服务器群，然后将余下20个请求放在队列中。然后每100毫秒转发一个排队的请求，只有当传入请求使队列中排队的请求数超过20时，Nginx才会向客户端返回503。

 

4、无延迟的排队

配置burst参数将会使通讯更流畅，但是可能会不太实用，因为该配置会使站点看起来很慢。在上面的示例中，队列中的第20个包需要等待2秒才能被转发，此时返回给客户端的响应可能不再有用。要解决这个情况，可以在burst参数后添加nodelay参数：

重启nginx运行go测试代码 

 

使用nodelay参数，Nginx仍将根据burst参数分配队列中的位置，并应用已配置的速率限制，而不是清理队列中等待转发的请求。相反地，当一个请求到达“太早”时，只要在队列中能分配位置，Nginx将立即转发这个请求。将队列中的该位置标记为”taken”(占据)，并且不会被释放以供另一个请求使用，直到一段时间后才会被释放(在这个示例中是，100毫秒后)。

假设如前所述，队列中有20个空位，从给定的IP地址发出的21个请求同时到达。Nginx会立即转发这个21个请求，并且标记队列中占据的20个位置，然后每100毫秒释放一个位置。如果是25个请求同时到达，Nginx将会立即转发其中的21个请求，标记队列中占据的20个位置，并且返回503状态码来拒绝剩下的4个请求。

现在假设，第一组请求被转发后101毫秒，另20个请求同时到达。队列中只会有一个位置被释放，所以Nginx转发一个请求并返回503状态码来拒绝其他19个请求。如果在20个新请求到达之前已经过去了501毫秒，5个位置被释放，所以Nginx立即转发5个请求并拒绝另外15个。

效果相当于每秒10个请求的“流量限制”。如果希望不限制两个请求间允许间隔的情况下实施“流量限制”，nodelay参数是很实用的。

注意： 对于大部分部署，我们建议使用burst和nodelay参数来配置limit_req指令。

5、高级配置示例

通过将基本的“流量限制”与其他Nginx功能配合使用，我们可以实现更细粒度的流量限制。

1、白名单

下面这个例子需要将上面做过的删除，然后重新配置

#排除上面实验的干扰，重新安装配置nginx
yum remove -y nginx
yum install -y nginx
systemctl enable --now nginx

下面这个例子将展示，如何对任何不在白名单内的请求强制执行“流量限制”： 

vim /etc/nginx/nginx.conf

将下面的http块替换nginx配置文件的里的http块代码，其他不用动

#将下面的http块替换nginx配置文件的里的http块代码，其他不用动
http {
    include       /etc/nginx/mime.types;  # 包括MIME类型定义，让Nginx能根据文件扩展名设置正确的Content-Type头。
    default_type  application/octet-stream;  # 设置默认的MIME类型，当文件类型未定义时使用。

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';  # 自定义日志格式。
    access_log  /var/log/nginx/access.log  main;  # 定义access日志的存储位置和使用的格式。

    # 以下部分定义了基于IP地址的访问限制。
    geo $limit {
        default 		1;  # 默认情况下，所有IP地址的$limit值设为1。
        10.0.0.0/24 	0;  # 对于这两个子网中的IP地址，将$limit设为0。
        192.168.0.0/24 	0;
    }
    
    # 根据$limit的值，动态地设置$limit_key变量。
    map $limit $limit_key {
        0 "";  # 如果$limit为0，$limit_key为空。
        1 $binary_remote_addr;  # 如果$limit为1，$limit_key使用二进制格式的客户端IP地址。
    }
    
    # 定义请求限制区域req_zone，按$limit_key对请求进行分组，每个组最多每秒处理5个请求。
    limit_req_zone $limit_key zone=req_zone:10m rate=5r/s;

    server {  # 定义一个服务器监听在80端口。
        listen 80;  # 监听80端口。
        server_name localhost;  # 服务器名称设置为localhost。
        
        location / {  # 对于根路径的请求。
            limit_req zone=req_zone burst=10 nodelay;  # 应用请求限制，允许突发请求高达10个。
            root /usr/share/nginx/html;  # 网站根目录。
            index index.html index.hml;  # 定义默认首页。
        }
    }
    
    include /etc/nginx/conf.d/*.conf;  # 导入/etc/nginx/conf.d/目录下的所有.conf配置文件。
}

这个例子同时使用了geo和map指令。geo块将给在白名单中的IP地址对应的$limit变量分配一个值0，给其它不在白名单中的分配一个值1。然后我们使用一个映射将这些值转为key，如下：

• 如果$limit变量的值是0，$limit_key变量将被赋值为空字符串

• 如果$limit变量的值是1，$limit_key变量将被赋值为客户端二进制形式的IP地址

两个指令配合使用，白名单内IP地址的$limit_key变量被赋值为空字符串，不在白名单内的被赋值为客户端的IP地址。当limit_req_zone后的第一个参数是空字符串时，不会应用“流量限制”，所以白名单内的IP地址(10.0.0.0/24和192.168.0.0/24 网段内)不会被限制。其它所有IP地址都会被限制到每秒5个请求。

limit_req指令将限制应用到/的location块，允许在配置的限制上最多超过10个数据包的突发，并且不会延迟转发。

2、location 包含多limit_req指令

 

我们可以在一个location块中配置多个limit_req指令。符合给定请求的所有限制都被应用时，意味着将采用最严格的那个限制。例如，多个指令都制定了延迟，将采用最长的那个延迟。同样，请求受部分指令影响被拒绝，即使其他指令允许通过也无济于事。

扩展前面将“流量限制”应用到白名单内IP地址的例子：

http {
	# ...

	limit_req_zone $limit_key zone=req_zone:10m rate=5r/s;
	limit_req_zone $binary_remote_addr zone=req_zone_wl:10m rate=15r/s;

	server {
		# ...
		location / {
			limit_req zone=req_zone burst=10 nodelay;
			limit_req zone=req_zone_wl burst=20 nodelay;
			# ...
		}
	}
}

白名单内的IP地址不会匹配到第一个“流量限制”，而是会匹配到第二个`req_zone_wl`，并且被限制到每秒15个请求。
不在白名单内的IP地址两个限制能匹配到，所以应用限制更强的那个：每秒5个请求。

因此理解了原理，修改上面的http块里的代码进行测试：

#将下面的http块替换nginx配置文件的里的http块代码，其他不用动
http {
    include       /etc/nginx/mime.types;  # 包括MIME类型定义，让Nginx能根据文件扩展名设置正确的Content-Type头。
    default_type  application/octet-stream;  # 设置默认的MIME类型，当文件类型未定义时使用。

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';  # 自定义日志格式。
    access_log  /var/log/nginx/access.log  main;  # 定义access日志的存储位置和使用的格式。

    # 以下部分定义了基于IP地址的访问限制。
    geo $limit {
        default 		1;
        10.0.0.0/24 	0;
        192.168.0.0/24 	0;
    }
    
    # 根据$limit的值，动态地设置$limit_key变量。
    map $limit $limit_key {
        0 "";  # 如果$limit为0，$limit_key为空。
        1 $binary_remote_addr;  # 如果$limit为1，$limit_key使用二进制格式的客户端IP地址。
    }
    
    # 定义请求限制区域req_zone，按$limit_key对请求进行分组，每个组最多每秒处理5个请求。
    limit_req_zone $limit_key zone=req_zone:10m rate=5r/s;
	limit_req_zone $binary_remote_addr zone=req_zone_wl:10m rate=15r/s;
    server {  # 定义一个服务器监听在80端口。
        listen 80;  # 监听80端口。
        server_name localhost;  # 服务器名称设置为localhost。
        
        location / {  # 对于根路径的请求。
            limit_req zone=req_zone burst=10 nodelay;
			limit_req zone=req_zone_wl burst=20 nodelay;
            root /usr/share/nginx/html;  # 网站根目录。
            index index.html index.hml;  # 定义默认首页。
        }
    }
    
    include /etc/nginx/conf.d/*.conf;  # 导入/etc/nginx/conf.d/目录下的所有.conf配置文件。
}

重启nginx测试：

接下来将白名单和黑名单调换

 

重启nginx并测试

 

因此：白名单内的IP地址不会匹配到第一个“流量限制”，而是会匹配到第二个req_zone_wl，并且被限制到每秒15个请求。不在白名单内的IP地址两个限制能匹配到，所以应用限制更强的那个：每秒5个请求是正确的。

6、配置流量控制相关功能

1、配置日志记录

默认情况下，Nginx会在日志中记录由于流量限制而延迟或丢弃的请求，如下所示：

2024/06/20 20:20:00 [error] 120315#0: *32086 limiting requests, excess: 1.000 by zone "mylimit", client: 192.168.226.20, server: nginx.com, request: "GET / HTTP/1.0", host: "nginx.com"

日志条目中包含的字段：

• limiting requests - 表明日志条目记录的是被“流量限制”请求

• excess - 每毫秒超过对应“流量限制”配置的请求数量

• zone - 定义实施“流量限制”的区域

• client - 发起请求的客户端IP地址

• server - 服务器IP地址或主机名

• request - 客户端发起的实际HTTP请求

• host - HTTP报头中host的值

 

Nginx 的 limit_req_log_level 指令用于定义当请求速率超出 limit_req 指定的速率限制时，日志记录的级别。这允许你对因超出请求速率限制而被延迟或拒绝的请求进行特定级别的日志记录，从而能够更灵活地处理这些日志信息，而不必改变全局的错误日志级别。

limit_req_log_level 指令支持的日志级别包括：

• info: 记录基础信息，这是默认设置。
• notice: 记录正常但重要的情况。
• warn: 记录更严重的警告信息。
• error: 记录错误信息，这个设置通常用于希望对超限请求进行更加突出显示的场景。

 

默认情况下，Nginx以error级别来记录被拒绝的请求，如上面示例中的[error]所示(Ngin以较低级别记录延时请求，一般是info级别)。如要更改Nginx的日志记录级别，需要使用limit_req_log_level指令。这里，我将被拒绝请求的日志记录级别设置为warn：

limit_req_zone $binary_remote_addr zone=myzone:10m rate=1r/s;

server {
    location / {
        limit_req zone=myzone burst=5 nodelay;
        limit_req_log_level warn;
        ...
    }
}

在上面的例子中，limit_req_zone 指令定义了一个名为 myzone 的速率限制区域，限制速率为每秒1个请求。在 server 块的 location 部分，通过 limit_req 应用了这个速率限制，并且设置了 burst 参数为5，表示允许短时间内超出速率限制的请求在不被立即拒绝的情况下排队等待处理。更重要的是，通过 limit_req_log_level warn 指令，指定了当请求被延迟或拒绝时，这些事件将以 warn 级别记录在日志中。这意味着只有当请求因为超出速率限制而被延迟或拒绝时，才会在日志中以警告级别记录，从而使这类事件在日志文件中更加突出，便于管理员进行分析和监控。

 

扩展日志记录级别：

注意区别这两个日志对应的层级关系和定义

Nginx 的日志记录级别用于控制日志中记录信息的详细程度。在 Nginx 中，你可以为错误日志（error_log 指令）设置不同的日志级别，这些级别从最低到最高包括：

1. debug: 提供最详尽的日志信息，包括调试信息。这个级别记录所有的详细操作，对于开发或调试非常有用，但在生产环境中会生成大量日志信息。

2. info: 记录基础的信息性消息，除了 debug 级别的信息。

3. notice: 记录正常但重要的条件。默认级别，标准的错误和重要信息都会被记录。

4. warn: 记录警告信息，例如使用了非标准的配置指令或者有潜在的错误。

5. error: 记录处理请求时发生的错误，但不会阻止服务运行的错误信息。

6. crit: 记录临界条件错误，比如严重的硬件或软件错误。

7. alert: 要求立即采取行动的情况，如系统运行环境出现了非常严重的问题。

8. emerg: 记录紧急情况，如系统不可用的情况。

配置错误日志级别的语法如下：

error_log  /path/to/your/error.log  level;

这里，/path/to/your/error.log 是想要保存错误日志的文件路径，level 是上面提到的日志级别之一。如果不指定级别，error 级别会被使用。

在配置日志时，选择适当的日志级别对于优化性能和管理日志文件大小很重要。例如，在开发环境中，可能会使用 debug 级别以便获取尽可能多的信息来调试应用。然而，在生产环境中，可能会选择 notice 或 warn 级别，来减少日志文件的大小并关注更重要的系统消息。

 

2、发送到客户端的错误代码

一般情况下，客户端超过配置的流量限制时，Nginx响应状态码为503(Service Temporarily Unavailable)。可以使用limit_req_status指令来设置为其它状态码(例如下面的412状态码):

续接上面的配置，只需要在server模块中的location模块中加入一个参数为

        limit_req_status 412;

添加的位置如图说式：

 重启nginx

systemctl restart nginx

测试查看：

这里是因为我的go代码的bug显示黄色，因为换了装填吗显示成失败对应的红色，但其实已经从默认的503状态码切换到指定的412状态码了。

7、nginx 流量控制总结

以上已经涵盖了Nginx和Nginx Plus提供的“流量限制”的很多功能，包括为HTTP请求的不同loation设置请求速率，给“流量限制”配置burst和nodelay参数。还涵盖了针对客户端IP地址的白名单和黑名单应用不同“流量限制”的高级配置，阐述了如何去日志记录被拒绝和延时的请求。

标签：控制,请求,zone,nginx,req,流量,Nginx,limit
From： https://blog.csdn.net/Lzcsfg/article/details/139832791