Nginx 代理websocket连接上限

一. 结论

  1. nginx最多只能维持(65535*后端服务器IP个数)条websocket的长连接，如果后端websocket服务器IP只有一个，那么就只能最多支持65535条连接。瓶颈就产生在了nginx上。

  2. 建议采用LVS的DR模式来做负载均衡，这样最大长连接数目就只和websocket服务器资源（主要是内存）有关了，单台websocket服务器很轻松可以支撑百万级连接

二. 原理

用nginx做websocket的反向代理其中涉及到的资源有：

1. 内存（相关数据结构的存储）、cpu、网络

   内存的占用分两部分，一部分是内核中tcp协议栈结构占用的内存，一部分是nginx中维持双向连接数据结构占用的内存

   按照理想状况，一条tcp连接的数据结构在内存中占用大约4KB左右，nginx的内存占用，没有统计相关的结构体，这里就等于2KB（nginx的内存利用非常高效，有内存池）

   对于现在的服务器来说内存、cpu、网络都不会是瓶颈，因此这里不做讨论。

2. 文件描述符数量

   可能需要调整内核参数，文件描述符的数量其实也是和内存相关的，因为每打开一个tcp连接，就得占用一个文件描述符。

   内核参数：fs.file-max

   这是和系统资源相关的，也不会是瓶颈

3. 端口号数量

   内核参数为：net.ipv4.ip_local_port_range，且最大值为65535

   linux内核是通过{local_ip, local_port, remote_ip, remote_port}这个四元组来标识一条唯一的tcp连接的。

   1）对于websocket服务器自身而言，local_ip, local_port是确定的，在内存、cpu足够的情况下，其可以支撑 （client_ip数量*2^16)条连接。也就是说只要服务器资源足够，一定不会是瓶颈。

   2）对于nginx服务器来说，local_ip, local_port也是确定的，不同的是，它还要作为client去连接websocket服务器，这是要占用一个端口的。

      因此，nginx能支撑的websocket连接数最大为：（代理的websocket服务器IP数量*2^16），如果只有一个websocket服务器IP，那么就只有65536，去掉0端口，就只有65535.