nofile参数的学习与整理

背景

前段时间正好总结了文件描述符泄露的问题. 
最近在客户现场, 也遇到了一个问题. 
其实两个问题都是因为nofile参数限制所引发.

所以总结一下:
nginx 的worker 的连接数是受到到 nofile的限制的. 
虽然那可以通过 修改配置文件和 直接 ulimit -HSn进行修改.
但是真实情况下下 一个进程的限制是很难动态修改的. 
他一般是由启动过程中的环境限制来决定. 
需要说明 -s reload 可能很难进行生效, 必须kill 再restart .  
不然不会生效. 

其实解决方案有多种. 
第一种是启动脚本之前 增加 ulimit -HSn 65536
第二种使用 systemd的服务进行管理 增加 
Restart=always
LimitNOFILE=64000
也可以避免这个问题. 
第三钟就是常用的修改 /etc/security/limits.conf 进行持久化.
但是必须修改完,重新连接linux,再启动,不然可能会无效. 

这里面还一个问题是 ubuntu 不认 * 作为所有用户的设置
这一点在不同操作系统时是不一样的. 

最后还需要说明一定的是
要定期查看 nginx 的errorlog 可以通过errorlog 快速定位问题

参数的理解

unix 的哲学是 anything is file 
每个进程能够打开的file数量就是收到 nofile的限制. 
内核里面其实也有 fs.file-max  来决定整个系统最大的容量.
fs.file-nr  会表示整个系统的 打开文件数. 

linux 延续在 unix对file的描述. 
但是他的作用域是有一定的限制的.

参数作用域

fs.file-max 是整个系统的设置. 
ulimit -a 出来的 nofile 是单个进程的限制. 
/etc/security/limits.conf 里面可以增加用户对单独的用户进行限制. 
简单期间可以使用如下的参数配置.
需要注意 * 代表所有用户. 
注意, 这里面有坑. * 在centos系可以这样设置
但是ubuntu 是不认 * 的话.
soft 会告警.
hard 会直接阻断不让继续创建文件描述符. 

*   soft    memlock         unlimited
*   hard    memlock         unlimited
*   soft    nofile         unlimited
*   hard    nofile         unlimited
*   soft    nproc         unlimited
*   hard    nproc         unlimited

为了环境稳定和安全一般可以进行nginx打开数量的限制
*   soft    memlock         204800
*   hard    memlock         204800
*   soft    nofile         204800
*   hard    nofile         204800
*   soft    nproc         204800
*   hard    nproc         204800

这里面也需要说明. 理论上. java类型的应用. java开启的线程
也会占用文件描述符的资源. 
打开网络连接. 打开前端文件下载等都会占用文件描述符. 

一个出现问题的场景

/etc/security/limits.conf 内的设置会在下一次打开bash 时生效. 
bash 启动服务时 会根据自己的 限制作为母本来进行设置. 
通过nginx 进行验证
第一种启动方式:
ulimit -HSn 1025
./nginx 
然后: 执行命令
for i in `ps -ef |grep nginx |grep -v grep |awk '{print $2}'` ; do cat /proc/${i}/limits |grep files ; done

可以看到结果为:
Max open files            1025                 1025                 files
Max open files            1025                 1025                 files

然后修改一下 配置文件, 但是不重新启动 bash
vim /etc/security/limits.conf 增加配置为 204800 
再起重启服务
Max open files            1025                 1025                 files
Max open files            1025                 1025                 files

通过 su 进行验证
 killall nginx
 ./nginx  -c nginxtest.conf
 for i in `ps -ef |grep nginx |grep -v grep |awk '{print $2}'` ; do cat /proc/${i}/limits |grep files ; done
# 结果为: 
Max open files            1024                 1048576              files
Max open files            1024                 1048576              files
# 切换用户
 su - root
 cd /data/nginx
 killall nginx
./nginx  -c nginxtest.conf
# 结果为:
for i in `ps -ef |grep nginx |grep -v grep |awk '{print $2}'` ; do cat /proc/${i}/limits |grep files ; done
Max open files            204800               204800               files
Max open files            204800               204800               files

新生成的bash 是有效果的. 

查看nginx的文件描述符打开数量

for i in `ps -ef |grep nginx |grep -v grep |awk '{print $2}'` ; do ll /proc/${i}/fd |wc -l ; done
可以通过这个来简单判断 master 和 worker的打开文件数量信息. 
如果超过限制可能会导致nginx出现大量的errorlog.