首页 > 系统相关 >解决Linux中出现Too many open files

解决Linux中出现Too many open files

时间:2024-06-22 10:42:41浏览次数:14  
标签:files 文件 many tcp etc ipv4 open

Too many open files  问题出现有两种情况:
一种是在搜索的时候出现,多半是由于索引创建完毕之后被移动过,如果创建索引的时候不出现该错误,搜索的时候也一般是不会出现的。如果出现了,有两种处理办法,一种是修改合并因子和最小合并因子,并且使用
IndexWriter.Optimize()  优化索引,这样会将索引文件数量减少到文件系统限制之内;另外一种办法是修改操作系统的打开文件数量限制。方法如下:
1.  按照最大打开文件数量的需求设置系统,  并且通过检查 /proc/sys/fs/file-max 文件来确认最大打开文件数已经被正确设置。  
# cat /proc/sys/fs/file-max
如果设置值太小,  修改文件 /etc/sysctl.conf 的变量到合适的值。  这样会在每次重启之后生效。  如果设置值够大,跳过下步。  
# echo 2048 > /proc/sys/fs/file-max
编辑文件 /etc/sysctl.conf ,插入下行。  
fs.file-max = 8192  然后,执行命名: sysctl -p
2.  在 /etc/security/limits.conf 文件中设置最大打开文件数,  下面是一行提示:  

添加如下这行。  
* - nofile 8192
这行设置了每个用户的默认打开文件数为 2048 。  注意 "nofile" 项有两个可能的限制措施。就是项下的 hard 和 soft 。  要使修改过得最大打开文件数生效,必须对这两种限制进行设定。  如果使用 "-" 字符设定 ,  则 hard 和 soft 设定会同时被设定。  
硬限制表明 soft 限制中所能设定的最大值。  soft 限制指的是当前系统生效的设置值。  hard 限制值可以被普通用户降低。但是不能增加。  soft 限制不能设置的比 hard 限制更高。  只有 root 用户才能够增加 hard 限制值。  
当增加文件限制描述,可以简单的把当前值双倍。  例子如下,  如果你要提高默认值 1024 ,  最好提高到 2048 ,  如果还要继续增加,  就需要设置成 4096 。  
另外一种情况是在创建索引的时候,也有两种可能,一种是  合并因子太小,导致创建文件数量超过操作系统限制,这时可以修改合并因子,也可以修改操作系统的打开文件数限制;另外一种是合并因子受虚拟机内存的限制,无法调整到更大,而  需要索引的 doc  数量又非常的大,这个时候就只能通过修改操作系统的打开文件数限制来解决了。  
在此基础上,我还修改了以下一个配置文件
vi /etc/sysctl.conf 
添加:
# Decrease the time default value for tcp_fin_timeout connection
net.ipv4.tcp_fin_timeout = 30
# Decrease the time default value for tcp_keepalive_time connection
net.ipv4.tcp_keepalive_time = 1800
# Turn off tcp_window_scaling
net.ipv4.tcp_window_scaling = 0
# Turn off the tcp_sack
net.ipv4.tcp_sack = 0
#Turn off tcp_timestamps
net.ipv4.tcp_timestamps = 0
然后  service network restart, 这些都和 TCP sockets 有关的优化。
另外需要在  /etc/rc.d/rc.local 里添加已使得重启的时候生效。
echo "30">/proc/sys/net/ipv4/tcp_fin_timeout
echo "1800">/proc/sys/net/ipv4/tcp_keepalive_time
echo "0">/proc/sys/net/ipv4/tcp_window_scaling
echo "0">/proc/sys/net/ipv4/tcp_sack
echo "0">/proc/sys/net/ipv4/tcp_timestamps
因为不是所有的程序都在 root 下跑的,所有 linux 有对 hard  与 soft open files  的区分,普通用户受 hard 的限制,无论 ulimit -n $ 数值调到多高,都跑不到  /etc/security/limits.conf 里 nofile 的值 .
这样的优化后  lsof -p $java_pid|wc -l 可以跑到 4 千以上都不会抛出 too many open files 。
但是我们通过以上的文章详细介绍知道,这样也是治标不治本,找到 java 哪个文件不关闭文件描述符或者被请求过多的原因才是最重要的!

 

 

最近随着网站访问量的提高把web服务器移到linux下了,在移服务器的第二天,tomcat频繁的报

 

java.net.SocketException: Too many open files错误,错误日志达到了100多兆,郁闷了,windows上运行了很长

 

时间都没出现这个错误,后来才知道linux对进程的打开文件数是有限制的。

 

用命令ulimit -a查看

[root@test security]# ulimit -a 
core file size        (blocks, -c) 0 
data seg size         (kbytes, -d) unlimited 
file size             (blocks, -f) unlimited 
max locked memory     (kbytes, -l) unlimited 
max memory size       (kbytes, -m) unlimited 
open files                    (-n) 1024 
pipe size          (512 bytes, -p) 8 
stack size            (kbytes, -s) 8192 
cpu time             (seconds, -t) unlimited 
max user processes            (-u) 7168 
virtual memory        (kbytes, -v) unlimited 
[root@test security]# 
通过以上命令,我们可以看到open files 的最大数为1024

 

对于并发量比较大的网站这个限制是有些捉襟见肘的,所以我通过这个命令

 

ulimit -n 4096 
把打开文件数的上限设为了4096,这下好了,项目又稳定了

 

没想到过两天后又重新出这个错误了,郁闷,两个小时报一次,报之后就挂掉了

 

在重新用ulimit -a查看,发现open files    (-n) 1024 又变回了1024了,

 

报这个错误就在我那次登陆更新之后又报的,原来ulimit -n 4096 命令只能临时的改变open files  的值,当

 

 

重新登陆后又会恢复,所以需要永久设置open files  的值才行啊,

 

 

用ulimit -n 修改open files 总是不能保持。所以用下面一个简单的办法更好些。

修改/etc/security/limits.conf 添加如下一行:

* - nofile 1006154

修改/etc/pam.d/login添加如下一行

session required /lib/security/pam_limits.so

 

这次永久修改后程序就再没那个问题了,一直稳定运行。

 

另外遇到这个问题这后还需要检查我们的程序对于操作io的流是否在操作完之后关闭,这才是从最更本上的解决。

 

另:

Linux通常限制每个用户的打开文件数量(通常为8192)。 当您需要同时处理更多的文件时,您需要调整该数字 在许多Linux发行版上,您可以运行以下命令来调整它:

echo "fs.inotify.max_user_watches=204800" | sudo tee -a /etc/sysctl.conf

在Arch Linux和其它的发行版中,最好将此行写入单独的文件,即您应该运行:

echo "fs.inotify.max_user_watches=204800" | sudo tee -a /etc/sysctl.d/90-override.conf

对于上述的调整需要重新启动后生效,如果不想重新启动,你可以执行

sudo sh -c 'echo 204800 > /proc/sys/fs/inotify/max_user_watches'

标签:files,文件,many,tcp,etc,ipv4,open
From: https://www.cnblogs.com/surplus/p/18261924

相关文章

  • 基于Redis和openresty实现高并发缓存架构
    目录概述缓存架构设计实践代码路由业务封装redis效果概述  本文是对项目中QPS高并发相关问题的一种解决方案,利用Nginx与Redis的高并发、超低延迟响应,结合Canal进行实现。openrestry官网  当程序需要提供较高的并发访问时,往往需要在程序中引入缓存......
  • openh264 宏块级码率控制源码分析
    openh264宏块级码率控制函数关系宏块级核心函数分析WelsRcMbInitGom函数功能:openh264码率控制框架中宏块级码率控制函数,根据是否启用GOMQP来决定如何设置宏块的QP值,以控制编码的质量和比特率。原理过程:函数参数:pEncCtx:指向编码上下文的指针,包含编码过程中所......
  • (26-5-03)基于OpenAI和LangChain的上市公司估值系统:定量分析(Quantitative Analysis)(3)计
    10.5.4 计算估值(1)在本项目中,分别使用了基于股息和自由现金流的方法计算股票的估值。针对不同情景(正常和经济衰退),分别进行了计算。通过这些计算,可以帮助投资者评估股票的合理价格,并制定相应的投资策略。dict_values_for_bi={}stock_value_div_ttm_fixed=divi......
  • opencv入门-小白的学习笔记c++(1)
    注:以下是根据链接https://blog.csdn.net/Cream_Cicilian/article/details/105427752的小白学习过程。1加载、修改、保存图像1.1加载图像1.1.1加载图像cv::imread用于从文件中读取图像数据并将其存储到一个cv::Mat对象中,其中第一个参数表示图像文件名称第二个参数,表......
  • DVWA 靶场 Open HTTP Redirect 通关解析
    前言DVWA代表DamnVulnerableWebApplication,是一个用于学习和练习Web应用程序漏洞的开源漏洞应用程序。它被设计成一个易于安装和配置的漏洞应用程序,旨在帮助安全专业人员和爱好者了解和熟悉不同类型的Web应用程序漏洞。DVWA提供了一系列的漏洞场景和练习环境,用户可以通过......
  • Qt 文件模型(QFileSystemModel)详细介绍
    一.定义Qt提供了QFileSystemModel类,用于在Qt应用程序中展示文件系统的数据。QFileSystemModel类是QAbstractItemModel的子类,可以方便地将文件系统的文件和文件夹结构作为数据模型,供Qt的视图类(比如QTreeView、QListView等)使用。二.功能设置根路径:使用setRootPath()方法设置......
  • golang openai GPT4o 示例代码
    packagemainimport( "context" "errors" "fmt" "io" "log" "os" "github.com/joho/godotenv" openai"github.com/sashabaranov/go-openai")funcmain(){ err:=godoten......
  • 2023年天津大学图像工程课程设计 基于 OpenCV 、 Qt 库的图像处理软件+源代码+文档说
    文章目录源码下载地址项目介绍项目功能界面预览项目备注源码下载地址源码下载地址点击这里下载代码项目介绍图像工程课程设计基于OpenCV、Qt库实现的图像处理软件大学编程作业(TUST天津科技大学2023年)图像工程课程设计基于OpenCV、Qt库实现的图像处......
  • openstack相关疑问和解答
     galanceopenstack运行着的虚拟机在glance中的镜像删除的影响 OpenStack中运行的虚拟机与其在Glance中的镜像之间的关系是紧密的,但虚拟机的运行并不直接依赖于镜像的持久存在。然而,删除Glance中的镜像可能会产生一些影响,这些影响主要取决于删除的方式(如软删除、硬删除)以及虚......
  • Anthropic 的 Claude 3.5 Sonnet 在企业人工智能竞赛中胜过 OpenAI 和谷歌
    全球领先的人工智能研究公司Anthropic宣布推出Claude3.5Sonnet,这是一款集无与伦比的性能和成本效益于一身的开创性人工智能模型。克劳德模型系列的最新迭代产品将彻底改变企业人工智能的格局,以低于竞争对手的成本为企业提供最先进的功能。Anthropic联合创始人Daniel......