Linux“No space left on device”系统磁盘空间不足问题排查处理

• Linux“No space left on device”系统磁盘空间不足问题排查处理
  • 1 问题
  • 2 排查和处理
    • 2.1 第一次排查处理
  • 2.2 第二次排查处理

1 问题

今天项目测试环境自动发版失败，确认日志发现提示磁盘空间不足，不能正常生成war包，无法正常启动。

2 排查和处理

2.1 第一次排查处理

首先使用磁盘空间查询命令

df -h

发现磁盘300G全满。。。然后再用磁盘空间查询命令

du -h

查看根目录下所有文件的大小，发现隔壁共用一个测试服务器的项目stdout日志输出由于长期忘记清理，从上线起一直累积，达到了惊人的两百多G的大小。。。赶紧联系了同事处理，他把stdout日志文件直接给删了。我再用du -h命令查看，空间占用直接100G不到了，完事，重启，收工！

2.2 第二次排查处理

结果一点也不顺利，再次打包依然失败，原因还是磁盘空间不足。我用du命令查看，确认有空间；但是用df命令查看，还是300G全满。我查了一些资料，知道了对于一些正被占用的文件，删除操作只是对其进行deleted标记，表面上看起来文件已经删除，实际上只是被隐藏，直到占用结束才会删除。看起来，du命令会略过被隐藏的deleted标记文件，但是df还是会把实际的占用情况展示出来。

接下来使用文件关联查询命令

lsof | grep deleted

查看deleted标记文件相关联的进程，发现同事只是直接删除日志，并没有终止项目，所以项目依然在占用日志文件，导致文件没法真正删除。我又让同事把他们的项目重启了一下，再用两个磁盘空间查询命令确认空间情况，这次两个命令显示空间状态一致都已腾出空间，我的项目也可以正常启动了。