http: Accept error: accept unix /var/run/docker.sock: accept4: too many open files； retrying in 1s

排查思路

这个错误信息表明 Docker 守护进程在尝试监听 Unix 套接字 /var/run/docker.sock 时遇到了问题，具体是因为系统打开的文件数量超过了限制。在 Linux 系统中，每个进程都有一个可以打开的文件描述符的限制，这个限制可以通过 /proc/sys/fs/file-max 查看，并且每个用户也有一个可以打开的文件数量的限制，这个限制可以通过 ulimit -n 命令查看。

要解决这个问题，你可以尝试以下几种方法：

1. 临时增加文件描述符的限制：
   你可以通过执行 ulimit -n <新的限制> 来临时增加当前会话的文件描述符限制。例如：

   ulimit -n 2048
   

   这会将当前会话的文件描述符限制设置为 2048。

2. 永久增加文件描述符的限制：
   编辑 /etc/security/limits.conf 文件，添加或修改以下行来永久增加限制：

   * soft nofile 4096
   * hard nofile 8192
   

   这里 * 代表所有用户，soft 是软限制，hard 是硬限制，nofile 是文件描述符的数量。

3. 检查 Docker 服务的状态：
   检查 Docker 服务是否正在运行，或者是否有多个 Docker 服务实例在运行。你可以使用以下命令来检查：

   sudo systemctl status docker
   

   或者如果你使用的是 Docker Compose，确保没有多个实例在运行。

4. 重启 Docker 服务：
   有时候重启 Docker 服务可以解决这个问题：

   sudo systemctl restart docker
   

5. 检查是否有其他进程占用了套接字：
   使用 lsof 或 netstat 命令检查是否有其他进程已经监听在 /var/run/docker.sock：

   sudo lsof /var/run/docker.sock
   

   或者

   sudo netstat -plan | grep /var/run/docker.sock
   

   如果有其他进程占用，你可能需要杀掉这些进程或者找出为什么它们会占用这个套接字。

6. 检查 Docker 的日志：
   查看 Docker 的日志可能会提供更多关于问题的线索：

   sudo journalctl -u docker.service
   

如果上述方法都不能解决问题，可能需要进一步检查系统配置或者咨询系统管理员。

统计进程使用的fd

for pid in /proc/[0-9]*; do     if [ -d "$pid/fd" ]; then         echo "PID: $(basename $pid) - $(find $pid/fd | wc -l) open files";     fi; done | sort -rnk 4 | head

for pid in /proc/[0-9]*; do     if [ -d "$pid/fd" ]; then         echo "PID: $(basename $pid) - $(find $pid/fd | wc -l) open files";     fi; done | sort -rnk 4 > pid.txt 

找到哪个进程，进程的目录

ps aux | grep PID
ls -l /proc//fd | wc -l

使用 readlink 命令来解析这些链接

readlink -f /proc/<PID>/fd/<FD>

ls -l /proc//fd | xargs -I {} readlink -f {}

通过socket找到进程？

在 Linux 系统中，socket:[163074791] 这样的表示通常是指一个 UNIX 套接字文件。这些套接字文件在文件系统中并不以常规文件的形式存在，而是在内存中，它们通常关联到某个特定的进程或者服务。

要找出 socket:[163074791] 对应的是哪个目录或进程，你可以使用以下方法：

1. 查找监听套接字的进程：
   如果你知道这个套接字是一个监听套接字，你可以使用 netstat 或 ss 命令来查找监听该套接字的进程。例如：

   sudo netstat -tulpn | grep 163074791
   

   或者

   sudo ss -tulpn | grep 163074791
   

   这些命令会显示所有监听套接字的进程信息，包括进程 ID（PID）。

2. 查找所有打开文件的进程：
   你可以使用 lsof 命令来查找所有打开特定文件的进程。由于套接字文件在 /proc/[pid]/fd 目录下以符号链接的形式存在，你可以这样做：

   lsof | grep 'socket:[163074791]'
   

   这个命令可能会返回多个结果，因为可能有多个进程打开了同一个套接字。

3. 查看特定进程的文件描述符：
   如果你已经知道某个进程可能使用了这个套接字，你可以查看该进程的文件描述符来确认：

   ls -l /proc/<PID>/fd | grep 'socket:[163074791]'
   

   替换 <PID> 为进程的实际 PID。

4. 使用 readlink 命令：
   对于 /proc/[pid]/fd 目录下的符号链接，你可以使用 readlink 命令来解析它们指向的实际文件或套接字：

   readlink -f /proc/<PID>/fd/<FD>
   

   替换 <PID> 为进程的实际 PID，替换 <FD> 为文件描述符的编号。

请注意，由于套接字文件是内存中的实体，它们不会像磁盘上的文件那样有一个固定的路径。它们通常由系统动态创建，并且只能在创建它们的进程或者通过特定通信机制与之交互的进程中被访问。因此，直接找到一个套接字文件对应的“目录”可能不是一个有效的概念。相反，你需要关注哪个进程或服务使用了这个套接字。