服务器CPU过高问题排查-

标签：top 程序 排查 so 服务器 异常 CPU

1. 情况描述

实验部门反馈，190上数据本地盘拷贝数据，和数据拆分速度比之前慢了一倍。   数据拷贝用时情况： 登入190服务器输入top命令，发现 load值非常高，Cpu 的use space 达到100， 说明后台有很多用户程序在跑。但是用top在后台没有看到特别高的进程。

$top load average: 245,256,268 Tasks: 1831 total, 1 running, 1831 sleeping, 0 stopped, 0 zombie %Cpu(s): 100 us, 0.0 sy, 0.0 ni

2. 解决过程

1. 问题分析

首先查看服务器的使用人数，输入who可以看到，登入用户只有root，d01，top后台也看到没有特别占资源的程序，不可能有这么高的负载，而且如果是应用程序问题，肯定会显示出CPU高使用的应用进程。但是我们并没有看到特别高进程的程序。 再者我们对硬件进行排查，俊伦去机房查看服务器面板相关信号灯发现没有异常，同时服务器层面也没有无法读写的报错提示，因此可以判断不是硬件层面的问题。 接下来我们需要看系统层面的问题，由于历史都能正常运行，系统自身程序异常的话。top中 sy指标应该异常。但是sy很低。因此初步排除系统程序问题。 综合上述情况，初步断定可能有比较隐秘的病毒程序，接下来进行具体排查。 遇到问题时候，我一直坚信，我们绝不是第一个遇到这个问题的人，肯定有相关参考。于是我网上搜索了下相关文章，发现下面这篇和我们的情况非常相似，因此参考下面的文章进行逐步排查。 https://blog.csdn.net/w50feng/article/details/107034335

2. 病毒进程查询

   1. 查询异常网络链接

因为病毒是个隐藏的病毒，top没办法找到进程。首先用命令 netstat -anp 查看是否有异常的链接。 发现下图红框所示的异常链接IP，百度一查显示是国外的IP， 且进程名称显示为"-"。果断判定这是个病毒程序。

1. 查询异常程序

既然是病毒，肯定有对应的脚本程序。输入下面命令 cat /etc/ld.so.preload，发现存在异常文件：/usr/local/lib/dbus-collector/libdbus_x86_64.so。libdbus_x86_64.so , ld.so.preload 文件显示都是4月4号 凌晨01:48分生成的。

$cat /etc/ld.so.preload

为了确认这个异常时间创建的程序是否是病毒程序，接下来我们看看其它服务器是否有这两个文件。我看了上海总部的192，193，南京的HPC，以及245，146，看了5台不同时间配置的新老服务器，发现都不存上面两个问题文件。因此可以判断这两个文件肯定不是系统本身自带的程序。接下来可以放心的处理了。 注意： 删除系统相关程序一定要再三确认，千万不能错删系统文件。一定要多方比对确认没有问题再操作！！！

2. 删除异常程序

进入对应的程序目录，删除libdbus_x86_64.so , ld.so.preload 这两个文件。

# 删除异常的程序 cd /etc/ rm -f ld.so.preload cd /usr/local/lib/dbus-collector/ rm -f libdbus_x86_64.so

于是杀掉了上面的程序，top发现没过两分钟CPU又飙升。于是猜测是否有定时任务。接下来看看定时任务文件是否有异常。

3. 查看定时任务和自启动程序

运行下面命令，发现定时文件都没有更改过。因此初步排除有设置定时任务的可能性。然后进一步查看是否存在异常的自启动程序，和异常的系统文件，发现也都正常。

# 查看是否有定时任务 ll /etc/cron.d/ ll /etc/cron.hourly/ ll /etc/crontab less /etc/crontab # 查看是否有异常自启动程序 ll /etc/rc.d/init.d/ # 查看是否有异常系统程序 ll /lib/systemd/system --sort=time -r

  最后确认没有定时任务，系统自启动文件，系统文件都无异常，此时我再进行top查看，发现有个程序一直在占用高CPU在跑 ，这个程序显示是： /usr/bin/dbus-collector没错，这个就是挖矿程序无疑。先把这个程序杀掉，然后进入目录，删除这个程序。删除后发现，CPU立马降下来了。

cd /usr/bin/ ll dbus-collector rm -f dbus-collector

 

3. 经验总结

经过上述步骤，我们终于解决了CPU超高的问题。但是我们并没有正真解决。我们还需要进一步搞清楚以下几个问题：

这个病毒程序是如何进来的？是通过什么途径？ 这个病毒既然可以进来，这次我们杀掉了，会不会再次入侵？ 是服务器本身组件的漏洞还是部署安装的相关程序中携带的病毒？ 我们的防火墙设备是否有相关报警，异常访问信息捕获？ 如果网络设备有报警提示，我们为什么没有发现及时处理？

  经验总结 （1）加强防火墙巡检：每天早上上班，下午下班前，关注防火墙相关访问告警信息，要清楚哪些正常告警，哪些是异常告警。如有异常，及时跟进处理； （2）加强服务器巡检：目前我们服务器巡检，只停留在机房硬件面板灯的检查，对系统异常网络链接、异常资源(CPU, 内存，存储)使用关注较少，后续需要成为每天例行巡检动作。 后续加入每天服务器例行动作：① top 查看资源情况；② df -h 查看磁盘使用情况；③ netstat -anp | grep "ESTAB" 查看异常网络链接； 随着服务器的增多，一台一台看可能比较费时间，我们可以尝试写一个自动化的脚本，批量统计相关信息，这个留给大家去思考。 （3）服务器杀毒软件安装：LINUX服务如何安装对应的杀毒软件？这个大家可以查看下相关资料。

标签：top,程序,排查,so,服务器,异常,CPU
From： https://www.cnblogs.com/xxllx/p/17340855.html