首页 > 其他分享 >记录一次线上服务CPU飙高问题

记录一次线上服务CPU飙高问题

时间:2023-07-26 16:56:09浏览次数:41  
标签:jstack CPU 飙高 线程 线上 堆栈 过高 ID

2023.07.20 20:01:38线上一个服务发生了CPU过高的告警,

看告警信息当前的CPU使用率已经达到了82.65%,问题已经很严重,赶紧开始排查起来。来复盘下如何排查这类问题,

一、排查方法

1、找到cpu过高的进程ID

收到告警后,第一件事要做的就是找到CPU过高的程序的线程id(pid),可以使用jps或ps -ef |grep java两个命令均可,

1.1、jps

使用jps命令

jps

得到下面的结果

也就是进程ID是6。

再看使用ps的结果

1.2、ps

使用ps命令

ps -ef |grep java

得到下面的结果

可以看到进程ID也是6。

当然除了上面两个命令,还可以使用top,也可以很快找到CPU过高的服务进程ID。

我们已经知道了cpu过高的服务进程ID是6,但仅知道进程ID是无用的,需要进一步知道这个进程中哪些线程占用CPU过高。

2、找到cpu过高的线程ID

这里使用的是top命令

top -Hp 6

得到的结果如下

可以看到线程1110 1125 1112 1121等占用CPU过高,基本都在80%,基本可以断定就是这些线程在占用CPU。

找到占用CPU过高的线程后,就要看下相应的堆栈信息。

1.3、打印进程堆栈

使用jstack命令,jstack命令可以打印出进程的堆栈,通过堆栈信息可以分析到线程的执行情况,

jstack -l 6

可以看到很多类似这样的信息,这些信息中有一个很重要的那就是nid=0x11,这个是代表的线程ID,聪明的你也一定知道这里是16进制,和刚才使用top -Hp命令看到的不一样,那里是10进制的。

为了找到线程占用cpu过高的堆栈,需要把线程ID做一次进制转换,既由10进制转换为16进制,

例,1110--》0x456    1125--》0x465

以0x465为例,在堆栈中查找相应的线程堆栈,

1.4、查找线程堆栈

使用0x465查找其对应的线程堆栈

可以看到线程0x465的线程状态是RUNNABLE,而且看到了很多正则的调用,继续往下看,找到了调用的代码,

最后分析是由于死循环引起的线程占用CPU过高。

上面是我把文件下载下来进行的查找,那如何生成堆栈文件,可以使用下面的命令

jstack -l 6 > dump.txt

生成后下载到本地即可。

如果线上环境无法下载,则只能通过命令进行查找

jstack -l 6 | grep -A 10 0x465

这样便可以看到相应的内容了。

二、fastthread

有没有觉得使用jstack命令导出文件后自己分析很麻烦,没事有工具,可以使用fastthread。

其网址是:https://fastthread.io/

将jstack或者其他工具dump的堆栈文件上传到该网站同样可以分析出结果。

将刚才的文件上传后,得到分析报告,由于是分析CPU过高,重点看cpu threads即可。

可以看到nativeId:1125即对应top -Hp出的线程ID,这里fastThread已经进行了进制转换,无需手动操作了,很贴心。点击查看完整的堆栈信息即可分析出相应的问题。

三、总结

一般程序CPU过高,大多数和死循环有关,分析此类问题的一般步骤是,

1、使用jps/ps -ef |grep java/top等命令找到进程ID,即pid;

2、使用top -Hp pid 找到进程中占用CUP的线程ID;

3、使用jstack打印堆栈;

4、使用线程ID在堆栈中找到对应的线程堆栈;

5、分析线程堆栈,找到问题;

 

参考:

(7条消息) jstack命令解析_fightingD&W的博客-CSDN博客

Linux命令之Grep——文本搜索 - 阅读清单 - 腾讯云开发者社区-腾讯云 (tencent.com)

 

推荐阅读

因为一条DDL,差点搞挂整个系统,这次真的长了教训

一次性掌握innodb引擎如何解决幻读和不可重复读

花了半天时间,使用spring-boot实现动态数据源,切换自如

 

标签:jstack,CPU,飙高,线程,线上,堆栈,过高,ID
From: https://www.cnblogs.com/teach/p/17582912.html

相关文章

  • FeignClient 动态获取nacos中的配置,线上更改后能热更新
    1.设置nacos变量在一个类中@Component@RefreshScope@ConfigurationProperties(prefix="testC")publicclassSupplierInfoRakuten{privateStringversion;publicStringgetVersion(){returnversion;}publicvoidsetVersion(Str......
  • python跑满cpu
    实现Python跑满CPU的方法1.简介Python是一种高级编程语言,它的运行速度相对较慢。然而,在某些情况下,我们可能需要让Python程序尽可能地占用CPU资源,以达到跑满CPU的目的。本文将介绍如何实现这个目标。2.实现流程下面是实现Python跑满CPU的流程,我们可以使用表格来展示各个步骤。......
  • mysql cpu使用率高的常见原因 mysql cpu占用率过高
    文章来自:https://blog.51cto.com/u_12192/6319295简单的分为下面几个步骤来解决这个问题:1、mysql运行正常,也有可能是同步设置问题导致2、如果mysql运行正常,那就是php的一些sql语句导致问题发现,用root用户进入mysql管理mysql-uroot-p输入密码mysql:showprocesslist;语句,查......
  • 为什么 CPU 访问寄存器的速度比访问内存的速度快
    为什么CPU访问寄存器的速度比访问内存的速度快寄存器是位于CPU内部的高速存储器件,而内存则是位于CPU外部的存储器件。在计算机体系结构中,访问速度极大取决于数据存储设备与CPU之间的距离,当CPU需要从存储设备中读取数据时,必须通过一系列的总线、控制器等中间设备进行数......
  • vscode code helper占用大量CPU
    解决方法。1、去掉跟踪过滤。查一下百度一大堆。2、基本上1没多大作用3、所以使用禁用所有插件功能。插件-》扩展-》三个点-》禁止所有插件4、然后再开自己需要的插件5、问题解决。......
  • 第三届“泰迪杯”数据分析职业技能大赛: 教育平台的线上课程智能推荐 (决赛候选)答辩P
    ......
  • CPU摸鱼被抓,上了一个新技术!
    我叫阿Q,是CPU一号车间里的员工,我所在的这个CPU足足有8个核,就有8个车间,干起活来杠杠滴。我们CPU的任务就是执行程序员编写的程序,只不过程序员编写的是高级语言代码,而我们执行的是这些代码被编译器编译之后的机器指令。 那一天,我正在忙活着···“阿Q,工作时间你怎么在摸鱼啊!......
  • Mysql占用CPU过高如何优化
    MySQL处在高负载环境下,磁盘IO读写过多,肯定会占用很多资源,必然CP会U占用过高。占用CPU过高,可以做如下考虑:1.打开慢查询日志,查询是否是某个SQL语句占用过多资源,如果是的话,可以对SQL语句进行优化,比如优化insert语句、优化groupby语句、优化orderby语句、优化join语句等等;2......
  • 【MySQL线上修改大表结构有哪些风险】
    (文章目录)1.背景在实际应用中,我们经常会遇到需要修改大表结构的情况,比如增加或删除字段、修改字段类型、添加或删除索引等。但是,这些修改操作都是要对线上数据库进行的,如果处理不当,就容易导致数据丢失、性能下降、系统崩溃等问题,给业务带来不可挽回的损失。因此,本文总结了MySQL......
  • CPU与指令集
    CPU与指令集一、CPUCPU是指CentralProcessingUnit,即中央处理器。是计算机的运算和控制中心,其功能主要是执行程序指令并计算相关数据。CPU主要由控制单元、运算单元、存储单元等组成。控制单元:负责将程序指令转化成硬件电路中的实际动作。比如打开某个加法器或减法器等等。......