首页 > 编程语言 >java.lang.OutOfMemoryError- unable to create new native thread 问题排查

java.lang.OutOfMemoryError- unable to create new native thread 问题排查

时间:2023-04-18 17:35:29浏览次数:65  
标签:lang java bci thread Compiled frame 线程

问题描述

最近连续两天大约凌晨3点,线上服务开始异常,出现OOM报错。且服务所在的物理机只能ping通,但是无法登录。报错信息如下:

ERROR 04-12 03:01:43,930 [DefaultQuartzScheduler_Worker-3] JobRunShell[JobRunShell]:211 Job threw an unhandled Exception:
java.lang.OutOfMemoryError: unable to create new native thread
        at java.lang.Thread.start0(Native Method)
        at java.lang.Thread.start(Thread.java:714)
        at java.util.concurrent.ForkJoinPool.createWorker(ForkJoinPool.java:1483)
        ...
        at org.quartz.core.JobRunShell.run(JobRunShell.java:202)
        at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:573)

排查过程

根据日志OOM报错,怀疑是内存不足或内存泄露的原因,需要查看内存的使用情况。考虑到JConsoleVisualVM具有可视化界面,能看出历史变化趋势,更直观地排查问题,因此为程序配置了jmx参数。重启应用,使用VisualVM连接应用的jmx端口。应用配置jmx端口的参数如下:

-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false  -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=9998

VisualVM显示使用的内存是正常的,没有持续飙升。但是线程数却比较异常,随时间推移在持续增加。因此考虑看看是什么线程在持续增加,jstack是一个比较好用的工具,它用于生成 JAVA 虚拟机当前时刻的线程快照。

java.lang.OutOfMemoryError- unable to create new native thread 问题排查_java

使用jstack -F PID打印出了所有线程,发现有大片下面的堆栈信息。注意到com.xxx.http.IdleConnectionMonitorThread.run() @bci=15, line=22 (Compiled frame)方法出现的特别多。

Thread 7760: (state = BLOCKED)
 - sun.misc.Unsafe.park(boolean, long) @bci=0 (Compiled frame; information may be imprecise)
 - java.util.concurrent.ForkJoinPool.awaitWork(java.util.concurrent.ForkJoinPool$WorkQueue, int) @bci=354, line=1821 (Compiled frame)
 - java.util.concurrent.ForkJoinPool.runWorker(java.util.concurrent.ForkJoinPool$WorkQueue) @bci=44, line=1690 (Compiled frame)
 - java.util.concurrent.ForkJoinWorkerThread.run() @bci=24, line=157 (Compiled frame)


Thread 7759: (state = BLOCKED)
 - java.lang.Object.wait(long) @bci=0 (Compiled frame; information may be imprecise)
 - com.xxx.http.IdleConnectionMonitorThread.run() @bci=15, line=22 (Compiled frame)
 - java.lang.Thread.run() @bci=11, line=745 (Compiled frame)


Thread 7758: (state = BLOCKED)
 - java.lang.Object.wait(long) @bci=0 (Compiled frame; information may be imprecise)
 - com.xxx.http.IdleConnectionMonitorThread.run() @bci=15, line=22 (Compiled frame)
 - java.lang.Thread.run() @bci=11, line=745 (Compiled frame)

在项目搜索类IdleConnectionMonitorThread,并查看22行内容。发现如果不执行shutdown()方法,那么该后台线程会持续地执行wait()方法,导致该线程不退出。实际情况是确实没有执行shutdown()方法,随着每10分钟执行一次计算任务,每次计算任务会执行一批http请求,每个http请求就会创建出一个后台线程,这样会导致线程数越来越多。

java.lang.OutOfMemoryError- unable to create new native thread 问题排查_JVM_02

联系了sdk的提供方,提供了后台进程的停止方法。在程序请求http完成后,释放请求的资源,停止了后台线程。使用VisualVm观察了一段时间,发现线程数不在增长了,未出现OOM报错。至此问题解决。

java.lang.OutOfMemoryError- unable to create new native thread 问题排查_bc_03

虽然问题解决了,不过还有个疑问,线程数达到多少会触发unable to create new native thread报错。查阅博客了解到,一个进程最多能创建多少线程是受多因素影响的,基本上是系统支持的最大PID、用户可创建最大线程数、系统支持的最大线程数的最小值。通过查看服务器配置,系统支持的最大PID的值是最小的:32768,也就是说一个进程最多创建大约3w个线程。由于服务器上部署了线上服务,不方便在复现验证创建多少个线程时出现OOM报错。

java.lang.OutOfMemoryError: unable to create new native thread问题排查以及当前系统最大进程数量

一个JVM可以创建多少线程,首先由JVM设置决定(-Xms,-Xmx,-Xss),另外受到外部因素影响,就是系统设置(最大PID、最大线程、栈内存大小、最重要的还是物理内存由多少)、其二就是用户设置(用户可以运行多少个进程或线程),综合上述因素的最小值就是一个JVM可以创建多少线程。

系统支持的最大进程数
cat /proc/sys/kernel/pid_max
32768

系统支持的最大线程数
cat /proc/sys/kernel/threads-max
513024

进程可用最大虚拟内存
ulimit -v
unlimited

最大栈大小
ulimit -s
8192

每个用户可创建最大进程数
ulimit -u
256512

总结

1.JConsoleVisualVM具有可视化界面,可以方便地查看CPU占用、内存使用、类数量、线程数的历史变化趋势。

2.jstack命令可以查看正在运行的程序当前时刻的所有线程信息。

3.一个进程最多能创建多少线程,是受多因素影响的,基本上是系统支持的最大PID、用户可创建最大线程数、系统支持的最大线程数的最小值。

参考资料



标签:lang,java,bci,thread,Compiled,frame,线程
From: https://blog.51cto.com/u_15190995/6194043

相关文章

  • 升级Java17后Maven中使用bouncycastle加解密遇到JCE cannot authenticate the provide
    网上找了很多办法,逐一试过之后,发现有效的方式为修改打包方式:<plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-jar-plugin</artifactId><version&......
  • Java并发编程:Lock
      在上一篇文章中我们讲到了如何使用关键字synchronized来实现同步访问。本文我们继续来讨论这个问题,从Java5之后,在java.util.concurrent.locks包下提供了另外一种方式来实现同步访问,那就是Lock。也许有朋友会问,既然都可以通过synchronized来实现同步访问了,那么为什么还需要提......
  • Java并发编程:深入剖析ThreadLocal
    Java并发编程:深入剖析ThreadLocal想必很多朋友对ThreadLocal并不陌生,今天我们就来一起探讨下ThreadLocal的使用方法和实现原理。首先,本文先谈一下对ThreadLocal的理解,然后根据ThreadLocal类的源码分析了其实现原理和使用需要注意的地方,最后给出了两个应用场景。以下是本文目录......
  • Java Magic start
    1.JavaMagic.Part1:java.net.URLhttp://mishadoff.com/blog/java-magic-part-1-java-dot-net-dot-url/ 2.JavaMagic.Part2:0xCAFEBABEhttp://mishadoff.com/blog/java-magic-part-2-0xcafebabe/ 3.JavaMagic.Part3:Finallyhttp://mishadoff.com/blog/java-magic-p......
  • Java Magic. Part 4: sun.misc.Unsafe(译)
    JavaMagic.Part4:sun.misc.UnsafeJavaisasafeprogramminglanguageandpreventsprogrammerfromdoingalotofstupidmistakes,mostofwhichbasedonmemorymanagement.But,thereisawaytodosuchmistakesintentionally,usingUnsafeclass.Java是一种......
  • Java运算符——(带符号右移)>>、(无符号右移)>>>、与(&)
    >>表示带符号右移,如:inti=15;i>>2的结果是3,移出的部分将被抛弃。转为二进制的形式可能更好理解,00001111(15)右移2位的结果是00000011(3),00011010(18)右移3位的结果是00000011(3)。>>>无符号右移:按二进制形式把所有的数字向右移动对应巍峨位数,低位移出(舍弃),高位的空位补零。对于......
  • [Java并发包学习七]解密ThreadLocal
    相信读者在网上也看了很多关于ThreadLocal的资料,很多博客都这样说:ThreadLocal为解决多线程程序的并发问题提供了一种新的思路;ThreadLocal的目的是为了解决多线程访问资源时的共享问题。如果你也这样认为的,那现在给你10秒钟,清空之前对ThreadLocal的错误的认知!看看JDK中的源码是怎么......
  • Java中实现String字符串用逗号隔开
    publicstaticvoidmain(String[]args)throwsException{ StringstrText="421542"; Stringinformation=""; intstart=0; intend=1; Stringdigit=""; intcount=strText.length(); for(inti=......
  • 一个Java线程的线生(线生 vs 人生)
    java线程的使用1.Java多线程概述下面我们看下Java的多线程作者:博学谷狂野架构师GitHub:GitHub地址(有我精心准备的130本电子书PDF)只分享干货、不吹水,让我们一起加油!......
  • Java文件下载代码及中文文件名不显示的问题
    @GetMapping("/downloadOrderDemo")publicResponseEntity<Resource>downloadFile()throwsIOException{//读取文件内容Filefile=newFile(System.getProperty("user.dir")+File.separator+"work-order/src/main/......