首页 > 其他分享 >ForkJoinPool在生产环境中使用遇到的一个问题

ForkJoinPool在生产环境中使用遇到的一个问题

时间:2024-03-24 16:12:54浏览次数:29  
标签:容器 par 消费 遇到 ForkJoinPool 环境 线程 ForkJoin

1、背景

在我们的项目中有这么一个场景,需要消费kafka中的消息,并生成对应的工单数据。早些时候程序运行的好好的,但是有一天,我们升级了容器的配置,结果导致部分消息无法消费。而消费者的代码是使用CompletableFuture.runAsync(() -> {while (true){ ..... }}) 来实现的。
即:

  1. 需要消费Kafka topic的个数: 7个,每个线程消费一个topic
  2. 消费方式:使用线程池异步消费
  3. 消费池:默认的 ForkJoin 线程池???,并且没有做任何配置
  4. 是否会释放线程池中的核心线程: 不会释放
  5. 没出问题时容器配置: 2核4G
  6. 出问题时容器配置:4核8G,影响的结果:只有3个topic的数据可以消费。

2、容器2核4G可以正常消费

容器2核4G可以正常消费

即:此时程序会启动7个线程来进行消费。

3、容器4核8G只有部分可以消费

容器4核8G只有部分可以消费

即:此时程序会启动3个线程来进行消费。

4、问题原因分析

1、通过上面的背景我们可以知道,是因为升级了容器的配置,才导致我们消费kafka中的消息失败了。
2、针对kafka中的每个topic,我们都会使用一个单独的线程来消费,并且不会释放这个线程。
3、而线程的启动方式是通过CompletableFuture.runAsync()方法来启动的,那么通过这种方式启动的线程,是每个任务一个启动一个线程,还是只启动固定的线程呢?.

通过以上分析,那么问题肯定是出现在线程池身上,那么我们默认使用的是什么线程池呢?查看CompletableFuture.runAsync()的源码可知,有一定的几率是ForkJoinPool。那么我们一起看下源码。

5、源码分析

源码分析

1、确认使用什么线程池

public static CompletableFuture<Void> runAsync(Runnable runnable) {
   return asyncRunStage(asyncPool, runnable);
}
private static final Executor asyncPool = useCommonPool ?
        ForkJoinPool.commonPool() : new ThreadPerTaskExecutor();

通过上述源码可知,我们可能使用的ForkJoin线程池,也可能使用的是ThreadPerTaskExecutor线程池。

  1. ThreadPerTaskExecutor 这个是每个任务,一个线程。
  2. ForkJoinPool 那么就需要确定启动了多少个线程。

2、确认是否使用 ForkJoin 线程池

需要确定 useCommonPool 字段是如何赋值的。

private static final boolean useCommonPool =
        (ForkJoinPool.getCommonPoolParallelism() > 1);

通过上面代码可知,是否使用ForkJoin线程池,是由 ForkJoinPool.getCommonPoolParallelism()的值确定的。(即并行度是否大于1,大于则使用ForkJoin线程池)

public static int getCommonPoolParallelism() {
    return commonParallelism;
}

3、commonParallelism 的赋值

commonParallelism 的赋值

1、从上图中可知parallelism的设置有2种方式

  • 通过Jvm的启动参数java.util.concurrent.ForkJoinPool.common.parallelism进行设置,且这个值最大为 MAX_CAP即32727。
  • 若没有通过Jvm的参数配置,则有2种情况,若cpu的核数<=1,则返回1,否则返回cpu的核数-1

2、commonParallelism的取值

common = java.security.AccessController.doPrivileged
            (new java.security.PrivilegedAction<ForkJoinPool>() {
                public ForkJoinPool run() { return makeCommonPool(); }});
int par = common.config & SMASK; // report 1 even if threads disabled
commonParallelism = par > 0 ? par : 1;

SMASK 的值是 65535。
common.config 的值就是 (parallelism & SMASK) | 0的值,即最大为65535,若parallelism的值为0,则返回0。
int par = common.config & SMASK ,即最大为 65535
commonParallelism = par > 0 ? par : 1 的值就为 parallelism的值或1

6、结论

结论

结论:
由上面的知识点,我们可以得出,当我们的容器是2核4G时,程序选择的线程池是ThreadPerTaskExecutor,当我们的容器是4核8G时,程序选择的线程池是ForkJoinPool

标签:容器,par,消费,遇到,ForkJoinPool,环境,线程,ForkJoin
From: https://www.cnblogs.com/huan1993/p/18092546

相关文章

  • Ubuntu下安装Python虚拟环境
    安装和配置安装包管理神器pipsudoaptinstallpython-pip升级pipsudopipinstall--upgradepip安装virtualenv,virtualenvwrappersudopipinstallvirtualenvsudopipinstallvirtualenvwrapper配置virtualenvwrapper#默认的virtualenvwrapper安装在/u......
  • 【等保测评】网络安全等级保护测评 S3A3 安全物理环境 详解
    转自:https://mp.weixin.qq.com/s/gUvHNaCkOagAcJHnakdU5Q网络安全等级保护测评S3A3安全物理环境详解概述网络安全等级保护S3A3安全物理环境中主要包括以下10个部分:物理位置选择、物理访问控制、防盗窃和防破坏、防雷击、防火、防水和防潮、防静电、温湿度控制、电力供应、电磁......
  • [Python]-基础-1.环境部署
    [Python]基础——环境部署&知识补充一、环境部署1.1软件下载1.1.1版本选择内置函数是Python自带的函数,不同版本的Python,其内置函数在数量和使用上大不相同,尤其是Python2和Python3大版本之间的迭代,教程全程采用Python3.8.3进行代码演示,为了避免版本兼容冲突,希望......
  • PMBOK(V6) 第二章 项目运行环境
    2.1概述项目所处的环境可能对项目的开展产生有利或不利的影响。这些影响的两大主要来源为事业环境因素(EEF)和组织过程资产(OPA)。事业环境因素源于项目外部(往往是企业外部)的环境,事业环境因素可能对整个企业、项目组合、项目集或项目产生影响组织过程资产源于企业内部,可能来自......
  • Linux环境下使用Eclipse Paho C 实现(MQTT Client)同步模式发布和订阅Message
    目录概述1同步模式和异步模式1.1同步模式1.2异步模式2下载和安装paho.mqtt.c3同步方式发布和订阅消息功能实现3.1MQTTClient参数配置3.2初始化MQTTClient3.3发布消息功能3.4订阅消息功能3.5解析订阅的信息4编译和测试4.1编译代码4.2运行5验证MQ......
  • 环境搭建
    windows安装sqlserver服务SQLServer下载|Microsoft或者MSDN,我告诉你-做一个安静的工具站(itellyou.cn)安装关闭windows防火墙并重新运行一路下一步直到这样设置可以让安装该服务的用户直接安装管理工具docker2022安装Docker:为Linux上的S......
  • 当Java 22遇到 SpringBoot 3.3.0!
    工程|JOSHLONG|0条评论Java22发布快乐!Java22是一个重大的进步,是一个值得升级版本。有一些重大的最终发布功能,如ProjectPanama及一系列更优秀的预览功能。我不可能覆盖它们全部,但我确实想谈谈我最喜爱的一些。我们将会涉及到许多功能。如果你想在家里跟着做,代码在这......
  • 【Linux】详谈命令行参数&&环境变量
    目录一、浅谈命令行参数二、环境变量2.1环境变量的内涵以及理解2.2PATH环境变量:2.3输入程序名就能运行我们的程序2.4系统中的环境变量2.5导出环境变量 三、main函数的第三个参数3.1获得环境变量的三种方法 四、本地变量一、浅谈命令行参数        我......
  • 定制和配置你的 shell 环境的一个强大工具——.bashrc
    本文结构:a、简单介绍b、操作示例c、注意事项a、当你在一个新的终端会话开始时,Bashshell会读取并执行.bashrc文件中的命令。这使得.bashrc成为定制和配置你的shell环境的一个强大工具。b、以下是一些.bashrc文件中常见的元素和它们的作用:1.别名(Aliases)  .bas......
  • 使用hbuilderX开发小程序遇到的坑
    第一,微信小程序编译每次都出现[project.config.json文件内容错误]project.config.json:libVersion字段需为string解决办法第二,修改了pages文件夹的.vue页面发现页面空白没生效原因:修改要记得保存第三, 微信开发者工具中报错:routeDonewithawebviewId2thati......