首页 > 编程语言 >唠一唠Java线程池

唠一唠Java线程池

时间:2024-01-09 23:02:31浏览次数:34  
标签:唠一 Java 队列 threadPool 任务 调优 线程 监控

第1章:引言

大家好,我是小黑,咱们今天来聊聊Java线程池,如果没有线程池,每个线程都需要手动创建和销毁线程,那将是多么低效和耗资源啊!

线程池的核心作用就是复用已创建的线程,减少系统开销,提高响应速度。咱们在开发高并发应用时,经常会遇到需要同时执行多个任务的场景,这时候线程池就闪亮登场了。它能够合理分配每个任务到线程,实现资源的最优使用。

但别小看了这个线程池,用得不好可是会出大问题的。比如,线程池大小配置不当,可能会导致系统崩溃,或者效率低下。所以,小黑今天就带大家深入浅出地探索Java线程池的奥秘,一起学习如何调优和监控它。

第2章:Java线程池概述

讲到线程池,咱们得先了解下Java里面线程池的基本构成。Java中的线程池主要依靠java.util.concurrent包里的ThreadPoolExecutor类来实现。它是一个强大的工具,可以帮助咱们有效地管理线程资源。

线程池的工作原理大概是这样的:有一个线程池管理器(ThreadPoolExecutor),负责创建和管理线程池;还有一个工作队列,用来存放待处理的任务;还有若干个工作线程,执行这些任务。

咱们先来看一段基础的线程池创建代码,小黑会一步一步解释:

import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

public class ThreadPoolDemo {
    public static void main(String[] args) {
        // 创建一个固定大小的线程池
        ExecutorService threadPool = Executors.newFixedThreadPool(5);

        for (int i = 1; i <= 10; i++) {
            final int taskId = i;
            threadPool.execute(() -> {
                System.out.println("执行任务:" + taskId + ",线程名:" + Thread.currentThread().getName());
            });
        }
        
        threadPool.shutdown(); // 关闭线程池
    }
}

这段代码创建了一个固定大小为5的线程池。Executors.newFixedThreadPool(5)这一行代码就完成了这个魔法。然后,咱们通过一个循环创建了10个任务,通过threadPool.execute()方法提交到线程池中执行。每个任务只是简单地打印出它的任务ID和执行它的线程名。

注意到了吗?这里咱们使用了shutdown()方法来关闭线程池。这是因为线程池用完之后,如果不关闭,那么它里面的线程会一直处于等待状态,这样会导致资源浪费。

第3章:线程池的核心参数解析

1. ThreadPoolExecutor的关键参数

当咱们创建一个线程池的时候,通常会遇到几个关键的参数,它们决定了线程池的行为和性能:

  • corePoolSize(核心线程数): 这个参数表示线程池中常驻的线程数量。即使线程空闲,线程池也不会释放这些线程。
  • maximumPoolSize(最大线程数): 线程池能容纳的最大线程数。当工作队列满了之后,线程池会创建新线程,直到达到这个上限。
  • keepAliveTime(线程保持活动时间): 当线程数超过核心线程数时,这是超出部分线程在空闲时的存活时间。
  • unit(时间单位): keepAliveTime的时间单位。
  • workQueue(工作队列): 存放待处理任务的队列。它通常是一个BlockingQueue的实现类。
  • threadFactory(线程工厂): 用于创建新线程的工厂。
  • handler(拒绝策略): 当线程池和工作队列都满了,如何处理新提交的任务。

2. 参数设置实例

来看一下如何在实际代码中设置这些参数:

import java.util.concurrent.*;

public class ThreadPoolParameterDemo {
    public static void main(String[] args) {
        ThreadPoolExecutor threadPool = new ThreadPoolExecutor(
            5, // 核心线程数:5
            10, // 最大线程数:10
            1, // 空闲线程存活时间:1分钟
            TimeUnit.MINUTES, // 时间单位:分钟
            new LinkedBlockingQueue<>(10), // 工作队列大小:10
            Executors.defaultThreadFactory(), // 默认线程工厂
            new ThreadPoolExecutor.AbortPolicy()); // 拒绝策略:直接抛出异常

        // 使用线程池执行任务的代码...
        threadPool.shutdown();
    }
}

这段代码创建了一个自定义的线程池。核心线程数设置为5,最大线程数是10,如果线程池中线程数量超过核心线程数,多余的线程空闲1分钟后会被回收。工作队列的容量是10,超过这个数目的任务会导致线程池增加线程,直到达到最大线程数。如果线程池和队列都满了,新提交的任务将会触发拒绝策略,在这个例子中是直接抛出异常。

3. 参数调整的影响

调整这些参数会对线程池的性能产生显著影响。例如,如果corePoolSizemaximumPoolSize设置得过大,可能会导致线程数量过多,消耗大量系统资源,甚至引发内存溢出。反之,如果设置得过小,可能无法充分利用系统资源,降低任务处理速度。

同样,keepAliveTime和工作队列的大小也需要根据具体的场景来调整。一个合理的设置可以让线程池既不浪费资源,又能高效地处理任务。

第4章:线程池调优策略

调优的关键点

  1. 了解应用的需求:是CPU密集型还是IO密集型?任务是长期运行还是短暂的?
  2. 合理设置核心和最大线程数:根据任务类型和数量调整这两个参数。
  3. 选择适合的工作队列:根据任务处理速度和队列大小合理选择。
  4. 合理配置线程存活时间:调整keepAliveTime以优化资源使用。
  5. 监控线程池的状态:通过日志或者监控工具,持续观察线程池的运行状况。

调优实例

假设小黑正在开发一个Web服务,这个服务主要处理一些短暂的HTTP请求。大部分情况下,这些请求都是IO密集型的,也就是说,线程大部分时间都在等待网络传输。那么,咱们应该怎么调整线程池的参数呢?

来看一下代码示例:

import java.util.concurrent.*;

public class WebServiceThreadPool {
    public static void main(String[] args) {
        // IO密集型任务,可以适当增加最大线程数
        int corePoolSize = Runtime.getRuntime().availableProcessors(); // 核心线程数设置为CPU核心数
        int maximumPoolSize = corePoolSize * 2; // 最大线程数设置为核心线程数的两倍

        ThreadPoolExecutor webServiceThreadPool = new ThreadPoolExecutor(
            corePoolSize, 
            maximumPoolSize,
            60L, TimeUnit.SECONDS, // 空闲线程存活时间:60秒
            new SynchronousQueue<>(), // 适合短任务的队列
            Executors.defaultThreadFactory(), 
            new ThreadPoolExecutor.CallerRunsPolicy()); // 拒绝策略:由调用线程处理该任务

        // 使用线程池处理任务的代码...
        webServiceThreadPool.shutdown();
    }
}

在这个例子中,核心线程数设置为CPU的核心数,因为IO密集型任务不会一直占用CPU。最大线程数是核心线程数的两倍,可以在高峰时分担更多任务。由于任务短暂,使用SynchronousQueue作为工作队列,这样一旦有任务就立即执行。线程的存活时间设置为60秒,避免频繁地创建和销毁线程。

调优是个细活儿,需要根据实际情况来。比如,如果是CPU密集型任务,最大线程数就不宜设置太高。而且,调优不是一劳永逸的,随着应用的发展,可能需要不断调整。

调优线程池是个技术活,也是个经验活。需要咱们不断实践、观察和调整。记得,持续监控线程池的状态是非常重要的。

第5章:线程池监控的必要性和方法

为什么需要监控线程池

  1. 及时发现问题:通过监控,可以及时发现线程池的性能瓶颈,比如线程饥饿、任务拥堵等。
  2. 调优依据:监控数据可以为线程池的调优提供重要依据,帮助咱们更好地理解线程池的行为。
  3. 预防系统崩溃:适时的监控可以防止因线程池配置不当导致的系统崩溃。

监控线程池的关键指标

  • 线程数量:包括核心线程数、活跃线程数、最大线程数。
  • 任务队列长度:了解队列中等待执行的任务数量。
  • 任务完成数:监控已经完成的任务数量,了解线程池的工作量。
  • 拒绝任务数:被拒绝的任务数量,这个很重要,反映了线程池的饱和度。

实现线程池监控的代码示例

来看一段Java代码,展示如何实现线程池的基本监控:

import java.util.concurrent.*;

public class ThreadPoolMonitorDemo {
    public static void main(String[] args) throws InterruptedException {
        ThreadPoolExecutor threadPool = new ThreadPoolExecutor(
            5, // 核心线程数
            10, // 最大线程数
            1, TimeUnit.SECONDS, // 线程保持活动时间
            new LinkedBlockingQueue<>(5)); // 工作队列

        // 提交一些任务到线程池
        for (int i = 0; i < 15; i++) {
            int taskId = i;
            threadPool.execute(() -> {
                try {
                    Thread.sleep(100); // 模拟任务执行时间
                    System.out.println("执行任务:" + taskId);
                } catch (InterruptedException e) {
                    Thread.currentThread().interrupt();
                }
            });
        }

        // 定期监控线程池状态
        Executors.newSingleThreadScheduledExecutor().scheduleAtFixedRate(() -> {
            System.out.println("====== 线程池状态监控 ======");
            System.out.println("核心线程数:" + threadPool.getCorePoolSize());
            System.out.println("活跃线程数:" + threadPool.getActiveCount());
            System.out.println("最大线程数:" + threadPool.getMaximumPoolSize());
            System.out.println("队列任务数:" + threadPool.getQueue().size());
            System.out.println("完成任务数:" + threadPool.getCompletedTaskCount());
        }, 0, 1, TimeUnit.SECONDS); // 每秒监控一次

        Thread.sleep(5000); // 模拟运行一段时间
        threadPool.shutdown();
    }
}

在这段代码中,咱们创建了一个线程池,然后提交了一些任务。随后,使用一个单线程定时调度器来每秒打印一次线程池的状态,包括核心线程数、活跃线程数、最大线程数、队列中的任务数和完成的任务数。

通过这样的监控,咱们可以实时地了解线程池的健康状况。如果发现有异常,比如活跃线程数持续很高或者队列任务数骤增,那就需要及时调整线程池的配置或优化任务处理逻辑了。

第6章:案例研究:线程池的调优与监控

案例背景

假设小黑在负责一个在线购物网站的后端服务。这个服务需要处理大量的用户请求,比如商品浏览、订单处理等。由于访问量大,对性能的要求也高,因此使用线程池来提高效率和响应速度是必要的。

初始线程池配置

一开始,线程池的配置是这样的:

  • 核心线程数:8
  • 最大线程数:50
  • 工作队列长度:100
  • 线程保持活动时间:60秒

遇到的问题

随着网站流量的增加,后端服务开始出现响应缓慢的问题。通过监控发现,在高峰时段,线程池的活跃线程数经常达到最大值,队列中等待的任务数也在不断增加。

调优过程

小黑根据这个情况,决定对线程池进行调优。调优的主要目标是提高系统的吞吐量和响应速度。调优的步骤包括:

  1. 增加核心线程数和最大线程数:考虑到服务器的硬件资源允许,小黑把核心线程数提高到16,最大线程数提高到100。
  2. 调整工作队列长度:为了减少任务等待时间,小黑把工作队列的长度减少到50。
  3. 优化线程保持活动时间:将线程的保持活动时间调整为30秒,以便在不那么繁忙时能更快地释放资源。

调优后的结果

调优后,系统的整体性能有了显著提升。活跃线程数更加平稳,队列中等待的任务数量也大幅减少。响应时间缩短,用户体验得到了改善。

代码示例

这里有一段模拟调优后线程池配置的代码:

import java.util.concurrent.*;

public class OptimizedThreadPool {
    public static void main(String[] args) {
        ThreadPoolExecutor threadPool = new ThreadPoolExecutor(
            16, // 核心线程数:16
            100, // 最大线程数:100
            30L, TimeUnit.SECONDS, // 线程保持活动时间:30秒
            new LinkedBlockingQueue<>(50)); // 工作队列长度:50

        // 提交任务到线程池的代码...
        threadPool.shutdown();
    }
}

在这段代码中,线程池的配置更适合高并发的Web服务场景。核心线程数和最大线程数的提升,以及工作队列长度的调整,都是为了更好地适应用户请求的高峰。

第7章:总结

经过前面几章的深入探讨,咱们已经对Java线程池有了一个全面的了解。从基本概念到调优监控,小黑希望这些内容能帮助大家在实际工作中更好地使用线程池。

  1. 理解核心参数:核心线程数、最大线程数、工作队列等参数的合理配置对线程池的性能至关重要。
  2. 监控和调优:持续监控线程池的状态,并根据实际情况进行调优,是保证线程池高效运行的关键。
  3. 适应应用场景:根据具体的应用需求(如CPU密集型、IO密集型)来定制线程池。
  4. 性能优化:在高并发场景下,性能优化是提高应用性能的重要手段。

标签:唠一,Java,队列,threadPool,任务,调优,线程,监控
From: https://blog.51cto.com/u_16326109/9166721

相关文章

  • test-01-java 单元测试框架 junit 入门介绍
    拓展阅读junit5系列基于junit5实现junitperf源码分析Autogeneratemockdataforjavatest.(便于Java测试自动生成对象信息)Junitperformancerelyonjunit5andjdk8+.(java性能测试框架。性能测试。压测。测试报告生成。)JUnitJUnit是一个用于编写可重复测试......
  • test-02-java 单元测试框架 junit5 入门介绍
    拓展阅读junit5系列基于junit5实现junitperf源码分析Autogeneratemockdataforjavatest.(便于Java测试自动生成对象信息)Junitperformancerelyonjunit5andjdk8+.(java性能测试框架。性能测试。压测。测试报告生成。)junit5的入门例子maven引入<depend......
  • java基础问题
    数组一维数组:  1.使用new指定一个数组大小int[]number=newint[8];number[0]=1;number[1]=2;number[2]=3;number[3]=5;number[4]=8;其中,int表示数据类型,并且给每个元素进行赋值。2.使用new指定数组元素的值int[]number=newint[]{1,2,3,5......
  • 对Java中new关键字的理解
    在编写Java程序中,最常用的就是new,那么new这个关键字到底做了什么(目前的理解,后续再补充)在Java中,new关键字用于创建对象的实例。当使用new关键字时,它会在堆内存中为对象分配空间,并调用对象的构造方法来初始化对象的状态。相当于分配了一个内存地址,每new一个就有一个新地址,当使用ne......
  • Java语言程序设计(基础篇 原书第10版)PDF
    《Java语言程序设计(基础篇原书第10版)》是Java语言的经典教材,中文版分为基础篇和进阶篇,主要介绍程序设计基础、面向对象编程、GUI程序设计、数据结构和算法、高级Java程序设计等内容。本书以示例讲解解决问题的技巧,提供大量的程序清单,每章配有大量复习题和编程练习题,帮助读者掌握编......
  • Java字节码文件详解​
    03.字节码文件详解JVM的组成从字节码文件的执行流程看JVM的组成:1.准备好字节码文件(自己编译或其他人传给你)2.使用类加载器ClassLoader加载(此时JVM已参与)3.运行时数据(JVM管理的内存)4.执行引擎(即时编译器、解释器垃圾回收器等):将字节码文件中的指令解释成机器码,同时使用即时编译器优化......
  • 通过印模生成电子印章-Java源代码
    以下代码是处理印模图片的核心代码,通过以下代码可以将公章图片转换为电子印章图片。制作方式分为四步:1、在白纸上加盖印章;2、把加盖印章的白纸扫描,形成图片;3、将图片通过下面的代码进行自动透明化抠图处理;4、程序返回自动透明化抠图处理后的电子印章图片。5、处理后的电子印章效果(......
  • java生成企业公章图片源代码
    企业公章图片在电子签章业务中应用广泛,在电子签章应用过程中首先需要生成公章图片,然后再使用公章图片结合数字签名技术完成电子签,这样就实现了从可视化到不可篡改的数字化电子签章功能,以下是企业公章图片生成源代码。importcom.resrun.utils.Base64;importorg.apache.pdfbox.io.......
  • java的idea使用maven下载依赖速度过慢解决
    idea页面双击shift键,搜索settings.xml然后将以下代码复制到xml中间的settings中间切换为阿里源<mirrors><!--mirror|Specifiesarepositorymirrorsitetouseinsteadofagivenrepository.Therepositorythat|thismirrorserveshasanIDthatmatc......
  • java8日期时间格式化DateTimeFormatter多个格式
    原文地址:datetimeformatter.ofpatternmultipleformats-掘金DateTimeFormatter 是一个用于日期时间格式化和解析的类。使用 ofPattern 方法可以创建一个格式化器,该方法接受一个日期时间格式的字符串作为参数。如果您需要在同一个 DateTimeFormatter 对象中支持多种不同的......