首页 > 其他分享 >利用Quartz实现复杂的任务调度

利用Quartz实现复杂的任务调度

时间:2024-08-19 12:15:59浏览次数:15  
标签:触发器 Quartz 复杂 作业 调度 quartz 任务调度

原文地址:java - 利用Quartz实现复杂的任务调度 - 宋小黑 - SegmentFault 思否

 

 

第一章:引言

大家好,我是小黑,任务调度,简而言之,就是按照预定计划自动执行任务的过程。不管是数据库备份、报表生成还是发送定时邮件,它们都需要一个可靠的任务调度系统来保证按时完成。

那么,为什么小黑要选择Quartz这个框架来实现复杂的任务调度呢?原因有很多,但最吸引人的莫过于它的灵活性和强大功能。Quartz不仅支持简单的到复杂的cron表达式,还能在运行时动态调整任务计划,这对于需要高度灵活性的项目来说是非常重要的。

第二章:Quartz基础

Quartz是一个开源的作业调度库,可以集成到几乎任何Java应用中。在深入了解Quartz之前,咱们先来看看它的几个基本概念:作业(Job)、触发器(Trigger)和调度器(Scheduler)。

  • 作业(Job):这是咱们想要调度的任务,就是咱们要执行的具体逻辑。
  • 触发器(Trigger):定义了作业执行的时间规则。在Quartz中,最常用的触发器是SimpleTrigger和CronTrigger。
  • 调度器(Scheduler):调度器就像一个容器,它负责容纳作业和触发器,并按照触发器定义的规则执行作业。

现在,小黑来展示如何使用Quartz创建一个简单的任务调度。首先,咱们需要添加Quartz的依赖到项目中。使用Maven的话,就是在pom.xml文件中加入以下依赖:

<dependency>
    <groupId>org.quartz-scheduler</groupId>
    <artifactId>quartz</artifactId>
    <version>2.3.2</version> <!-- 请根据实际情况选择合适的版本 -->
</dependency>

  

第三章:Hello Quartz

在前两章,咱们了解了任务调度的概念以及Quartz的基本构成。现在,小黑将带领咱们通过一个简单的示例,深入了解如何使用Quartz实现任务调度。这个示例将会是一个经典的“Hello, Quartz!”程序,通过它,咱们可以看到Quartz在实际操作中是如何工作的。

咱们已经创建了一个HelloJob类,它实现了Job接口,并覆盖了execute方法。这个方法里的逻辑会在任务触发时执行。下面,小黑要展示的是如何创建一个调度器(Scheduler),以及如何定义触发器(Trigger)来按计划执行咱们的HelloJob

import org.quartz.*;
import org.quartz.impl.StdSchedulerFactory;

public class HelloQuartz {
    public static void main(String[] args) {
        try {
            // 创建调度器
            Scheduler scheduler = StdSchedulerFactory.getDefaultScheduler();

            // 启动调度器
            scheduler.start();

            // 定义一个作业,并将其与HelloJob类绑定
            JobDetail job = JobBuilder.newJob(HelloJob.class)
                    .withIdentity("job1", "group1")
                    .build();

            // 创建一个触发器,立即执行,然后每2秒重复一次
            Trigger trigger = TriggerBuilder.newTrigger()
                    .withIdentity("trigger1", "group1")
                    .startNow()
                    .withSchedule(SimpleScheduleBuilder.simpleSchedule()
                            .withIntervalInSeconds(2)
                            .repeatForever())
                    .build();

            // 告诉调度器使用触发器来安排作业
            scheduler.scheduleJob(job, trigger);

            // 让调度器运行一段时间后关闭
            Thread.sleep(10000);
            scheduler.shutdown();

        } catch (SchedulerException | InterruptedException se) {
            se.printStackTrace();
        }
    }
}

  

在这段代码中,咱们首先通过StdSchedulerFactory.getDefaultScheduler()获取一个调度器实例,并通过调用start()方法启动它。接着,创建一个JobDetail实例,这里指定了作业的类为HelloJob,并给这个作业以及所属的组分配了一个唯一标识符。紧接着,定义了一个触发器,这个触发器配置了作业的执行计划:从当前时刻开始,每隔2秒执行一次,且无限重复。

通过调用scheduleJob方法,咱们将作业和触发器注册到调度器中,这样Quartz就会根据触发器定义的规则来执行作业了。为了能够看到作业执行的效果,代码中让主线程睡眠10秒钟,之后关闭调度器。

这个简单的示例展示了Quartz的基础用法,包括如何定义作业、触发器以及如何启动和停止调度器。通过这个例子,咱们可以看到,尽管只是打印了一句“你好,Quartz!”,但背后涉及到的Quartz的配置和使用方法是相当丰富的。这为咱们后续探索更复杂的任务调度提供了坚实的基础。

第四章:任务调度进阶

经过前面的章节,咱们已经掌握了Quartz的基础使用方法,包括创建作业、触发器和调度器。现在,小黑要带咱们进入更高级的领域,探讨如何使用Quartz实现复杂的调度需求。这包括使用Cron Trigger定义复杂的调度策略、使用监听器监控作业的生命周期以及如何处理异常。

使用Cron Trigger实现复杂调度逻辑

在任务调度中,有时咱们需要按照非常具体的时间表来执行作业,比如“每周一上午10:15执行”或“每个月最后一个工作日下午5:00执行”。这时,Cron Trigger就派上了用场。Cron表达式是一种强大的定义时间计划的方式,它允许咱们以几乎任何可能的方式来指定作业的执行计划。

 

import org.quartz.*;
import org.quartz.impl.StdSchedulerFactory;

public class AdvancedQuartzExample {
    public static void main(String[] args) {
        try {
            Scheduler scheduler = StdSchedulerFactory.getDefaultScheduler();
            scheduler.start();

            JobDetail job = JobBuilder.newJob(HelloJob.class)
                    .withIdentity("job2", "group1")
                    .build();

            // 每周一上午10:15执行的Cron Trigger
            Trigger trigger = TriggerBuilder.newTrigger()
                    .withIdentity("trigger2", "group1")
                    .withSchedule(CronScheduleBuilder.cronSchedule("0 15 10 ? * MON"))
                    .build();

            scheduler.scheduleJob(job, trigger);

            // 让调度器运行一段时间后关闭
            Thread.sleep(60000);
            scheduler.shutdown();

        } catch (SchedulerException | InterruptedException se) {
            se.printStackTrace();
        }
    }
}

  

 

在这个例子中,咱们使用了CronScheduleBuilder.cronSchedule("0 15 10 ? * MON")来创建一个Cron Trigger,这个表达式的意思是“每周一上午10:15执行”。

任务监听器的作用和使用方法

监听器在Quartz中扮演着重要的角色,它允许咱们在作业执行的不同阶段插入自定义逻辑,比如作业执行前后发送通知或者记录日志。Quartz提供了几种类型的监听器,但最常用的是JobListenerTriggerListener

public class MyJobListener implements JobListener {

    @Override
    public String getName() {
        return "MyJobListener";
    }

    @Override
    public void jobToBeExecuted(JobExecutionContext context) {
        // 作业即将执行时调用
        System.out.println("Job is about to be executed.");
    }

    @Override
    public void jobExecutionVetoed(JobExecutionContext context) {
        // 作业执行被否决时调用
    }

    @Override
    public void jobWasExecuted(JobExecutionContext context, JobExecutionException jobException) {
        // 作业执行完成后调用
        System.out.println("Job was executed.");
    }
}

  在定义了监听器后,需要将其注册到调度器中:

scheduler.getListenerManager().addJobListener(new MyJobListener(), EverythingMatcher.allJobs());

异常处理和任务持久化

在任务执行过程中可能会遇到各种异常情况,Quartz允许咱们通过实现Job接口的execute方法来捕获和处理这些异常。此外,Quartz还支持任务持久化,这意味着作业和触发器的信息可以存储在数据库中,即使应用程序重启,调度信息也不会丢失。

这章通过介绍Cron Trigger、任务监听器以及异常处理和任务持久化,展示了Quartz在处理复杂调度需求时的强大能力。

第五章:动态任务调度

随着应用的发展,咱们可能会遇到需要在运行时动态添加、修改或删除任务的场景。这就要求任务调度系统不仅要能够按照预设计划执行任务,还要能够灵活应对需求的变化。幸运的是,Quartz提供了这样的灵活性,让小黑来带咱们看看如何实现动态任务调度。

动态添加任务

动态添加任务意味着在应用运行期间,根据具体的业务需求,创建并调度新的作业。这通常涉及到创建新的JobDetailTrigger对象,并使用调度器将它们注册到系统中。

public void addJob(Scheduler scheduler, String jobName, String jobGroup, String triggerName, String triggerGroup, Class<? extends Job> jobClass, String cronExpression) throws SchedulerException {
    // 定义作业,并与我们的Job类关联
    JobDetail job = JobBuilder.newJob(jobClass)
            .withIdentity(jobName, jobGroup)
            .build();

    // 定义触发器,使用传入的cron表达式
    Trigger trigger = TriggerBuilder.newTrigger()
            .withIdentity(triggerName, triggerGroup)
            .withSchedule(CronScheduleBuilder.cronSchedule(cronExpression))
            .build();

    // 调度作业
    scheduler.scheduleJob(job, trigger);
}

在这个方法中,咱们通过参数接收作业名称、组名、触发器名称、组名、作业类以及cron表达式。然后,使用这些参数创建作业和触发器,并将它们注册到调度器中。

动态修改任务

有时候,咱们可能需要修改现有任务的执行计划。Quartz允许咱们修改触发器的属性,从而改变作业的调度。

public void rescheduleJob(Scheduler scheduler, String triggerName, String triggerGroup, String newCronExpression) throws SchedulerException {
    TriggerKey triggerKey = TriggerKey.triggerKey(triggerName, triggerGroup);
    // 获取旧的触发器
    CronTrigger oldTrigger = (CronTrigger) scheduler.getTrigger(triggerKey);
    // 定义新的触发器,使用新的cron表达式
    Trigger newTrigger = oldTrigger.getTriggerBuilder()
            .withSchedule(CronScheduleBuilder.cronSchedule(newCronExpression))
            .build();
    // 重新调度作业
    scheduler.rescheduleJob(triggerKey, newTrigger);
}

 

通过获取旧触发器的TriggerKey,咱们可以创建一个新的触发器,并将其与新的cron表达式关联,然后使用rescheduleJob方法更新任务调度。

动态删除任务

在某些场景下,咱们可能需要删除不再需要的任务。Quartz提供了简单的方法来实现这一点。

public void deleteJob(Scheduler scheduler, String jobName, String jobGroup) throws SchedulerException {
    JobKey jobKey = JobKey.jobKey(jobName, jobGroup);
    // 删除作业
    scheduler.deleteJob(jobKey);
}

通过指定作业的JobKey,咱们可以从调度器中删除该作业。

这章展示了如何在Quartz中实现动态任务调度,包括如何在运行时添加、修改和删除任务。这些功能为应对快速变化的业务需求提供了强大的支持,使得Quartz成为一个灵活且强大的任务调度解决方案。通过实现这些动态调度功能,咱们的应用能够更加灵活地适应业务变化,提高效率和响应速度。

第六章:集群中的任务调度

随着应用规模的扩大,单一的任务调度器可能已经无法满足需求,特别是在高可用性和负载均衡方面。在这种情况下,将Quartz部署在集群模式下就显得尤为重要。集群模式能够确保即使某个节点失败,调度的任务也能由集群中的其他节点接管,从而提高了系统的可靠性和可用性。本章,小黑将介绍在集群环境下如何配置和使用Quartz,以及处理任务冲突和容错的策略。

Quartz集群配置

在Quartz集群中,所有的调度器实例都会共享一个数据库,这样它们就能共享作业和触发器的状态信息。要配置Quartz以在集群模式下运行,主要需要做的就是配置Quartz的属性文件(通常是quartz.properties),以便使用相同的数据库。

org.quartz.scheduler.instanceName = MyClusteredScheduler
org.quartz.scheduler.instanceId = AUTO
org.quartz.jobStore.class = org.quartz.impl.jdbcjobstore.JobStoreTX
org.quartz.jobStore.driverDelegateClass = org.quartz.impl.jdbcjobstore.StdJDBCDelegate
org.quartz.jobStore.useProperties = false
org.quartz.jobStore.dataSource = myDS
org.quartz.jobStore.tablePrefix = QRTZ_
org.quartz.jobStore.isClustered = true
org.quartz.dataSource.myDS.driver = com.mysql.jdbc.Driver
org.quartz.dataSource.myDS.URL = jdbc:mysql://localhost:3306/quartz?useSSL=false
org.quartz.dataSource.myDS.user = root
org.quartz.dataSource.myDS.password = secret
org.quartz.dataSource.myDS.maxConnections = 5

在这个配置中,isClustered属性被设置为true,表示Quartz将在集群模式下运行。此外,还需要配置数据库连接信息,因为集群中的所有调度器实例都需要访问同一个数据库。

集群任务调度的原理

在集群模式下,Quartz通过数据库锁来确保同一个任务不会被多个节点同时执行。当一个调度器实例尝试执行一个任务时,它会先在数据库中对该任务加锁。如果加锁成功,该实例就会执行任务;否则,意味着有其他实例已经在执行该任务,当前实例就会放弃执行。

处理集群环境下的任务冲突和容错

为了有效地在集群环境下管理任务调度,需要考虑到任务冲突和容错的问题。任务冲突通常发生在两个或两个以上的调度器实例尝试同时执行同一个任务的情况。如前所述,Quartz通过数据库锁机制来避免这种情况的发生。

容错机制是指当一个调度器实例失败时,集群中的其他实例能够接管未完成的任务。Quartz通过持续检查数据库中的锁和任务状态来实现这一点。如果一个实例在执行任务时失败,数据库中的锁将被释放,其他实例就可以接管并执行该任务。

通过部署Quartz到集群环境,咱们能够提高任务调度的可靠性和可用性,确保即使在部分节点出现故障的情况下,任务调度也能正常进行。这对于构建高可用的大规模应用至关重要。通过本章的介绍,希望咱们能够对Quartz在集群模式下的配置和运行有一个更深入的理解。

第七章:性能优化和最佳实践

随着任务调度的规模和复杂性的增加,性能优化变得尤为重要。一个高效的任务调度系统能够确保任务准时执行,同时最大限度地减少资源消耗。本章,小黑将分享一些关于Quartz性能优化的策略和技巧,以及在使用Quartz时的一些最佳实践。

性能优化策略

1. 合理配置线程池

Quartz使用线程池来执行作业,线程池的大小对性能有直接影响。如果线程池设置得太小,可能会导致任务排队等待执行,从而影响任务的及时性。反之,线程池设置得太大,又会增加系统的负担。因此,根据实际需求合理配置线程池大小是很重要的。

org.quartz.threadPool.class = org.quartz.simpl.SimpleThreadPool
org.quartz.threadPool.threadCount = 10
org.quartz.threadPool.threadPriority = 5
2. 使用数据库连接池

在集群环境下,Quartz通过数据库来共享任务和触发器的状态信息。使用数据库连接池不仅可以减少连接数据库的开销,还可以避免因为频繁打开和关闭数据库连接而造成的资源浪费。

3. 精确的触发器设置

避免使用过于频繁的触发器设置,尤其是在有大量作业需要调度时。过于频繁的触发可能会导致调度器过载,并且增加数据库的压力。在设置触发器时,尽量根据实际业务需求,选择合理的执行频率。

最佳实践

1. 分离长短作业

将长时间运行的作业与短时间运行的作业分开处理,可以提高调度器的效率。对于长时间运行的作业,可以考虑使用单独的调度器或线程池来执行,避免阻塞短作业的执行。

2. 监控和日志记录

监控Quartz的运行状态和性能指标,可以帮助及时发现和解决问题。同时,合理的日志记录策略不仅可以帮助调试,还可以作为系统运行状态的重要记录。

scheduler.getListenerManager().addJobListener(new MyJobListener(), EverythingMatcher.allJobs());
scheduler.getListenerManager().addTriggerListener(new MyTriggerListener(), EverythingMatcher.allTriggers());
3. 安全考虑

在配置Quartz时,尤其是在集群环境下,需要注意数据库的安全配置,避免敏感信息泄露。同时,对于执行的作业,如果涉及到敏感操作,需要进行适当的权限控制。

通过遵循这些性能优化策略和最佳实践,咱们可以构建一个既高效又可靠的任务调度系统。Quartz作为一个功能强大的任务调度框架,能够帮助咱们满足各种复杂的调度需求,但也需要咱们在使用时注意合理配置和优化,以发挥其最大的效能。

第八章:案例研究和总结

在前面的章节中,小黑带领咱们一起深入探讨了Quartz的基础知识、进阶用法、动态任务调度、集群部署以及性能优化和最佳实践。现在,通过几个实际的案例研究,咱们将看到Quartz如何在项目中解决复杂的任务调度问题,并从中总结一些关键的学习点。

案例研究一:电子商务平台的订单处理

在一个快速发展的电子商务平台中,需要定时处理订单状态,比如自动取消长时间未支付的订单、自动确认收货等。这些任务需要精确的时间控制和高度的可靠性。通过使用Quartz,平台开发团队能够定义复杂的调度逻辑,确保每项任务都能按时准确执行。

  • 挑战:确保在高并发环境下,定时任务的准确性和高效性。
  • 解决方案:利用Quartz的集群功能,将任务调度分布在多个节点上执行,通过数据库保持任务状态的同步,确保任务执行的一致性和可靠性。

案例研究二:金融系统中的报表生成

在一个金融系统中,报表生成是一个资源密集型的任务,需要在夜间低峰时段执行。这些报表任务不仅需要按照复杂的时间表来执行,还需要在执行前后进行数据的准备和清理工作。

  • 挑战:如何在保证系统性能的同时,确保报表按计划生成。
  • 解决方案:通过Quartz的Cron Trigger定义精确的执行计划,同时使用JobListener监听作业的执行状态,进行必要的数据准备和清理。

总结

通过这些案例研究,咱们可以看到Quartz作为一个强大的任务调度框架,能够帮助解决各种复杂的调度问题。无论是需要精确控制执行时间的场景,还是需要在分布式环境中保持任务执行一致性的需求,Quartz都能提供有效的解决方案。

关键学习点:

  • Quartz的灵活性和强大功能使其成为处理复杂任务调度问题的理想选择。
  • 通过合理配置和使用Quartz的高级特性,如集群支持和动态任务调度,可以大幅提升任务调度的效率和可靠性。
  • 性能优化和遵循最佳实践对于构建高效、可靠的任务调度系统至关重要。

 

标签:触发器,Quartz,复杂,作业,调度,quartz,任务调度
From: https://www.cnblogs.com/jijm123/p/18367069

相关文章

  • FreeRTOS学习:任务调度
     注:在使用大多数功能时,FreeRTOS都要将对应的宏置为1,具体的需要查看FreeRTOS官方文档。 任务堆栈相关寄存器如下,启动第一个任务FreeRTOS中启动第一个任务的流程总结如下,启动任务调度器vTaskStartScheduler()在该函数中会创建空闲任务prvIdleTask和软件定时器任务xTimerC......
  • 文献分享: DiskANN查询算法的复杂度下界
    文章目录0.写在前面0.1.预备知识0.2.一些记号0.3.本文的研究概述1.DiskANN\text{DiskANN}DiskANN回顾1.0.Intro1.1.......
  • 无需刷机和复杂操作,一个软件,用学习机看小说!
    无需刷机和复杂操作,一个软件,用学习机看小说!经常听歌的朋友应该知道,在下载音乐时,有的软件会自动下载歌词文件-LRC文件一般的音乐播放器会自动识别在音频文件同目录下的LRC文件,LRC文件需要与音频文件同名而LRC文件的编辑格式和文本文件的编辑格式相近,只是在前面多了一串时间......
  • 时间复杂度为O(n)的命令
    Redis是单线程的,单线程意味着任何一条命令的执行都是串行的,也就是按顺序一条一条的执行。那么当执行的命令耗时,就会导致后续的Redis访问都会阻塞。Redis中时间复杂度为O(n)的命令主要包括以下几类:List(列表)相关的命令:lindex:根据索引获取列表中的元素。如果索引接近列表的末尾,......
  • .NET 轻量化定时任务调度 FreeScheduler
    前言在平时项目开发中,定时任务调度是一项重要的功能,广泛应用于后台作业、计划任务和自动化脚本等模块。FreeScheduler是一款轻量级且功能强大的定时任务调度库,它支持临时的延时任务和重复循环任务(可持久化),能够按秒、每天/每周/每月固定时间或自定义间隔执行(CRON表达式)。此外......
  • JS 对象与数组互相嵌套的复杂例子
    JS写法如下:constmyObj={name:"John",age:30,cars:[{name:"Ford",models:["Fiesta","Focus","Mustang"]},{name:"BMW",models:["32......
  • Spring boot 要监听 S3 上的文件, 当有新文件到来时,下载新文件(Quartz 事件轮询版)
    在SpringBoot中实现使用Quartz定时任务轮询AWSS3Bucket,并根据文件的最后修改日期确定是否需要下载文件的功能。步骤一:添加依赖在pom.xml中添加SpringBoot、Quartz和AWSSDK的依赖:<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boo......
  • MySQL:复杂查询(二)——联合查询02
    本篇博客接上篇,上篇已讲联合查询部分知识:MySQL:复杂查询(一)——聚合函数&分组查询&联合查询01-CSDN博客目录1、联合查询1.1外连接1.1.1右外连接RIGHTJOIN1.1.2左外连接LEFTJOIN1.2自连接1.3子查询1.3.1单行子查询1.3.2多行子查询[NOT]IN1.3.3 多列......
  • 《SQL 中复杂条件多表关联查询的性能优化秘籍》
    在当今数据驱动的时代,数据库的操作和查询性能对于企业的业务运营至关重要。当面对复杂的业务逻辑和大规模的数据时,实现复杂条件的多表关联查询并确保高效的性能成为了数据库开发者和管理员面临的重要挑战。多表关联查询是在关系型数据库中获取全面和准确数据的常见操作。然......
  • Spring Cloud Alibaba 集成分布式定时任务调度功能
    作者:千习背景简介定时任务是指在约定的时间,或者按照固定频率周期性执行的任务。在企业应用中,非用户行为发起的后台业务,一般都是通过定时任务来实现,常见场景如下:异步数据处理:比如先将订单入库,每分钟扫描未支付的订单做批处理。自动化运维:比如每小时清理一次数据库的历史记录。......