SpringBoot集成ShedLock实现分布式定时任务流程详解
我是陈晓 · 153浏览 · 发布于2023-02-24
ShedLock是一个锁，官方解释是他永远只是一个锁，并非是一个分布式任务调度器。一般shedLock被使用的场景是，你有个任务，你只希望他在单个节点执行，而不希望他并行执行，而且这个任务是支持重复执行的
一、背景
在项目服务是集群部署的时候，代码在每个人都会有定时任务，但是如果让每个节点都去跑定时任务是不大合适的。SpringBoot 中的 ShedLock 可以很好解决这个问题，下面我将为大家详细介绍 SpringBoot 如何集成 ShedLock，而 ShedLock 又是如何实现分布式定时的。
二、ShedLock是什么
官方地址
以下是ShedLock锁提供者，通过外部存储实现锁，由下图可知外部存储集成的库还是很丰富:
本篇教程我们基于JdbcTemplate存储为例来使用ShedLock锁。
三、落地实现
3.1 引入依赖包
shedlock所需依赖包：
<!-- web工程依赖包 --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>net.javacrumbs.shedlock</groupId> <artifactId>shedlock-spring</artifactId> <version>4.2.0</version> </dependency> <!--每个外部存储实例所需依赖包不一样，这里是jdbc--> <dependency> <groupId>net.javacrumbs.shedlock</groupId> <artifactId>shedlock-provider-jdbc-template</artifactId> <version>4.2.0</version> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-jdbc</artifactId> </dependency> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <scope>runtime</scope> </dependency>
依赖包树形图：
3.2 配置数据库连接信息
server:
port: 8105
spring:
datasource:
url: jdbc:mysql://127.0.0.1:3306/testjdbc?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai
username: root
password: 123456
driver-class-name: com.mysql.cj.jdbc.Driver
type: com.mysql.cj.jdbc.MysqlDataSource
3.3 创建Mysql数据表
CREATE TABLE `shedlock` ( `name` varchar(64) NOT NULL COMMENT 'name' , `lock_until` timestamp(3) NULL DEFAULT NULL , `locked_at` timestamp(3) NULL DEFAULT NULL , `locked_by` varchar(255) NULL DEFAULT NULL , PRIMARY KEY (`name`) ) ENGINE=InnoDB DEFAULT CHARACTER SET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci ROW_FORMAT=DYNAMIC ;
3.4 配置LockProvider
ShedLockConfig.java:
import net.javacrumbs.shedlock.core.LockProvider;
import net.javacrumbs.shedlock.provider.jdbctemplate.JdbcTemplateLockProvider;
import org.springframework.context.annotation.Bean;
import org.springframework.stereotype.Component;
import javax.annotation.Resource;
import javax.sql.DataSource;
/**
* @description: Shedlock集成Jdbc配置类
*/
@Component
public class ShedLockConfig {
@Resource
private DataSource dataSource;
@Bean
private LockProvider lockProvider() {
return new JdbcTemplateLockProvider(dataSource);
}
}springboot主启动类MerakQuartzApplication：
import net.javacrumbs.shedlock.spring.annotation.EnableSchedulerLock;
import org.mybatis.spring.annotation.MapperScan;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.boot.autoconfigure.security.servlet.SecurityAutoConfiguration;
import org.springframework.context.annotation.Bean;
import org.springframework.scheduling.annotation.EnableAsync;
import org.springframework.scheduling.annotation.EnableScheduling;
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;
import org.springframework.scheduling.concurrent.ThreadPoolTaskScheduler;
import java.util.concurrent.Executor;
import java.util.concurrent.ThreadPoolExecutor;
/**
* @version 1.0
* @ClassName: MerakQuartzApplication
* @description: 工单任务调度
*/
// 开启定时器
@EnableScheduling
// 开启定时任务锁，指定一个默认的锁的时间30秒
@EnableSchedulerLock(defaultLockAtMostFor = "PT30S")
@EnableAsync
@MapperScan(basePackages = {"com.merak.hyper.automation.persist.**.mapper"})
@SpringBootApplication(scanBasePackages = {"com.merak.hyper.automation.**"},
exclude = {SecurityAutoConfiguration.class})
public class MerakQuartzApplication {
public static final Logger log = LoggerFactory.getLogger(MerakQuartzApplication.class);
public static void main(String[] args) {
SpringApplication.run(MerakQuartzApplication.class, args);
}
private int taskSchedulerCorePoolSize = 15;
private int awaitTerminationSeconds = 60;
private String threadNamePrefix = "taskExecutor-";
/**
* @description: 实例化ThreadPoolTaskScheduler对象，
用于创建ScheduledFuture<?> scheduledFuture
*/
@Bean
public ThreadPoolTaskScheduler threadPoolTaskScheduler() {
ThreadPoolTaskScheduler taskScheduler = new ThreadPoolTaskScheduler();
taskScheduler.setPoolSize(taskSchedulerCorePoolSize);
taskScheduler.setThreadNamePrefix(threadNamePrefix);
taskScheduler.setWaitForTasksToCompleteOnShutdown(false);
taskScheduler.setAwaitTerminationSeconds(awaitTerminationSeconds);
/**需要实例化线程*/
taskScheduler.initialize();
// isinitialized = true;
log.info("初始化ThreadPoolTaskScheduler ThreadNamePrefix=
" + threadNamePrefix + ",PoolSize=" + taskSchedulerCorePoolSize
+ ",awaitTerminationSeconds=" + awaitTerminationSeconds);
return taskScheduler;
}
/**
* @description: 实例化ThreadPoolTaskExecutor对象，管理线程
*/
@Bean("asyncTaskExecutor")
public Executor taskExecutor() {
ThreadPoolTaskExecutor taskExecutor = new ThreadPoolTaskExecutor();
taskExecutor.setCorePoolSize(5);
taskExecutor.setMaxPoolSize(50);
taskExecutor.setQueueCapacity(200);
taskExecutor.setKeepAliveSeconds(60);
taskExecutor.setThreadNamePrefix("asyncTaskExecutor-");
taskExecutor.setWaitForTasksToCompleteOnShutdown(true);
taskExecutor.setAwaitTerminationSeconds(60);
//修改拒绝策略为使用当前线程执行
taskExecutor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
//初始化线程池
taskExecutor.initialize();
return taskExecutor;
}
}3.5 创建定时Job
DigitalEmpTask：
package com.merak.hyper.automation.quartz.task;
import net.javacrumbs.shedlock.spring.annotation.SchedulerLock;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Component;
import java.util.List;
/**
* @version 1.0
* @ClassName: BizOrderTask
* @description: 任务队列服务调度
*/
@Component
public class DigitalEmpTask {
public static final Logger log = LoggerFactory.getLogger(DigitalEmpTask.class);
@Scheduled(cron = "0/30 * * * * ?")
@SchedulerLock(name = "digitalEmpTaskScheduler", lockAtMostFor = "PT25S",
lockAtLeastFor = "PT25S")
protected void digitalEmpTaskScheduler() {
log.info("云执行调度中心1:任务开始执行,时间:
" + DateUtils.dateTimeNow(DateUtils.YYYY_MM_DD_HH_MM_SS));
try {
} catch (Exception e) {
log.error("云执行调度中心1调度失败，原因：" + e.getMessage());
}
}
}四、结果分析
1.分别启动两个服务节点，配置如下：
server:
port: 12105
servlet:
context-path: /automation-quartz-oneserver:
port: 12106
servlet:
context-path: /automation-quartz-two
2.运行日志(片断）
节点automation-quartz-one 运行日志： 2023-02-22 12:01:00.143 [taskExecutor-1] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:01:00 2023-02-22 12:05:00.114 [taskExecutor-3] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:05:00 2023-02-22 12:05:30.122 [taskExecutor-6] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:05:30 2023-02-22 12:19:30.110 [taskExecutor-3] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:19:30 节点automation-quartz-two运行日志： 2023-02-22 12:01:30.109 [taskExecutor-3] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:01:30 2023-02-22 12:02:00.101 [taskExecutor-1] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:02:00 2023-02-22 12:02:30.105 [taskExecutor-2] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:02:30 2023-02-22 12:03:00.118 [taskExecutor-3] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:03:00 2023-02-22 12:03:30.101 [taskExecutor-4] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:03:30 2023-02-22 12:04:00.110 [taskExecutor-1] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:04:00 2023-02-22 12:04:30.111 [taskExecutor-5] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:04:30 2023-02-22 12:06:00.114 [taskExecutor-13] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:06:00 2023-02-22 12:06:30.108 [taskExecutor-14] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:06:30 2023-02-22 12:07:00.114 [taskExecutor-15] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:07:00 2023-02-22 12:07:30.115 [taskExecutor-1] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:07:30 2023-02-22 12:08:00.102 [taskExecutor-5] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:08:00 2023-02-22 12:08:30.103 [taskExecutor-11] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:08:30 2023-02-22 12:09:00.099 [taskExecutor-6] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:09:00 2023-02-22 12:09:30.113 [taskExecutor-3] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:09:30 2023-02-22 12:10:00.107 [taskExecutor-7] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:10:00 2023-02-22 12:10:30.110 [taskExecutor-15] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:10:30 2023-02-22 12:11:00.111 [taskExecutor-1] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:11:00 2023-02-22 12:11:30.100 [taskExecutor-5] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:11:30 2023-02-22 12:12:00.112 [taskExecutor-11] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:12:00 2023-02-22 12:12:30.102 [taskExecutor-6] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:12:30 2023-02-22 12:13:00.097 [taskExecutor-3] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:13:00 2023-02-22 12:13:30.107 [taskExecutor-14] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:13:30 2023-02-22 12:14:00.111 [taskExecutor-4] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:14:00 2023-02-22 12:14:30.106 [taskExecutor-8] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:14:30 2023-02-22 12:15:00.095 [taskExecutor-9] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:15:00 2023-02-22 12:15:30.101 [taskExecutor-10] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:15:30 2023-02-22 12:16:00.105 [taskExecutor-2] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:16:00 2023-02-22 12:16:30.130 [taskExecutor-12] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:16:30 2023-02-22 12:17:00.107 [taskExecutor-13] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:17:00 2023-02-22 12:17:30.113 [taskExecutor-7] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:17:30 2023-02-22 12:18:00.104 [taskExecutor-15] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:18:00 2023-02-22 12:18:30.112 [taskExecutor-1] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:18:30 2023-02-22 12:19:00.103 [taskExecutor-5] INFO <DigitalEmpTask:46> - 云执行调度中心1:任务开始执行,时间:2023-02-22 12:19:00
3、shedlock表记录信息：
相关推荐
PHP实现部分字符隐藏
沙雕mars · 1324浏览 · 2019-04-28 09:47:56
沙雕mars · 1324浏览 · 2019-04-28 09:47:56
Java中ArrayList和LinkedList区别
kenrry1992 · 907浏览 · 2019-05-08 21:14:54
kenrry1992 · 907浏览 · 2019-05-08 21:14:54
5月语言排行榜：R 跌出前二十，Python 紧咬 C++
manongba · 686浏览 · 2019-05-09 17:27:24
manongba · 686浏览 · 2019-05-09 17:27:24
Tomcat 下载及安装配置
manongba · 967浏览 · 2019-05-13 21:03:56
manongba · 967浏览 · 2019-05-13 21:03:56
什么是SpringBoot
iamitnan · 1086浏览 · 2019-05-14 22:20:36
iamitnan · 1086浏览 · 2019-05-14 22:20:36
最新发布
最热排行
0评论