首页 > 其他分享 >elasticjob:如何分片

elasticjob:如何分片

时间:2023-02-10 12:55:31浏览次数:44  
标签:处理 如何 job elasticjob 分片 服务器 数据

elasticjob

elasticjob可以执行我们编写的各种job,通常我们会创建一张定时任务表,然后保存一条Job记录,由相关的Job类去执行

分片

假设一台服务器运行着A应用,

  1. 不分片,那么A应用的JobA就会处理所有的job记录。
  2. 如果分片了,一般都是有多台服务器部署A做集群的情况下。比如说3台服务器,那么分3片,每台服务器各执行一片,代码层面通常以id % #{totalCount} = #{shardingItem}来分担数据,由此每台服务器各处理1/3的数据

注意事项

  1. 只要配置好 shardingTotalCount 和 shardingItemParameters就行了,具体哪些服务器负责哪个分片不归我们管,由elasticjob来调度
  2. shardingItemParameters的索引号不能大于等于shardingTotalCount
  3. 分片数量最好 >= 服务器数量,更好是 分片数量和服务器数量是倍数关系。
  4. ShardingContext可以拿到分片项和分配参数,如果单纯是job分担数据,分片项可以用。如果有特殊要求,比如不同服务器处理不同地区的数据,那就得用分片参数
  5. 既然分片了,就一定要对业务代码进行改造。比如说你分3片,原来的业务代码根本没变,没有用到分片项和分配参数,就会导致3台服务器执行了一样的数据,数据量翻三倍,业务也错乱
  6. 一台服务器一个分片 处理 A,B,C数据 和 一台服务器3个分片处理A,B,C数据是不一样的。前者只有一个线程来处理,后者是可能为多线程处理

标签:处理,如何,job,elasticjob,分片,服务器,数据
From: https://www.cnblogs.com/ibcdwx/p/17108534.html

相关文章