CommandPool 实际上是一个线程池的处理,官方实现了好几种线程池
主要作用
- 限制并行请求以以及job 的运行
- 定义优先级任务
特点
- 任务基于优先级以及提交时间进行自然排序
- 当线程空闲的是否任务会尽快的执行
- 在其他任务需要运行的是否,比较忙碌的线程必须先完成
- CommandPool 的注册是由CommandPoolFactory处理的
实现类
实际具体实现可以参考不同实现的源码
创建
上边也说了,是由CommandPoolFactory 创建的,参加处理
参考代码
public CommandPool newPool(final DremioConfig config, final Tracer tracer) {
if (config.getBoolean(RELEASABLE_COMMAND_POOL_ENABLED)) {
final int poolSize = getPoolSize(config);
logger.info("Starting releasable bound command pool of size {}", poolSize);
return new ReleasableBoundCommandPool(poolSize, tracer);
}
if (config.getBoolean(COMMAND_POOL_ENABLED)) {
final int poolSize = getPoolSize(config);
logger.info("Starting bound command pool of size {}", poolSize);
return new BoundCommandPool(poolSize, tracer);
}
logger.info("Starting unbound command pool");
// We don't bother decorating the same thread pool.
// The tracing context doesn't have to move.
return new SameThreadCommandPool();
}
// 实际的cpu 处理器个数
private int getPoolSize(final DremioConfig config) {
int poolSize = config.getInt(POOL_SIZE);
poolSize = poolSize > 0 ? poolSize : VM.availableProcessors() - 1; // make sure we don't use all cores by default
return Math.max(1, poolSize); // in the unlikely case where the cpu has a single core
}
说明
CommandPool 在好多任务执行的地方都是需要依赖的,但是主要是AttemptManager 进行操作,由源头ForemenWorkManager 依赖,并传递到依赖的服务中
参考资料
services/command-pool/src/main/java/com/dremio/service/commandpool/CommandPool.java
标签:dremio,return,poolSize,CommandPool,简单,config,final,pool From: https://www.cnblogs.com/rongfengliang/p/16983356.html