数据集成平台关于【源平台调度&任务生命周期】

任务调度者

• 调度事件
• 生产任务
• 调度任务池-异步
AsynDispatcher --source

实例化适配器执行

• 消费任务
• 实例化集成应用 DataHub Instance
handleSourceDispatch()
• 依赖注入集成方案适配器
• 调度条件检查
• 执行适配器调度方法
• 联动其它方案调度任务 SourceEvent

适配器调度周期

• 初始化变量
• 根据元数据配置生成请求参数
• 向源队列存储器 写入任务=>JobId
• 生产任务
• 方案任务队列池-异步
租户进程

实例化适配器执行

• 实例化集成应用 DataHub Instance
handleSourceJob()
• 根据任务id定位找到mongodb中对应的任务详情 JobId=>findSourceJob
• 执行适配器内SDK
Adapter->SDK->invoke()

触发事件加工厂

• 事件加工厂 ScriptFactory::AfterSourceInvoke

适配器处理响应-success

• 处理响应数据
 handleResponse
• 判断 接口请求任务 成功/失败
• 定位 Response 数据Key
• 遍历数据对象，Mongodb 存储对象
• 标记任务状态 Finished
• 提供InvokeRequest 进行分页查询任务

适配器处理任务错误

• Throwable 异常搜集器
• 标记任务状态 Error
• 任务重试机制 ReQueue()