首页 > 其他分享 >数据集成平台关于【源平台调度&任务生命周期】

数据集成平台关于【源平台调度&任务生命周期】

时间:2022-11-16 22:34:42浏览次数:46  
标签:集成 生命周期 适配器 平台 调度 任务 实例 任务调度

任务调度者

  • 调度事件
  • 生产任务
  • 调度任务池-异步
AsynDispatcher --source

实例化适配器执行

  • 消费任务
  • 实例化集成应用 DataHub Instance
handleSourceDispatch()
  • 依赖注入集成方案适配器
  • 调度条件检查
  • 执行适配器调度方法
  • 联动其它方案调度任务 SourceEvent

适配器调度周期

  • 初始化变量
  • 根据元数据配置生成请求参数
  • 向源队列存储器 写入任务=>JobId
  • 生产任务
  • 方案任务队列池-异步
租户进程

实例化适配器执行

  • 实例化集成应用 DataHub Instance
handleSourceJob()
  • 根据任务id定位找到mongodb中对应的任务详情 JobId=>findSourceJob
  • 执行适配器内SDK
Adapter->SDK->invoke()

触发事件加工厂

  • 事件加工厂 ScriptFactory::AfterSourceInvoke

适配器处理响应-success

  • 处理响应数据
 handleResponse
  • 判断 接口请求任务 成功/失败
  • 定位 Response 数据Key
  • 遍历数据对象,Mongodb 存储对象
  • 标记任务状态 Finished
  • 提供InvokeRequest 进行分页查询任务

适配器处理任务错误

  • Throwable 异常搜集器
  • 标记任务状态 Error
  • 任务重试机制 ReQueue()

数据集成平台关于【源平台调度&任务生命周期】_数据

标签:集成,生命周期,适配器,平台,调度,任务,实例,任务调度
From: https://blog.51cto.com/u_13983116/5857830

相关文章

  • 数据集成平台关于【源平台调度&任务生命周期】
    任务调度者调度事件生产任务调度任务池-异步
AsynDispatcher--source实例化适配器执行消费任务实例化集成应用DataHubInstance
handleSourceDispatch()依......
  • vivo霍金实验平台设计与实践-平台产品系列02
    vivo霍金实验平台设计与实践-平台产品系列02https://mp.weixin.qq.com/s/Bg1POF_eosTPgGNK3VzVtgvivo霍金实验平台设计与实践-平台产品系列02原创 BaoDawei vivo互联......
  • 多云管理平台发展的几个阶段
    ​多云管理平台能够无差别地提供统一的资源管理、业务能力和运行维护等功能,从而可以屏蔽掉底层云资源池的差异性,大大降低了用户的建设成本和运行维护成本,因此也是目前算力网......
  • 解决linux平台无法使用getch()的问题
    参考https://www.cnblogs.com/jiangxinnju/p/5516906.html#:~:text=%E5%8F%A6%E5%A4%96%E5%A4%A7%E5%AE%B6%E5%B9%B3%E6%97%B6%E4%B8%BB%E8%A6%81%E6%98%AF%E5%88%A9%E7%94......
  • 外贸平台有哪些比较好
    外贸平台有哪些?怎么选比较好?入驻外贸平台是跨境电商的首选,各平台的特点不同,下面就随ytkah一起看看目前比较火爆的一些外贸网站平台吧下图是全球电商平台的流量统计,对选......
  • 多云管理平台发展的几个阶段
     多云管理平台能够无差别地提供统一的资源管理、业务能力和运行维护等功能,从而可以屏蔽掉底层云资源池的差异性,大大降低了用户的建设成本和运行维护成本,因此也是目前算力......
  • AIRIOT物联网低代码平台如何配置交通部JT-808协议?
    属性配置可配置终端ID和SIM卡号,数据点配置决定设备传上来的哪些数据可以存储展示。驱动配置可配置采集周期和通讯超时时间。AIRIOT物联网低代码平台如何配置交通部J......
  • 结对编程 电梯调度
    《软件工程基础》上机实验报告撰写要求 一、 纸张与页面要求1. 采用国际标准A4型打印纸或复印纸,纵向打印。2. 封页和页面按照下面模板书写(正文为:小四宋体1.5倍行......
  • 钉钉开放平台解读
    官网:https://open.dingtalk.com/document/我们在官网上可以看到钉钉为我们提供的开放能力 共有如下5部分应用开发,主要指的是H5微应用和小程序的开发工作台开放,主要......
  • 双 11 狂欢背后,火山引擎数智平台为品牌做了这件事
     更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群 29万个品牌超2100件商品参与天猫双11,整体交易规模与去年持平;京东科技......