首页 > 其他分享 >火山引擎DataLeap数据调度实例的 DAG 优化方案 (二):功能设计

火山引擎DataLeap数据调度实例的 DAG 优化方案 (二):功能设计

时间:2023-05-16 15:01:33浏览次数:40  
标签:DAG 模式 实例 DataLeap 链路 下游 节点 功能设计

针对上面存在的问题以及对需求的分析,我们可以进行如下的功能实现与设计: 首先是渲染方案的替换,将 svg 的渲染方案替换成 canvas 渲染,通过减少页面中 DOM 的数量,提高前端渲染性能。 其次是不同场景的功能设计,通过上面的需求分析,火山引擎DataLeap研发人员设计了不同的功能模式以满足不同的需求。

模式名称 功能
通用模式 分析上游阻塞下游运行的原因、查看上游最晚完成的实例
统计模式 对依赖当前实例的所有下游进行分组查看
链路模式 分析两个实例之间的链路关系
在通用模式中,用户关注的是节点上下游的关系,在复杂链路中快速找到阻塞节点,同时关注阻塞节点的信息。 针对复杂链路,火山引擎DataLeap研发人员设计了多种优化形式: 首先,在同一层的节点超过一定的数量(可自定义)后,所有节点将聚合在一起,火山引擎DataLeap研发人员称之为聚合节点。这种优化下,可以解决上面提到的由于同一层级节点过多,查找特定状态节点不便的问题。也支持点击聚合详情,通过列表的形式,查看所有被聚合的节点。并支持筛选,快速查找到关注的节点并通过展开,恢复与当前节点的依赖关系。 其次,以用户最关注的实例状态,对被聚合的节点进行分类,同时新增快捷展开操作。以下图为例,当前实例处于等待上游依赖完成状态,在这种情况下,用户关注的,则是上游没有开始执行的节点。在聚合节点中,可以清晰地看到存在一个实例,是在等待执行的,点击数字1,即可快速展开实例。 在这个例子中,就将不需要关注的上游成功节点隐藏在列表中,突出图所需要关注的重点信息。 同时,为了降低节点展示过多导致图显示杂乱的情况,新增了收起功能及跳转功能。 收起功能是指在通过在聚合节点展开的节点的情况,或是在直接展开上 / 下游的情况下,都支持对某个上游 / 下游节点的整条链路收起,方便用户在浏览完一条链路后,恢复图之前的状态,继续浏览下一条链路,减少对后续分析的干扰。 跳转功能是在查看当前节点的上游的其他下游,或是下游的其他上游,此时,用户关注的节点已经转化为其他的上游 / 下游节点。所以,通过跳转新页面的形式,将需要关注的不同节点的上 / 下游信息区分开,减少在一张图中展示所有信息。 并且由于图中的节点承载信息的能力有限,在通过点击节点时,会在下方出现与选中实例相关信息,包括属性,日志等,协助用户运维任务。     在统计模式中,用户关注的是依赖当前节点的下游节点,下游节点则可以分成直接下游和所有下游。所以火山引擎DataLeap研发人员设计了分层模式和合并模式,在这两种模式下,可以按照任务的属性(任务类型 / 实例状态 / 责任人等)作为分组维度。   分层模式:   合并模式:       所谓链路模式即指定上游节点,一键展示指定节点与当前节点的链路信息,从而进行精准链路分析。

标签:DAG,模式,实例,DataLeap,链路,下游,节点,功能设计
From: https://www.cnblogs.com/bytedata/p/17405668.html

相关文章

  • 「TJOI2018」智力竞赛(二分+DAG最小可相交路径覆盖)
    https://loj.ac/problem/2574这个题目描述扎心了。简要题意:用n+1条可以相交的路径去覆盖DAG,使得没被覆盖的点的权值的最小值最大。首先二分答案,问题转换为有一些点一定要被覆盖,问n+1条路径内有没有解。这个可以暴力费用流,每个点拆成两个点,\(i->i',r=1\),如果这个点必选,则费用为inf,......
  • ex2016部署DAG高可用
    目录目录1、环境介绍2、网卡准备3、AD配置3.1、为administrators组授权ExchangeTrustedSubsystem3.2、在DNS中创建A记录dag3.3、创建dag计算机对象并授权给dag成员服务器4、通过ecp配置DAG4.1、创建dag可用性组4.2、配置dag网络4.3、创建dag数据库5、通过命令查看dag状态1、环......
  • 火山引擎 DataLeap 下 Notebook 系列文章三:架构升级详解
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群当使用Notebook的项目日渐增加时,火山引擎DataLeap研发团队发现运行中的PaaS服务实在太多了,之前的架构有如下缺点:部署麻烦。全量升级JupyterLab较为痛苦。尽管有升级脚本,但是通过A......
  • 火山引擎 DataLeap:在数据研发中,如何提升效率?
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群在数仓及中台研发过程中,研发人员经常需要在不同任务中维护相同或类似代码,不仅费时费力,并且代码迭代后也面临不同业务单元逻辑性不一致的问题,对运维管理形成挑战。 一般来说,研发人员往往通......
  • Codeforces Round #459 (Div. 2) D. MADMAX DAG&&博弈
    Asweallknow,Maxisthebestvideogameplayeramongherfriends.Herfriendsweresojealousofhers,thattheycreatedanactualgamejusttoprovethatshe’snotthebestatgames.Thegameisplayedonadirectedacyclicgraph(aDAG)withnvertic......
  • Exchange Server 2016 :高可用DAG+NLB
    上一篇文章介绍了现在ExchangeServer2016的架构体系,体系中Exchange的高可用就只剩下了DAG,对于NLB已经采用了其余的负载平衡器。但是在实际测试中,我发现使用两台服务器可以同时部署DAG和NLB,这样部署出来虽然在使用中暂没有发现有什么问题,但是在部署的时候会存在问题,所以这样的DA......
  • 电力布局三维编辑器功能设计
    楔子最近和一家公司在谈一个项目合作,他们公司主要是做电力相关的。项目背景大概是这样的:国家电网对电网资产需要做到数字化管理,对现有变压器台区内的电表箱电能表做可视化数字孪生管理。由于涉及到的台区非常多,所以客户希望开发的不是单个项目,而是可以实现项目的3D编辑器,使得......
  • 火山引擎 DataLeap 下 Notebook 系列文章二:技术路线解析
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群在Jupyter的生态下,除了Notebook本身,火山引擎DataLeap研发团队还注意到了很多其他组件。彼时,JupyterLab正在逐渐取代传统的JupyterNotebook界面,成为新的标准。JupyterHub使用广泛,是......
  • 火山引擎 DataLeap 下 Notebook 系列文章一:技术选型之路
     更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群Notebook是一种支持REPL模式的开发环境。所谓「REPL」,即「读取-求值-输出」循环:输入一段代码,立刻得到相应的结果,并继续等待下一次输入。Notebook通常使得探索性的开发和调试更加便捷,在Note......
  • 火山引擎DataLeap下Notebook 系列文章一:技术选型之路
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群Notebook是一种支持REPL模式的开发环境。所谓「REPL」,即「读取-求值-输出」循环:输入一段代码,立刻得到相应的结果,并继续等待下一次输入。Notebook通常使得探索性的开发和调试更加便捷,在No......