首页 > 其他分享 >火山引擎DataLeap如何解决SLA治理难题(三): 平台架构与未来展望

火山引擎DataLeap如何解决SLA治理难题(三): 平台架构与未来展望

时间:2023-07-24 11:01:17浏览次数:46  
标签:服务 平台 治理 DataLeap 架构 团队 SLA

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

平台架构总结

火山引擎 DataLeap SLA平台整体主要分为基础组件、规划式治理服务、响应式治理服务三大块,系统组件架构图如下:

火山引擎DataLeap如何解决SLA治理难题(三): 平台架构与未来展望_数据中台

规划式治理服务

所谓“规划式治理”,即在问题发现前治理,通过主动规划约定SLA的形式保障任务产出。规划式治理是SLA相关问题发现的过程。

规划式治理服务即“提供以申报单签署的方式达成SLA协议的服务”,包括在此过程中申报单的生命周期管理操作,申报任务的链路分析,以及达成SLA之后的系统保障监控,服务于“申报签署流程”。

响应式治理服务

响应式治理是指通过复盘管理模块对SLA相关的事故/问题进行登记、管理、复盘的过程。在发现SLA相关问题之后,需要对问题进行处理,形成一个完整的闭环,在发现问题后进行的治理成为响应式治理。

响应式治理服务模块抽象出问题登记和事故管理两个模块,更加灵活的服务于数据SLA的问题归因与事故统计。

基础组件

基础组件提供了配置、播报、看板等基本功能模块服务,为规划式、响应式治理服务提供了必要支撑,是整体SLA保障服务不可或缺的一环。

(1)系统配置

  • 治理团队配置

治理团队为SLA的管理团队,每个申报单都需要绑定一个治理团队,治理团队主要负责审批申报单。

火山引擎DataLeap如何解决SLA治理难题(三): 平台架构与未来展望_数据治理_02

  • 数据团队配置

数据团队为数据的归属方,一个数据团队对应一个业务团队,数据团队的设计保障了各个业务团队独立治理的需求。平台通过对数据团队的灵活配置支持,可以更细粒度的划分数据与任务的归属,解决权责不清的问题。

  • 订阅配置

订阅管理是配置订阅信息的平台,本平台的订阅为SLA监控的通知播报,通过订阅管理可以将通知指定发动到个人或者群组。订阅管理是火山引擎DataLeap SLA监控保障服务不可或缺的一环。

火山引擎DataLeap如何解决SLA治理难题(三): 平台架构与未来展望_数据治理_03

(2)通知播报

通知播报是本平台所提供的基础通知能力,是降低沟通成本、实现保障服务、提升用户体验的重要手段。在重要节点变更、用户操作、SLA状态变化等情况下,都会进行通知播报。通知播报形式多样,根据不同的场景,有普通文本消息、加急消息、卡片通知、邮件通知、电话通知等。

(3) SLA大盘展板

SLA大盘展板是数据治理方最为关心的部分,展板提供当日SLA整体统计信息、SLA延迟趋势分析信息、SLA等级分布明细、任务健康度明细、团队SLA达成信息统计等丰富信息,是很多团队数据治理指标重要参照来源。

未来展望

未来字节跳动数据治理团队将持续打磨火山引擎DataLeap SLA保障平台,在卡点策略优化、SLA推荐算法优化、基于SLA的任务管理机制上持续提升技术能力:

  • 卡点策略优化:卡点计算作为优化签署流程中核心一环,卡点策略优化代表着签署流程进一步的简化,未来可以探索利用更多有效的信息优化卡点策略。
  • SLA推荐算法优化:SLA推荐算法是本平台的核算算法之一,已经申请了专利。随着业务的拓展,以及不同种类任务的支持,此算法还有广阔的提升空间,如进一步提升自动签署率,进一步提升准确率等。
  • 基于SLA的任务管理机制:任务签署SLA信息之后,即可依托SLA信息进行资源调度优化,并进行资源分配倾斜。

同时,文中阐述的部分能力已经通过火山引擎DataLeap产品向企业客户开放,欢迎关注。

点击跳转大数据研发治理套件 DataLeap了解更多

标签:服务,平台,治理,DataLeap,架构,团队,SLA
From: https://blog.51cto.com/bytedata/6833035

相关文章

  • 火山引擎DataLeap如何解决SLA治理难题(三): 平台架构与未来展望
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群平台架构总结火山引擎DataLeapSLA平台整体主要分为基础组件、规划式治理服务、响应式治理服务三大块,系统组件架构图如下: 规划式治理服务所谓“规划式治理”,即在问题发现前治理,......
  • c#三层架构实现登录
    C#三层架构实现登录1.流程概述在使用C#三层架构实现登录功能时,我们需要分为三个层次:数据访问层(DataAccessLayer,DAL)、业务逻辑层(BusinessLogicLayer,BLL)和表示层(PresentationLayer,UI)。下面是实现登录功能的整体流程:步骤描述1用户输入用户名和密码2UI层调用BLL......
  • 高级系统架构师学习(一)系统工程与信息系统基础
    一、前言已经有一段时间没有写博客了,最近事情比较多,工作和家里的事情也比较忙,慢慢的就没写了,不写博客以后人就懒了,故今天下定决心,重新开始强迫自己提升,挤时间学习一些新的东西!这次的专题就不写应用技术了,写一写我学习高级系统架构师的一些心得吧。我是去年报名学习高级......
  • 对比 5 个开源网关项目,这家 SaaS 企业如何统一网关架构
    作者:古建国关于美洽美洽作为全球智能云客服服务商,10年来深耕智能客服领域,旗下拥有在线客服、呼叫中心、客服机器人、工单系统、语音机器人等智能客服系列产品矩阵,覆盖不同行业客户服务场景,致力于帮助企业获客、销售和服务场景的效率提升。目前,美洽全链路产品已经服务超过40万......
  • 关于使用RocketMQ搭建多Master多Slave模式(同步)集群时遇到的问题
    搭建多Master多Slave模式(同步)集群时的java.lang.NullPointerException异常一、运行环境等基本描述(问题产生原因是权限问题,即权限不够导致无法启动broker,甚至broker线程无法通过jps命令查出。下面阐述分析思路)1.1)操作系统:Linux虚拟机:VMwareWorkstation16Pro、WSL ......
  • 物联网PaaS架构
    物联网PaaS架构实现流程1.确定需求和功能在实现物联网PaaS架构之前,首先需要明确具体的需求和功能。这包括确定要连接的物联网设备类型、数据采集和处理需求、云端服务功能等。2.设计系统架构在确定需求和功能后,需要设计物联网PaaS的系统架构。这包括确定云端服务的组件、设备......
  • 为什么选择微服务架构
    为什么选择微服务架构导言在过去的几十年中,软件开发领域一直在不断演进。从最早的单片机编程,到面向对象编程,再到现在的云计算和大数据时代。这些变化不仅仅是技术的进步,也是业务需求和用户体验的不断提高所带来的结果。其中,微服务架构是近年来备受关注的一种架构模式。什么是微......
  • HBase架构和技术原理介绍
    一、HBase数据模型(☆)1.NameSpace命名空间,类似于关系型数据库的DataBase概念,每个命名空间下有多个表。HBase有两个自带的命名空间,分别是hbase和default,hbase中存放的是HBase内置的表,default表是用户默认使用的命名空间。2.Region类似于关系型数据库的表概念。不同的是,H......
  • 1.2 架构DNS服务器使用的软件及它们的比较、特点
    架构DNS服务器使用的软件及它们的比较、特点DNS(DomainNameSystem)是互联网中用于将域名转换为IP地址的系统。在构建架构DNS服务器时,选择合适的软件是非常重要的。本文将介绍几种常见的架构DNS服务器软件,并对它们进行比较和特点分析。1.BINDBIND(BerkeleyInternetNameDomain)......
  • [爬虫]3.2.2 分布式爬虫的架构
    在分布式爬虫系统中,通常包括以下几个主要的组成部分:调度器、爬取节点、存储节点。我们接下来将详细介绍每一个部分的功能和设计方法。1.调度器(Scheduler)调度器是分布式爬虫系统中的核心,它负责管理和分发爬取任务。调度器通常需要处理以下功能:URL管理:调度器需要管理一个URL队......