首页 > 其他分享 >[数据管理] 数据中台之数据服务体系

[数据管理] 数据中台之数据服务体系

时间:2023-11-30 13:11:39浏览次数:33  
标签:数据服务 服务 业务 数据管理 中台 应用 数据 API

9 数据服务体系

9.0 序:数据资产 => 数据服务(【资产服务化】,服务业务化)

水是生命的源泉,是人们赖以生存和发展的重要物质资源。
在日常生活中,可以通过不同的方式使用水,这也给我们的生活带来巨大便利。
在数据世界中,数据资产就好比日常生活中生命所需的水资源,无处不在且不可或缺。
但是如果没有相应的水加工厂、传输管道,人们就只能到水库打水喝,这明显会极大影响人们正常的生活和工作。
因此,将数据资产封装成数据服务,以共享接口、共享数据管道、共享数据库等方式提供给上层应用,才能极大释放、提升数据资产的价值。

数据服务体系就是把数据变为一种服务能力,通过数据服务让数据参与到业务之中,激活整个数据中台,这也是数据中台的价值所在。

9.1 补全数据应用的最后“一公里”

数据资产只有形成数据服务业务所使用,才能体现其价值。
以往传统做法是根据某个应用产品的需要,独立构建非常多的数据接口应用产品对接,这会形成数据接口的“孤岛”,造成大量接口的重复建设,且修改、运维、监控的成本都很大,需要抽象成可管理、可复用、可监控统一标准下的数据服务体系

而通过数据服务便捷地对接业务系统应用系统,才能将数据资产灵活地使用起来,最终给企业带来各种适配业务场景的数据解决方案,从而提升效率。
数据服务作为数据中台实现资产服务化的核心能力,是连接前台业务数据的桥梁,通过服务接口的方式对数据进行封装和开放,快速、灵活地满足上层应用的需求。
数据中台能够以提供数据服务的方式直接驱动业务,不需要大量人力的介入,即可让业务更快地产生价值

9.1.1 定义与定位

数据服务是对数据进行计算逻辑的封装(过滤查询、多维分析和算法推理等计算逻辑),生成API服务,上层数据应用可以对接数据服务API,让数据快速应用到业务场景中。

从图9-1的数据中台架构图可见,数据服务数据中台能力的出口,是数据应用的重要支撑。
在数据中台落地支撑业务时,数据分析师或算法工程师可以通过数据服务配置中台数据资产的访问API,这样数据应用产品可以方便地使用中台的数据能力,支撑业务决策和智能创新。

9-1 数据中台总体架构图

9.1.2 主要分类

按照数据与计算逻辑封装方式的不同,数据服务可分为以下三类:

  • 基础数据服务
    • 它面向的对象是物理表数据,主要面向的场景包括数据查询多维分析等,通过自定义SQL的方式实现数据中台全域物理表数据的指标获取和分析。
  • 标签画像服务
    • 它面向的对象是标签数据,主要面向的场景包括标签圈人画像分析等,通过界面配置方式实现数据中台全域标签数据跨计算、存储的统一查询分析计算,加快数据应用的开发速度。
  • 算法模型服务
    • 它面向的对象是算法模型,主要面向的场景包括:智能营销个性化推荐金融风控等,主要通过界面配置方式将算法模型一键部署为在线API,支撑智能应用和业务。

9.1.3 核心价值

数据服务作为补全数据应用的最后一公里,它的核心价值有以下4点:

  • 1、确保数据在业务层的全域流通
    • 数据服务可以对数据中台的全量数据进行封装透出,让中台的数据支撑业务,加速数据业务化的流程;
    • 数据业务产生的反馈数据可以流回到数据中台中,不断优化现有的数据服务,让数据在业务中持续流动起来。
  • 2、降低数据接口的重复建设
    • 前端不同的数据应用对数据的需求有些是类似的。
      • 例如客户画像和客户精准营销都对客户的特征有需求,通过统一的数据㐌创建的包含客户特征数据的接口,可以通过授权函分别提供给画像和营销两个应用。
      • 与以前的烟囱式开发相比,这样做的好处是可以避免数据接口的重复建设。通过一次创建、多次授权的方式快速交付给业务前端。
  • 3、保障数据获取的及时性和稳定高效
    • 通过统一的数据服务,对于不同业务部门给数据中台提的数据需求,中台管理方可以进行统一规划和分配,从整体上保障资源和需求的协调。
    • 同时,通过数据服务中的数据,中台可以及时得到业务上的完整反馈信息,并基于真实数据及时调整;
    • 若需要及时的数据,则给予实时性的保障;若需要稳定的数据,则给予可用性的保障。
  • 4、使能数据能力扩展
    • 通过统一数据中台,不断扩展数据源优化数据资产建设扩展数据服务封装方式,将数据能力进行持续扩展,不断给数据业务和数据应用提供更多数据价值。

9.2 常见的数据服务x4

  • 数据服务类型是对数据使用场景的抽象提炼, 可以根据不同的数据使用场景,抽象出:查询服务、执行服务、分析服务、检索服务、圈人服务、推荐服务、风控服务等多种数据服务类型
  • 这些最小化的数据服务可以按需组合在一起,构成一个复杂的数据服务体系,并通过交互界面的封装,形成一个数据应用产品

由于篇幅有限,本节仅介绍4种较为常见的数据服务:

  • 常见的数据服务
    • 解释:数据服务指将数据集以标准API方式输出以服务不同业务场景需求的能力。
    • 1、查询服务
      • 输入特定的查询条件,返回该条件下的数据,以API形式供上层应用调用;
    • 2、分析服务
      • 借助分析组件高效的大数据分析能力,对数据进行关联分析,分析结果通过API形式供上层应用调用。
    • 3、推荐服务
      • 按约定的格式提供历史日志行为数据和实时访问数据,推荐模型就会生成相应的推荐API,从而为上层应用提供推荐服务
    • 4、圈人服务
      • 从全量用户数据中,基于标签组合筛选符合特征条件的人群,并以API形式对接上层应用系统。

9.2.1 查询服务 //TODO

9.2.2 分析服务 //TODO

9.2.3 推荐服务 //TODO

9.2.4 圈人服务 //TODO

9.3 常见的数据应用x3

9.4 数据服务背后的产品技术

9.5 手记:解决“数据应用最后一公里”问题

X 参考文献

  • 2020 . 机械工业出版社

标签:数据服务,服务,业务,数据管理,中台,应用,数据,API
From: https://www.cnblogs.com/johnnyzen/p/17867065.html

相关文章

  • [数据管理] 政务/公共大数据 # 中国地方公共数据开放利用报告(省域)-2023
    0序言2023年11月1日,复旦大学数字与移动治理实验室联合国家信息中心-数字中国研究院在“全球智慧城市大会·长沙”发布了“2023中国开放数林指数”和《中国地方公共数据开放利用报告——省域》。作为也曾经在政务大数据领域一线数据项目耕耘了整整2年的数据人,对这个领域仍......
  • 数据中台具体是怎么解决数据孤岛的?_光点科技
    在数字化时代,数据已成为企业的核心资产。然而,由于历史遗留问题、部门壁垒等因素,很多企业面临着“数据孤岛”的问题。数据孤岛是指在一个组织内,数据被分散在不同的系统中,彼此隔离,不能有效整合和利用。这不仅增加了数据管理的复杂性,还大大降低了数据的价值。为了解决这一问题,数据中台......
  • 数据中台概述
    一、大数据平台组件总结1、数据存储HDFS,HBase,Kudu等2、数据收集和迁移常用技术:flume,canal,sqoop,datax,waterdrop等3、任务调度常用技术:azkaban,oozie,dophinscheduler,airflow等4、部署运维常用技术:clouderamanager,ambari,SaltStack等5、监控告警常用技术:Alertmanager+......
  • 什么是计算机科学和数据管理领域的 source of truth
    "SourceofTruth"(真实源)在计算机科学和数据管理领域中,是一个非常重要的概念。简单来说,"SourceofTruth"是指在一个系统或者应用中,为了确保数据的一致性和准确性,设置的一个权威性的数据来源或数据存储位置。在一个系统里,可能会有很多不同的数据源,这些数据源可能会有不同的版本,......
  • 中台架构下的性能测试实践方法
    知识星球有同学私信问我:中台服务建设过程中,性能测试如何开展?问题背景如下:业务背景:银行业务;技术架构:业务应用和中台之间请求统一走ESB;当前阶段:中台建设中,一边拆分一边推动业务应用接入;具体问题:性能测试范围如何界定?业务应用是否需要纳入压测范围?在我看来,这是一个很典型的性......
  • 基于数据中台的过程看板助力光伏单晶行业管理提升
    光伏单晶行业是新能源行业中的一个细分行业,在整个产业链中,输入硅料、输出硅片,包括拉晶、机加、切片等三大环节。物流管理,是光伏单晶行业提升管理效率、降低管理成本的重要环节。通常情况,围绕“物流管理”主题,TMS运输管理系统、ERP企业资源计划、WMS仓储管理系统,是常用的管理软件系......
  • HarmonyOS数据管理与应用数据持久化(一)
    一.数据管理概述功能介绍数据管理为开发者提供数据存储、数据管理能力,比如联系人应用数据可以保存到数据库中,提供数据库的安全、可靠等管理机制。● 数据存储:提供通用数据持久化能力,根据数据特点,分为用户首选项、键值型数据库和关系型数据库。● 数据管理:提供高效的数据管理能......
  • CRM系统:助力数据服务企业,打造核心竞争力
    近年来,数据服务企业开始走入大众视野。作为企业管理应用热门选手——CRM客户管理系统,可以助力企业实时数据应用先行者,提升业务转化与协同效率,进一步打造核心竞争力。下面我们说说,CRM系统对数据服务企业的作用。我们正处于从IT向DT转变的时代某数据统计机构发现,2020年全球数字化......
  • 性能、安全和稳定,袋鼠云数据服务DataAPI为企业 API 保驾护航
    通过API对外提供数据服务是大部分企业中比较常见的数据应用方式,对于API平台管理者、开发者和调用者来说,API的调用性能、安全性和稳定性是在平台选型时最需要考虑的三个因素。袋鼠云API开发及管理平台【数栈-数据服务DataAPI】通过多种手段标准化管控服务,可完成从API创建、......
  • 为什么要用数据中台
     数据中台的出现是为了应对企业数据整合、标准化管理以及提高企业高效稳定处理数据而应用而生的。在如今大数据时代,数据成为了企业的核心战略,能给企业带来极大的商业价值与竞争优势。所以数据中台的作用也就凸显。数聚就从数据中台对企业巨大的作用开始阐述,为什么企业要用数据中......