首页 > 其他分享 >数据中台

数据中台

时间:2024-07-03 22:53:31浏览次数:5  
标签:限定 业务 指标 粒度 数据 统计

数据中台

1. 专有名词解释

  1. 业务过程:

    • 指在业务中发生的最小单元的行为或事务,不可再拆分事件,比如创建订单,浏览网页等等。业务过程产生的行为明细, 比如支付了一笔订单,浏览了某个网页,最终都会汇集到事实表中,而大部分情况下,事实表都会聚焦于某个特定的业务 过程。
  2. 原子指标:

    • 原子指标是对指标统计口径、具体算法的一个抽象
  3. 业务限定:

    • 在进行数据分析时,有时需要根据业务规则来定义一些限定条件,以此来过滤出符合条件的记录。比如要统计【PC端访客 数】这个指标,则需要先创建【PC端】这个业务限定。后续,这个业务限定可以用于其他相同规则的指标定义,比如
      【PC端浏览次数】等。
  4. 派生指标:

    • 派生指标即常见的统计指标,为保证统计指标标准、规范、无二义性地生成,基于四部分生成:原子指标(明确统计口径, 即计算逻辑)、业务限定(统计的业务范围,筛选出符合业务规则的记录)、统计周期(统计的时间范围,比如最近一天, 最近30天等)、统计粒度(统计分析的对象或视角,定义数据需要汇总的程度,可理解为聚合运算时的分组条件,粒度是 维度的一个组合,比如某个指标是某个卖家在某个省份的成交额,那么粒度就是卖家、地区这两个维度的组合)。
  • 逻辑架构

e6c9d24ely1h3f0x1uewnj21fu0pkn0v.jpg

  • 指标体系生成

e6c9d24ely1h3f0yclb62j21eo0ky77t.jpg

原子指标+统计周期+统计粒度+业务限定=派生指标

2. 数据中台建设方法论

​ 企业的发展,往往伴随着业务更多元化,而与此同时企业在积极推进业务数据化,因此越来越多的企业伴随着各个垂直业务的发展,形成了一个个垂直的数据中心,如何打通这些数据并且以统一的标准进行建设,以达到技术降本、应用提效、业务赋能的目标,是众多企业面临的问题。阿里巴巴提出的数据中台模式正是为解决这些问题而生,并通过实践形成了统一全域数据体系,实现了计算存储累计过亿的成本降低、响应业务效率多倍提升、为业务快速创新提供坚实保障。以下将以OneData、OneID、OneService三大核心方法论介绍数据中台的理念。

  • OneData
    • 数据标准化:数据规范定义从业务源头标准化;
    • 技术内核工具化:规范定义、建模研发、调度运维;
    • 元数据驱动智能化:从半自动化飞跃到智能化规划计算和存储。
  • OneID
    • 技术驱动数据连接:基于超强ID识别技术连接数据;
    • 技术内核工具化:超强ID识别、高效标签生产;
    • 业务驱动技术价值化:从孤岛变化到高质量数据进化到高价值数据。
    • OneID技术在业务中的主要应用于消除数据孤岛、提高营销触达、精确人群圈选以及360客户特征分析等四大主要场景。
  • OneService
    • 主题式数据服务:主题逻辑表屏蔽复杂物理表;
    • 统一多样化数据服务:一般查询加OLAP分析配合在线服务;
    • 跨源数据服务:屏蔽多种异构数据源

标签:限定,业务,指标,粒度,数据,统计
From: https://www.cnblogs.com/Act-Kang/p/18282702

相关文章

  • 数据采集工具Flume
    分布式数据采集系统Flume学习一、Flume架构1.1 Hadoop业务开发流程1.2 Flume概述flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如文本、......
  • C语言笔记(第n版):数据类型与运算
            尽管对于计算机而言无所谓数据类型,因为所有的数据都在计算机中以二进制数进行存储,运输和计算,但是对数据进行人为的划定有益于人们对于数据的操作。        在C语言中对于数据类型的划分(因人而异)大致为:一、基本数据类型 什么是数据类型?   ......
  • 像学Excel 一样学 Pandas系列-创建数据分析维度
    嗨,小伙伴们。又到喜闻乐见的Python数据分析王牌库Pandas的学习时间。按照数据分析处理过程,这次轮到了新增维度的部分了。老样子,我们先来回忆一下,一个完整数据分析的过程,包含哪些部分内容。其中,Pandas的基础信息导入、数据导入和数据整理、数据探索和清洗已经在前几篇文章......
  • 不同系统间数据交换要通过 api 不能直接数据库访问
    很多大数据开发提供数据给外部系统直接给表结构,这是不好的方式。在不同系统间进行数据交换时,通过API(应用程序编程接口)而非直接访问数据库是现代系统集成的一种最佳实践。目录为什么要通过API进行数据交换如何通过API进行数据交换实现步骤使用Flask构建RESTfulAPI安装F......
  • 程序员的加油站,各类技术文章,可视化技术,在线源码资源,在线实用工具,数据爬虫接口持续集成
    先挂网址:https://wheart.cn可视化大屏模板与设计,在线预览上百例可视化模板技术文章、资源下载等各类资源导航页echart在线实用demo各种在线工具提升开发效率echart在线代码模板......
  • ASP.NET Core Blazor 5:Blazor表单和数据
      本章将描述Blazor为处理HTML表单提供的特性,包括对数据验证的支持。1准备工作  继续使用上一章项目。  创建Blazor/Forms文件夹并添加一个名为EmptyLayout.razor的Razor组件。本章使用这个组件作为主要的布局。@inheritsLayoutComponentBase<divclass="......
  • Java 基本数据类型和引用数据类型有什么区别?
    在Java世界里,数据类型是构建程序的基石,它们决定了变量可以存储什么类型的值以及如何操作这些值。Java的数据类型大致可以分为两大类:基本数据类型(PrimitiveDataTypes)和引用数据类型(ReferenceDataTypes)。理解它们之间的区别,对于编写高效、健壮的Java代码至关重要。现在,我们......
  • 大数据开发语言Scala入门
    关注我,持续分享逻辑思维&管理思维&面试题;可提供大厂面试辅导、及定制化求职/在职/管理/架构辅导;推荐专栏《10天学会使用asp.net编程AI大模型》,目前已完成所有内容。一顿烧烤不到的费用,让人能紧跟时代的浪潮。从普通网站,到公众号、小程序,再到AI大模型网站。干货满满。学成后可......
  • 大数据面试题之数仓(1)
    目录介绍下数据仓库数仓的基本原理数仓架构数据仓库分层(层级划分),每层做什么?分层的好处?数据分层是根据什么?数仓分层的原则与思路知道数仓建模常用模型吗?区别、优缺点?星型模型和雪花模型的区别?应用场景?优劣对比数仓建模有哪些方式?数仓建模的流程?维度建模的......
  • 大数据面试题之数仓(2)
    目录维度表和事实表的区别? 什么是ER模型? OLAP、OLTP解释(区别)三范式是什么,举些例子 维度设计过程,事实设计过程 维度设计中有整合和拆分,有哪些方法,并详细说明 事实表设计分几种,每一种都是如何在业务中使用 单事务事实表、多事务事实表区别与作用 说下一致性维......