首页 > 其他分享 >数仓数据接入心得

数仓数据接入心得

时间:2023-06-25 16:47:02浏览次数:27  
标签:数仓 接入 数据 配置 更新 数据表 活动 心得

分成三种类型:状态表、流水表、配置表

状态表

比如账户表、用户表、订单表,记录账户额度,使用金额,订单当前流转状态,这些数据通常很大,但是又不会所有的数据都更新,因此使用增量更新的方式获取数据并更新数仓里对应的数据表。

一般会使用快照表的方式展示。很少用到拉链表的形式。

流水表

比如出入账记录表,点击、曝光等立即发生,不会更新的数据。流水表通常极大,单表每天全量刷新或者数仓维护成快照都不方便,因此在数仓中,使用增量载入并按业务日期分成不同分区。

配置表

这是一类特殊的表,不同于业务数据表,它是由一些系统使用时设计的记录表、参数表。因此其数据量通常不会太大,且多数存在手动更新的情况,对于这样的数据表,即使按增量更新也是不妥的,因为在数仓侧是无法获取上游已经删除的数据。因此这类数据通常全量更新到数仓中,如果需要用到历史,则保留较多历史分区的数据即可,一般这样的数据表在上线活动、任务、策略时会高度关注。

 

多说一些。。。

以上比较常见的是状态表和流水表,基本涵盖业务系统中所有数据表的类型。

配置表一般出现在,活动系统的配置模块里。怎么理解呢,举个例子。

比如活动系统的开发人员为了应付更新较快的活动需求,从而开发了集中活动模版,比如订单付款折扣、立减,付款满减等。模式可以下来,简单的宣讲之后,业务可以根据需要创建活动。

一般的设计一个配置表和活动日志表,日志表可以记录命中活动规则ID,活动处理json,配置表里有活动规则ID、开始时间、结束时间、策略包(再举个例子{'product_type':'文具','per_amt':50,'per_cost_amt':8,'max_cost_amt':100},这里的意思是文具商品每满50减8,最高减100),配置表是在一定的规范下就可以很快的处理业务的需求。

标签:数仓,接入,数据,配置,更新,数据表,活动,心得
From: https://www.cnblogs.com/soccerchen/p/17503262.html

相关文章

  • 虚拟化园区网—用户接入
    目录前言策略联动业务随行基本概念基本架构基本原理安全组理解(一)安全组理解(二)安全组理解(三)安全组理解(四)关键节点选择业务随行的部署前言我们在学习虚拟化园区网解决方案的时候,会接触到这么几个概念:NAC、策略联动、业务随行,那他们之间是什么关系?NAC、策略联动、业务随行都是进行......
  • 高效接入淘宝1688京东商品详情api接口(支持高并发采集)
    采集商品列表和商品详情遇到滑块验证码的解决方法(带SKU和商品描述,可高并发)大家都知道,反爬虫机制十分严,而很多时候,没办法高效的拿到数据内容响应终端需求,而依赖爬虫就会造成动不动就出现滑块验证,让人很无解,正好,公司有这样的需求,让我负责解决这个问题,我已经把该方法封装成接口,只需要......
  • OOP训练集8-11心得体会
    面向对象程序设计前言:1.哈哈哈,怎么说呢,也算有了前车之鉴,也就有了我后面比较周全的考虑对于之后的这几次题目集而言.2.题目集8:这次的题目跟原本的菜单设计类题目大同小异,无异于是订购类似的程序设计,主要体现在一些课程的存储,特殊情况的考虑上,而正如我上述所说的,鉴于......
  • 阿里云ASK试用心得(避坑贴)
    前言常年BP阿里云的各种服务,今天却被阿里云给上了一课,这一套组合拳把我安排的明明白白,血亏50大洋,算是提前为各位大佬排坑了,预祝大家中秋快乐目的最近阿里云首页放出了免费试用的活动,本着不用白不用的原则,直接申请容器服务ASK,上面显示个人账号有7天体验期,作为学习完全......
  • 建设数字工厂:华为云数字工厂平台接入第三方网关设备数据
    摘要:本期介绍工业自动化产线设备由第三方数采网关(软件)采集数据后,如何快速接入到华为云数字工厂平台,实现生产自动化控制层与数字工厂应用层的数据集成和实时交互。本文分享自华为云社区《数字工厂深入浅出系列(五):接入第三方网关设备数据》,作者:云起MAE。华为云数字工厂平台内置工......
  • 使用AI聊天模型写作和编码心得
    原文合集地址如下,有需要的朋友可以关注本文地址合集地址给大家推荐一个国内暂时免费使用AI聊天模型的网站:ChatAnywhere有需要的朋友可以点击试用一下。写文档要点详细描述要干的事情说清楚你的需求,例如:可以使用序号列出所有需求,让AI模型来梳理逻辑对描述不清楚的带你让模型进一步解......
  • 使用AI聊天模型写作和编码心得
    原文合集地址如下,有需要的朋友可以关注本文地址合集地址给大家推荐一个国内暂时免费使用AI聊天模型的网站:ChatAnywhere有需要的朋友可以点击试用一下。写文档要点详细描述要干的事情说清楚你的需求,例如:可以使用序号列出所有需求,让AI模型来梳理逻辑对描述不清楚的带你让......
  • 网站接入微信支付后如何实现退款和取消预约?
    需求取消预约分两种情况:未支付取消订单,直接通知医院取消预约状态并更新相关数据,然后修改平台订单状态已支付取消订单,退款给用户并在数据库中记录退款记录,通知医院取消预约状态并更新相关数据,然后修改平台订单状态第01章-未支付取消预约1、后端接口1.1、ControllerFrontOr......
  • ChatGPT小型平替之ChatGLM-6B本地化部署、接入本地知识库体验
    本文期望通过本地化部署一个基于LLM模型的应用,能让大家对构建一个完整的应用有一个基本认知。包括基本的软硬环境依赖、底层的LLM模型、中间的基础框架及最上层的展示组件,最终能达到在本地零编码体验的目的。一、ChatGLM-6B模型介绍https://github.com/THUDM/ChatGLM-6B[Star......
  • java后端接入微信小程序登录功能
    前言此文章是Java后端接入微信登录功能,由于项目需要,舍弃了解密用户信息的session_key,只保留openid用于检索用户信息后端框架:springboot小程序框架:uniapp流程概括官方流程:通过自定义登录态与openid,session_key关联,之后的前后端交互通过自定义登录态来识别只保留登录流程:使......