首页 > 其他分享 >大数据实时分析

大数据实时分析

时间:2023-02-14 10:38:17浏览次数:35  
标签:分析 数仓 快照 实时 视图 架构 数据


随着线上业务迅猛发展,摸着“数据”过河,小步快跑推动了企业“实时”需求的升级。在很多线上场景中,实时性成为了提升企业竞争力的核心手段。但是目前的湖、仓、或者湖仓分体都是基于 T+1 设计的,面对 T+0 的实时按需分析,即便引入流处理引擎实现了部分固定模式的实时分析,仍无达到 T+0 全实时水平。(大数据实时分析)

Kappa 架构实际落地困难,Lambda 架构很难保障数据的一致性,两个架构又都很难处理可变更数据(如关系数据库中不停变化的实时数据),那么自然需要一种新的架构满足企业实时分析的全部需求,这就是 Omega 全实时架构。Omega 架构由偶数科技于 2021 年初提出,同时满足实时流处理、实时按需分析和离线分析。(大数据实时分析)

Omega 架构由流数据处理系统和实时数仓构成。相比 Lambda 和 Kappa,Omega 架构新引入了实时数仓和快照视图 (Snapshot View) 的概念,快照视图是归集了可变更数据源和不可变更数据源后形成的 T+0 实时快照,可以理解为所有数据源在实时数仓中的镜像和历史,随着源库的变化实时变化。(大数据实时分析)

因此,实时查询可以通过存储于实时数仓的快照视图得以实现。实时快照提供的场景可以分为两大类:一类是多个源库汇集后的跨库查询,比如一个保险用户的权益视图;另一类是任意时间粒度的分析查询,比如最近 5 分钟的交易量、最近 10 分钟的信用卡开卡量等等。

另外,任意时间点的历史数据都可以通过 T+0 快照得到(为了节省存储,T+0 快照可以拉链形式存储在实时数仓 ODS 中,所以快照视图可以理解为实时拉链),这样离线查询可以在实时数仓中完成,离线查询结果可以包含最新的实时数据,完全不再需要通过 MPP+Hadoop 组合来处理离线跑批及分析查询。(大数据实时分析)

标签:分析,数仓,快照,实时,视图,架构,数据
From: https://blog.51cto.com/u_15334349/6055858

相关文章

  • 逝世五年——你必须认识的这位数据库之父
    五年前,也就是2017年7月13日,“数据库之父”查尔斯·巴赫曼(CharlesBachman)逝世。上学时,我们的很多课本上都提到了三层体系结构、数据库管理系统概念、DDL、DML等......
  • 使用Pandas也可以进行数据可视化
    数据可视化是数据分析的一个重要方面,它提供了一种理解数据并从中得出有意义见解的方法。Pandas是最常见的于数据分析的Python库,它基于Matplotlib扩展了一些常用的可视化......
  • H.265网页播放器EasyPlayer添加sei数据导致视频花屏该如何解决?
    EasyPlayer属于TSINGSEE青犀视频研发的性能稳定、播放流畅的H.265视频流媒体播放器,可支持的视频流格式有RTSP、RTMP、HLS、FLV、WebRTC等,支持高清画面秒开、视频播放流畅,具......
  • 04 如何进行数据表表分区? | OushuDB 数据库使用入门
    表分区在数据库日渐庞大的今天,为了方便对数据库数据的管理,比如按时间、地区去统计一些数据时,基数过于庞大带来了诸多不便。很多商业数据库都提供分区的概念,按不同的维度去存......
  • OushuDB 数据库基本用法 (上)
    1、启动/停止OushuDB启动OushuDB有两种方式,一种是通过”hawqstartcluster”命令来启动整个集群,包括master和segment。启动哪些segment是由”/hawq-install-pat......
  • 偶数科技入选 IDC 中国分布式数据库报告,获 Innovator 殊荣
    CInnovator近日,全球知名咨询研究机构IDC发布了《中国分布式关系型数据库》研究报告,通过调研CIO、IT负责人、投资机构和众多厂商,评选出该领域综合表现突出的创新型厂商......
  • 用java代码实现迁移数据库数据
    缺点需要另外同步表结构到目标数据库代码importjava.sql.*;publicclassEsqTableController{publicstaticvoidmain(String[]args)throwsSQLExceptio......
  • PGSQL 数据库用户管理示例
    前提:利用postgres用户登录,并用创建测试数据库createdatabasetest 1、新建用户new_user,并将密码设为1234567createusernew_userpassword'123456'2、授......
  • mysql 快速备份表数据
    1.情景展示在工作过程中,我们往往会有对表数据进行备份的需求,比如说:对表数据进行大量操作时,为了以防万一,最好是将数据进行备份,以免操作不当,导致无法恢复原有的数据。2.解决方......
  • mysql、oracle 分组查询,每组取一条数据
    1.情景展示有这样一种需求:将数据按照机构进行分组,然后取每个机构下只取一条记录,如何实现?2.mysql分组查询出来某字段,然后和原来的表进行关联查询。方式一:通过内连接来实现查......