首页 > 数据库 >精彩回顾|从架构到实践,AntDB融合型数据库揭秘

精彩回顾|从架构到实践,AntDB融合型数据库揭秘

时间:2023-11-17 14:05:39浏览次数:44  
标签:架构 数据库 实时 AntDB 流式 SQL 数据处理 揭秘

当今社会中的信息除了“多”,人们对于“效率”和“速度”的要求也越来越高。譬如,对于很多企业决策者来说,在当前的经济形势下需要尽一切可能降本增效。过去每周看看经营报表的习惯,现在慢慢转变为实时可视化分析企业当前的经营状况。

基于此,亚信安慧AntDB融合型数据库,为了支持用户对“实时性”的更高要求,通过原生的“流数据处理引擎”,从内核层面将流式计算与数据库进行了融合与创新。 11月3日-5日,由中国开源软件推进联盟PG分会(简称PG分会)主办的 “2023中国PostgreSQL数据库生态大会”圆满落幕。会上,亚信安慧AntDB-T负责人洪建辉先生,带来了《AntDB融合型数据库:实时流数据处理引擎揭秘》的主题演讲。 以下为该活动的部分演讲内容:


流式数据库的价值和挑战 流式处理数据库是一种专门设计用于处理大量实时流数据的数据库,是实时分析、风险监控、网络检测和物联网 (IoT) 等延迟关键型应用程序的理想选择。但在过去几十年里,数据库作为信息的核心载体,对于实时数据的处理能力,却是建立在数据库引擎之外的。 640.png 因此,数据库融入流式数据处理能力,可以通过SQL+触发器对实时数据的处理逻辑与拓扑进行定义,是这几年行业中提出的全新课题。 在亚信安慧AntDB发展的十几年历程中,我们看到运营商大量对核心数据处理加工的业务场景。这些需求中有些能够很容易地使用传统技术满足,但还有一些一定需要采用流式计算等实时处理能力才能支持。


AntDB 流式实时数仓是如何工作的? 流数据处理模式与传统数据库的内核设计有着极大的区别。其核心本质在于,传统数据库架构设计中,应用与数据库之间是“请求-响应“的关系,既业务发起SQL请求,数据库随即执行请求并返回结果。而流处理内核则是“订阅-推送“的模式,可以实时处理、实时推送结果给下游应用进行展示或入库。 640 (1).png

亚信安慧AntDB做了大量从零开始的创新性探索与研究,于2022年底推出AntDB-S实时实时数仓,彻底将流式计算与传统交易、分析型数据存储进行了融合,让用户可以在数据库引擎内,通过标准SQL自由定义数据的结构以及实时处理逻辑。


AntDB流数据库的功能优势 640 (2).png 640 (3).png 技术堆栈简化:在实时流事件的处理上,AntDB流式处理一体引擎将大量的实时数据处理做到数仓内部,更进一步向通用事务靠拢。 标准SQL定义:传统流处理方式对于SQL 的处理很弱,还要写大量业务代码,而AntDB-S可以通过统一SQL语句进行处理,流的使用上更便捷。 统一数据接口:支持流批模式的转换,AntDB统一超融架构,实现了对外的接口统一,数据的采集与处理无需分开,流批都用SQL 即可全部搞定。 支持完整事务处理:传统流处理过程中不支持数据的修改,AntDB-S支持流处理中对数据的修改和事务操作。 实时结果更准确:通过分布式事务的ACID特性,解决实时流数据处理中,数据容灾和一致性的问题,可以精确判断数据故障点,完成流事件的矫正计算和重统计。


AntDB流数据库功能架构拆解 640 (4).png 由上图可以看出,流数据库是把流处理功能融合进AntDB-T的SQL引擎中;把流数据的存储融合进AntDB-T的存储引擎;把流处理的进程体系结构融合进AntDB-T的进程体系结构中。 这样的超融合结构会带来以下几点优势: (1)技术栈简单,稳定性好。 (2)学习和维护成本低,只需掌握数据库的使用和维护即可。 (3)完全用SQL操作所有功能,使用简单方便。SQL是被实践证明了的最好的数据处理语言,能够快速响应业务的复杂多变性。 (4)流数据处理支持数据UPDATE和DELETE、事务ACID、且可以流表JOIN。


关于AntDB数据库 AntDB数据库始于2008年,在运营商的核心系统上,为全国24个省份的10亿多用户提供在线服务,具备高性能、弹性扩展、高可靠等产品特性,峰值每秒可处理百万笔通信核心交易,保障系统持续稳定运行近十年,并在通信、金融、交通、能源、物联网等行业成功商用落地。

标签:架构,数据库,实时,AntDB,流式,SQL,数据处理,揭秘
From: https://blog.51cto.com/u_15348398/8441253

相关文章

  • Unity3D:ECS架构详解
    Unity3D是目前游戏开发领域最为流行的引擎之一,而Unity3DECS架构则是在Unity3D引擎的基础上,针对游戏开发中的实体组件系统进行优化和改进而设计的一种架构。本文将详细介绍Unity3DECS架构的技术细节和代码实现。对惹,这里有一个游戏开发交流小组,希望大家可以点击进来一起交流一下开......
  • C/S架构完成进度
     点击登录:  点击新增:新增成功:  点击删除: 删除成功: 点击修改可以回显:  ......
  • 软件测试/人工智能|一文告诉你ChatGPT原理与架构
    简介ChatGPT是今年最火的互联网应用,ChatGPT给我们的工作和生活带来了巨大便利,帮我们写文案,帮我们写代码等,但是当我们在于ChatGPT对话时,我们是否有想过,这么强大的一个工具,它背后的技术原理是什么?它的技术架构是怎样的?本文就告诉大家ChatGPT的原理与架构。ChatGPT的主要特点OpenAI使......
  • 软件测试/人工智能|一文告诉你ChatGPT原理与架构
    简介ChatGPT是今年最火的互联网应用,ChatGPT给我们的工作和生活带来了巨大便利,帮我们写文案,帮我们写代码等,但是当我们在于ChatGPT对话时,我们是否有想过,这么强大的一个工具,它背后的技术原理是什么?它的技术架构是怎样的?本文就告诉大家ChatGPT的原理与架构。ChatGPT的主要特点Open......
  • 颠覆了!eShop跟随.Net 8迎来重磅升级,微服务架构与GPT的完美结合!
    .Net8正式发布了,发布了诸多重大的新功能、新特性!.Net8新增的功能带来诸多惊喜,还未一一体验完毕呢,我又发现了跟随.Net8的发布,eShop也迎来重磅升级!eShop一直以来都是微软官方提供的,一个基于.Net开发的电子商务系统开源项目。这次升级有几大关键词:.Net8、微服务、Aspire、Open......
  • 小程序性能“神器”大揭秘!用小程序性能工具轻松搞定性能瓶颈!
    引言:Hello,小程序小能手们!是不是有时候感觉小程序加载速度慢得像是在等电梯?别着急,今天咱们要介绍的是“小程序性能工具”——就像是小程序的“私人调查员”,能帮你找出性能的瓶颈在哪里,让你的小程序速度飙升!在这次的“神器之旅”中,我们将一起揭开小程序性能工具的神秘面纱,告诉你如何......
  • promise时效架构升级方案的实施及落地
    一、项目背景为什么需要架构升级promise时效包含两个子系统:内核时效计算系统(系统核心是时效计算)和组件化时效系统(系统核心是复杂业务处理以及多种时效业务聚合,承接结算下单黄金流程流量),后者依赖前者,分别由两组技术团队支持;因为有些业务的渗透造成两个系统的边界越来越不清晰;有......
  • 架构开发与优化咨询和实施服务
    服务概述    得益于硬件平台算力的提升,汽车电子电气架构的集成度逐渐提高,从单体ECU、到功能域集成控制器、到区域集成控制器,多域融合成为了目前行业中软件工程的重要工作内容。同时,在传统控制器C代码开发的基础上,C++、JAVA等高级别编程语言也得到了更多的应用。以典型的智......
  • 游戏引擎如何设计与架构
     以前做过游戏引擎,也看过几个商业引擎的源码如Torque等,还有用过一些第三方的引擎来开发游戏,如Unity,Cocos,Laya等,今天来说一说一款游戏引擎应该如何架构和设计,我做了一张图,如下,接下来讲围绕这张图分三个层次来给大家讲解一个游戏引擎的架构与设计。   OS平台抽象层  ......
  • 数据量很大,字段频繁变化,数据频繁刷新,架构如何设计?
    对于大数据量、字段频繁变化、数据频繁刷新的情况,需要设计一个灵活而稳定的架构来有效地管理和处理数据。以下是关于这种情况下架构设计的详细描述:大数据量、字段频繁变化、数据频繁刷新的架构设计1.数据存储层面对于大数据量的情况,传统的关系型数据库可能无法很好地应对,因此......