首页 > 其他分享 >「拓数派(OpenPie)2022发布会实录 」PieCloudDB Database分布式引擎

「拓数派(OpenPie)2022发布会实录 」PieCloudDB Database分布式引擎

时间:2023-12-02 11:06:29浏览次数:37  
标签:OpenPie 存储 数据 PieCloudDB Database 集群 计算 计算资源

10月24日程序员节,拓数派发布了云原生数据库PieCloudDB 社区版与商业版。本文整理自拓数派「OpenPie」2022发布会的演讲,将从PieCloudDB Database的计算、存储、事务三个方面来介绍分布式引擎模块。




「拓数派(OpenPie)2022发布会实录 」PieCloudDB Database分布式引擎_持久性


计算

首先为大家介绍的方面是计算。PieCloudDB 通过重新打造云上的数据库内核,突破了PC时代计算平台的限制,实现云上存算分离。作为一款分布式数据库,能够处理PB级海量数据。其计算层主要具备以下特点:

  • eMPP

PiecloudDB 实现了eMPP引擎。eMPP全称是elastic Massive Parallel Processing(弹性大规模并行处理),也就是将一个单一计算任务在大量独立的计算机上并行执行,利用大量计算资源来进行分布式加速计算。

  • 多租户、多集群

作为一款云原生数据库,PieCloudDB支持多租户模式,租户可以按需创建任意多个计算集群

  • 弹性伸缩

PieCloudDB采用了存算分离的架构设计,计算资源可以独立于存储进行弹性伸缩。PieCloudDB的计算能力支持三个维度的弹性伸缩:集群大小、集群类型和集群数量。

用户可以根据需求,实时调整集群大小。可以根据不同的业务需求,创建不同类型的集群。例如,财务部可以单独创建用于财务数据计算的集群; 销售部可以创建用于销售数据计算的集群; 数据工程团队可以创建专门用于数据导入和数据清洗的集群。此外,用户可以创建任意数量的计算集群,按照需求动态增减集群数量。

  • 隔离性

在传统的MPP数据库下,所有的用户共享同一个计算集群,不同部门、不同业务经常会相互竞争计算资源,用户体验难以得到保障。在PieCloudDB中,不同租户的计算资源可以做到完全隔离,互相不影响。由于用户可以为不同负载创建不同集群,因此可以做到不同负载之间不会有计算资源竞争。

  • 高可用

PieCloudDB在架构上采取了存算分离的设计,计算层可以做到完全无状态,当机器和集群出现故障时,可以实时将计算任务转移到新的机器或集群上,提供持续不间断的服务。

  • 可按使用量付费

PieCloudDB支持按使用量付费的模式,用户只为使用了的计算资源付费,在完成计算任务后,可以选择关掉集群,当集群关掉后,不再产生任何计算费用。

  • 无限算力

在公有云上,PieCloudDB利用云基础设施在几分钟或几秒钟内按需提供近乎无限的计算资源。客户只需为其使用的资源付费,从而动态地支持任何规模的用户和工作负载而不影响性能。

 


存储

PieCloudDB分布式引擎的第二个方面是存储。PieCloudDB 存算分离,PieCloudDB所有的用户数据都存储在分布式对象存储中。PieCloudDB的存储具有以下特点:

  • 多租户隔离

在PieCloudDB的多租户机制下,不同租户的数据和元数据是隔离的,每个租户只能看到自己的数据,无法访问到其它租户的数据。

  • 容量和带宽独立于计算伸缩

PieCloudDB的存算分离架构支持存储资源与计算资源的独立伸缩。存储资源主要分为两部分:存储容量和访问带宽。由于存算分离的特性,PieCloudDB的存储容量和访问带宽都能独立于计算进行伸缩。

  • 按使用量付费

传统数据仓库的模式下,客户需要提前购买充足的存储资源,用以应对未来一定时期的存储需求,因此难免有一定的程度的资源闲置而导致的浪费。在公有云上,PieCloudDB支持用户按数据存储量和访问量来进行付费,使用了多少支付多少费用,不存在任何资源浪费的情况,相比于传统数据库,具有更高的性价比。

  • 高可用/可靠存储

传统的数据仓库,客户必须用备份和数据恢复工具来保护自己的数据。作为一款云原生数据库, PieCloudDB将数据的高可靠和高可用作为服务的一部分,支持跨多数据中心、多个云产商进行复制,数据的可用性和可靠性高于数据中心甚至云产商。

  • 可信单一数据源

传统数据仓库,不同部门或业务通过数据复制来实现共享数据,这种模式除了引入了额外的存储成本,除此之外,由于数据存在多个副本,可能会出现数据副本之间不一致性的情况,从而导致数据的可信性降低。

PiecloudDB采用了存算分离架构,用户全局只需要存储一份数据,通过共享存储来实现数据共享,避免拷贝和维护多个数据副本,彻底摆脱数据不一致的可能性。

 


事务

PieCloudDB 存储引擎的第三个部分事务特性。PieCloudDB 的事务特性主要包括ACID、扩展性、隔离性、和容错性。

PieCloudDB支持完整的ACID语义。ACID 由四个属性组成,即原子性(Atomicity)、一致性(Consitency)、隔离性(Isolation)、持久性(Durability)。

原子性指的事是一个事务(transaction)中的所有操作,要么全部完成,要么全部不完成,不会结束在中间某个环节。事务在执行过程中发生错误,会被回滚(Rollback)到事务开始前的状态,就像这个事务从来没有执行过一样。

原子性是一种强大的容错语义,系统状态要么保持不变,要么进入到下一个状态,而不会处于一个任意的中间状态。作为一个数据存储系统,如果缺乏对多个数据项进行操作的原子性语义,对数据进行变更操作过程中发生任意异常,都会导致数据损坏。

一致性保证当一个事务开始和结束时,数据处于一致的状态。例如,在一个将资金从一个账户转移到另一个账户的应用程序中,一致性属性确保两个账户中的资金总值在每次交易开始和结束时是相同的。

隔离性主要用于对并发数据处理进行控制,使对数据的读写保持正确的时序(因果)关系。作为一个数据存储系统,如果缺乏对数据并发访问的控制,会容易导致数据损坏和因果关系的破坏。 PieCloudDB目前支持读提交(Read Committed)和可重复读(Repeatable Read)两种隔离级别。

持久性保证在一个事务成功完成后,对数据的改变会持续下去,即使在系统故障的情况下也不会被撤销。例如,在一个将资金从一个账户转移到另一个账户的应用程序中,持久性属性确保对每个账户的更改不会被逆转。 Pie CloudDB还提供了比传统数据库事务更强的持久性,实现了Time Travelling的机制,能够在指定的时期内的任何时间点访问历史数据,即使是那些已经更改或删除的数据。

PieCloudDB 在云上,对计算模型以更低成本提供指数级的存储和计算资源,帮助企业的业务模型发现新洞察或者提高精准度,从而建立竞争壁垒,实现数据价值最大化。

 



关于PieCloudDB

PieCloudDB是一款全新eMPP分布式技术的云原生分析型数据库。通过重新打造云上的数据库内核,突破了PC时代计算平台的限制,实现云上存算分离。旨在为企业提供包含实时处理、秒级扩缩容、弹性计算、集成数据分析等强大功能的云上数据存储和计算引擎。在云上,计算资源可按需启动,对计算模型以更低成本提供指数级的存储和计算资源,帮助企业的业务模型发现新洞察或者提高精准度,从而建立竞争壁垒。目前,PieCloudDB在金融,医疗,汽车及制造等行业积累了一批种子用户,产品备受业界及用户的高度关注及认可。

标签:OpenPie,存储,数据,PieCloudDB,Database,集群,计算,计算资源
From: https://blog.51cto.com/u_16396625/8654058

相关文章

  • 「拓数派(OpenPie)2022发布会实录 」PieCloudDB Database 新一代云原生存储引擎
    10月24日程序员节,拓数派「OpenPie」发布了云原生数据库PieCloudDBDatabase社区版与企业版。通过重新打造云上的数据库内核,突破了PC时代计算平台的限制,实现云上存算分离。PieCloudDB基于云的基础设施,专为云平台打造。本文整理自拓数派「OpenPie」2022发布会的演讲,将为大家着重介......
  • 「拓数派(OpenPie)2022发布会实录 」PieCloudDB Database优化器
    10月24日程序员节,拓数派(Openpie)发布了云原生数据库PieCloudDB。PieCloudDB以云计算架构为设计基础,实现云上存算分离,打造了“元数据-计算-存储”分离三层架构。在计算层,PieCloudDB设计了高效的查询优化器和执行器,实现了预计算、聚集下推等多种查询优化策略,保证查询的高效运行,减......
  • 「拓数派(OpenPie)2022发布会实录 」PieCloudDB Database智能化云原生平台
    作为一款云原生eMPP数据库,PieCloudDBDatabase的部署和管控也是云原生的。PieCloudDB为用户提供了智能化云原生平台,提供数据洞察、元数据浏览、用户管理、权限管理、SQL执行、ETL管理等功能,可视化管理平台界面使用户得以更方便地在网页端进行管理。本文整理自拓数派「OpenPie」202......
  • 再度上榜丨冯雷荣登“2022年度智造中国商业领袖” OpenPie
    近日,由数商传媒《数字商业时代》举办的2022年度“智造中国高峰论坛”圆满落幕。拓数派创始人兼CEO冯雷荣登“2022年度智造中国商业领袖”,其曾于2018年,时任PaaS云第一股Pivotal中国公司常务董事、研发中心总经理时,凭借Pivotal中国的成就获此殊荣。时隔四年,如今,冯雷作为一家中国本土......
  • 【DTCC 2022】云原生数据库PieCloudDB全新eMPP架构是如何炼成的
    12月14-16日,第十三届中国数据库技术大会(DTCC2022)在线上隆重召开。拓数派赞助并参与了数据库盛会DTCC,在会议中,拓数派CTO郭罡分享了《云原生数据库PieCloudDB eMPP架构设计与实现》的主题演讲。在演讲中,郭罡分析了传统分布式MPP架构的痛点,介绍了云原生数据库PieCloudDB的eMPP架......
  • 拓数派云原生数据库PieCloudDB与XSKY产品完成兼容性互认证
    数据库作为数字经济建设的基础,是产业数字化、释放数据价值的基石。而良好的生态建设是数据库发展的重要一环。 拓数派的云原生eMPP数据库产品PieCloudDBDatabase原生兼容PostgreSQL/Greenplum生态组件,兼容包括开源空间数据管理组件PostGIS,Apache开源机器学习库Madlib、开源查......
  • PieCloudDB Database 云上商业智能的最佳实践
    「商业智能(BusinessIntelligence,BI)」这个概念最早是Gartner在上个世纪九十年代提出的,它认为从功能上来说,商业智能是一种解决方案,其关键是处理企业来自多个来源的各种数据,提取有用的数据并清理,然后经过抽取(Extraction)、转换(Transformation)和加载(Load),即ETL过程,合并到一个企业级......
  • 『Postgres.Live 技术沙龙回顾』揭秘 PieCloudDB Database eMPP 架构设计
    2月1日,拓数派参与了由开源软件联盟PostgreSQL分会组织的Postgres.Live线上系列沙龙活动。拓数派产品及推广总监吴疆发表主题演讲《PieCloudDB:eMPP云原生数据库》。相关视频回放欢迎访问拓数派B站链接,PPT欢迎前往官网链接获取。本文由演讲内容整理而成。随着计算机技术的发展,”云......
  • OpenPie 和 ChatGPT 聊聊云上数据计算的那些事儿
    要说时下科技圈最火的新技术话题,那就非ChatGPT莫属了。由它引发的各类“人工智能(AI)能否取代人工”的讨论狂飙不停,抛开法律和道德层面的争议,ChatGPT确实可以准确地回答用户大部分的通用知识问题。那么大家是否会好奇,ChatGPT是依靠什么获得了这样“无所不知”的超能力呢?   ......
  • 『坚如磐石的 PieCloudDB』:透明加密模块的设计与实现
    导读:2月17日,由中国开源软件推进联盟PostgreSQL分会&中科院软件所&CSDN联合举办的“中国PostgreSQL数据库生态大会”盛大召开。拓数派(OpenPie)作为冉冉升起的新一代云原生分布式数据库厂商,受邀参加本届大会。 本文为演讲的文字版摘要,主要内容包括: 透明加密的设计思路 透明......