首页 > 其他分享 >拓数派发布新一代云原生虚拟数仓PieCloudDB

拓数派发布新一代云原生虚拟数仓PieCloudDB

时间:2023-12-02 11:00:42浏览次数:39  
标签:数仓 虚拟化 PieCloudDB 拓数 云上 数据

拓数派发布新一代云原生虚拟数仓PieCloudDB_elastic

3月14日,2023拓数派「Infinite Possibilities」战略暨新产品发布会在上海圆满落幕,拓数派创始人兼CEO冯雷(Ray Von)重磅发布基于新一代云原生数仓虚拟化打造的全新PieCloudDB「云上云」版。拓数派COO陆公瑜、拓数派CTO郭罡、东吴证券投行部联席总经理席平健博士,元禾重元合伙人张文敏,阿里云智能资深产品专家彭亚雄,亚马逊云科技资深架构师曹增轩,上海帆一尚行科技有限公司任如意博士等重磅嘉宾及业内资深专家出席活动,并吸引了众多权威媒体的参与。

拓数派发布新一代云原生虚拟数仓PieCloudDB_serverless_02

拓数派发布新一代云原生虚拟数仓PieCloudDB_elastic_03

经过近百万行的代码推倒重写,无数次的测试与迭代,拓数派携国内新一代云原生数仓虚拟化技术如期而至,重磅发布全新虚拟数仓PieCloudDB「云上云」版 (Cloud on Cloud)。拓数派创始人兼CEO冯雷在主旨演讲中向与会嘉宾分享了行业趋势与拓数派2023年发展战略,并首次提出数仓虚拟化创新技术理念。他表示:“虚拟化技术带来的帕累托改进,对行业产生了深远的影响,其中服务器虚拟化技术突破引领了云计算时代的到来,助力企业降低服务器硬件成本,提升运营效率。拓数派作为云上数据和数据计算领域的先行者,基于数仓虚拟化打造的旗舰产品PieCloudDB,是以对行业顶级数据库的抽象思考和设计原则复用为技术路线,实现了分析型数据数仓上云虚拟化。我们相信,数仓虚拟化将引领数据计算时代的到来,驱动企业实现从‘软件公司’到‘数据公司’再到‘数学公司’的持续进阶。”

对于拓数派的战略布局,冯雷着重分享了三点,首先是人才发展战略,他指出人才是拓数派第一资源,以人才驱动创新发展,才能保持企业的生命力与竞争力。目前拓数派拥有一支由海内外名校硕博高材生构建的具备国际顶级数据库内核研发能力的研发团队,我们希望每位员工在拓数派都能有获得感,成为行业的下一代领导者,这也是拓数派人才观的核心;其次是构建共创共赢的生态体系,未来拓数派将围绕PieCloudDB,打造产品生态、社区生态及商业生态,努力实现以“数据计算”赋能百业,为企业及社会创造更大的价值;最后冯雷提到拓数派的社会责任,他表示拓数派始终坚守「数字向善」的初心,积极承担着企业的数字化转型中的社会公益和社会责任 ,长期支持包括1024数字产业基金会和卡内基梅隆大学上海校友会(CMU)两个非营利姊妹机构,未来拓数派愿与政府及伙伴一道,探索下一代数学智能的突破,助力新业态新模式的创新发展,形成数字经济发展良好生态,共同为中国数据库产业转型升级贡献一份力量!

拓数派发布新一代云原生虚拟数仓PieCloudDB_serverless_04

冯雷提到新一代云原生数仓虚拟化,可将多个数仓统一整合到一个高可用的云虚拟数仓,打通多云的数据管道,数据计算资源按需扩缩容,提升数仓的敏捷性和弹性,助力企业降低数仓管理复杂度,实现数量级增加可计算数据空间的同时,数量级降低数仓成本,打开无限数据计算空间,推进AI/BI到下一个精度。” PieCloudDB Database在eMPP分布式专利技术、服务器无感知(Serverless)及TDE等多项核心技术加持下,为企业构建高安全,高可靠,高在线的云原生虚拟数仓,助力企业实现数据价值最大化,成为数字世界的最后一道防线。

最后,冯雷表示:“目前拓数派产品矩阵与服务日臻完善,PieCloudDB云上云版为企业构建坚如磐石的虚拟数仓,以云资源最优化配置实现无限数据计算可能;PieCloudDB企业版与社区版可为企业提供全新基于云数仓数字化解决方案,助力企业建立以数据资产为核心的竞争壁垒;PieCloudDB国产软硬件一体机,采用eMPP专利技术实现存算分离,适配信创环境,为甲方企业降低运维成本,节省开发时间。未来,拓数派将持续深耕产品研发创新,坚持产品与市场双向驱动,协力实现企业可持续发展。”

拓数派发布新一代云原生虚拟数仓PieCloudDB_serverless_05

在新产品发布环节,拓数派CTO郭罡从产品设计角度出发,进一步阐释了PieCloudDB「云上云」版的高安全、高在线与高可靠。他表示:“PieCloudDB采用的TDE技术保证了所有数据在落盘前完成加密,服务器无感知技术(Serverless)利用云上无限计算资源和弹性保证了虚拟数仓永远在线可用,S3存储和跨云灾备能力保证了永不丢数,真正做到了「坚如磐石」。” 除此之外, PieCloudDB「云上云」版本的核心价值还体现在以下两个方面:

1、 降低数仓硬件和管理成本:多个数仓归并至云虚拟数仓,打破传统数仓场景下数据孤岛,解决数据多副本问题,帮助企业降低数仓管理复杂度,以更低的成本实现存算资源在云上更灵活地配置。

2、 提升数据计算资源利用效益:数据计算资源按需扩缩容,实现计算资源配置最优化,提升数仓的敏捷性和弹性,打开无限数据计算空间,更好地赋能业务发展并走向绿色。

拓数派发布新一代云原生虚拟数仓PieCloudDB_serverless_06

分享环节,郭罡还着重介绍了PieCloudDB数仓虚拟化的核心技术架构及优势

  • 云原生存算分离架构:运用元数据-计算-数据分离的三层架构,实现云上存储资源与计算资源的独立管理。云上计算资源可弹性分配,有查询计算任务的时候按需启动,按照使用时间和规模计算成本。
  • eMPP分布式专利技术:在云上,PieCloudDB利用eMPP(elastic Massive Parallel Processing)架构,实现多集群并发执行任务。企业可灵活进行扩缩容,随着负载的变化实现高效的伸缩,轻松应对PB级海量数据。
  • 全新的存储「简墨」和缓存架构设计:在计算层,各个计算节点针对元数据和用户数据都设计了多层缓存结构,避免网络延迟和数据移动,提高计算效率,保证用户的实时性需求。PieCloudDB针对底层对象存储设计了高效的文件格式,可在节省网络请求的同时提高计算效率。
  • 全新的优化器「达奇」:PieCloudDB可以更智能高效地生成统计信息,并生成更高效的查询计划,达奇优化器支持聚集下推,预计算,Block Skipping等高级特性,全面满足各种复杂的分析查询需求。

黄奕铖作为PieCloudDB「云上云」版本产品负责人,现场向大家展示了完整的产品操作流程,带给用户全新使用场景与产品体验,他表示:“未来拓数派将在云上数据和数据计算领域实现更多产品创新突破,数据科学与数字化转型团队,也将从产品服务及解决方案层面,全方位赋能用户。”

拓数派发布新一代云原生虚拟数仓PieCloudDB_大数据_07

拓数派发布新一代云原生虚拟数仓PieCloudDB_elastic_08

作为本次发布会重要环节之一,拓数派宣布基于阿里云构建公共云数据仓库服务正式上线,将满足用户多样化的数据分析需求,打造公共云数仓服务最佳实践。阿里云智能资深产品专家彭亚雄、阿里云智能解决方案架构师党月豪、拓数派首席运营官陆公瑜以及拓数派首席技术官郭罡出席启动仪式。双方表示,未来将围绕PieCloudDB产品展开更深度的合作,携手为用户和行业创造价值。现场阿里云智能资深产品专家彭亚雄做了题为“云存储引擎加速数据分析,助力商业创新”的分享,他提到云存储作为数据基础设施,会成为分析处理的加速引擎,阿里云期待与伙伴携手,共同繁荣数据生态。

拓数派发布新一代云原生虚拟数仓PieCloudDB_elastic_09

拓数派发布新一代云原生虚拟数仓PieCloudDB_elastic_10

亚马逊云科技资深架构师曹增轩向现场与会嘉宾分享了全球头部数据库企业的成功之道以及亚马逊云科技的数据库创新,回顾云数据库的发展史,他指出成功的云数据库需要具备易于使用,安全,低成本,高性能及生态全面的5大特质,并对未来云数据库的发展做了展望。

拓数派发布新一代云原生虚拟数仓PieCloudDB_大数据_11

上海帆一尚行科技有限公司任如意博士以“智能驾驶研发运营一体化云建设”为主题,从帆一尚行的数据中台架构及一体化智驾云架构等方面介绍了智能驾驶云能力版图。帆一尚行是上汽集团2017年设立的数字科技公司,对内赋能数字化转型,对外能力输出全栈数字科技产品与服务,以“消融产业边界、释放数据价值”为使命,助力产业数字化、数字产业化,促进产研融合、数实融合。

拓数派发布新一代云原生虚拟数仓PieCloudDB_人工智能_12

经过1年多的极速发展,拓数派与时间赛跑,始终坚守打造创新极致产品的初心,秉承“Big Data Promises Finally Come True”「最终实现大数据愿景」的理念,不断为客户和伙伴创造价值,为行业变革推波助澜。

 


拓数派发布新一代云原生虚拟数仓PieCloudDB_serverless_13

标签:数仓,虚拟化,PieCloudDB,拓数,云上,数据
From: https://blog.51cto.com/u_16396625/8654230

相关文章

  • 数仓实践丨常量标量子查询做全连接导致整体慢
    本文分享自华为云社区《GaussDB(DWS)性能调优:常量标量子查询做全连接导致整体慢》,作者:Zawami。问题描述由于SQL中存在标量子查询同另一查询做笛卡尔积使SQL整体慢。标量子查询,即结果集只有一行一列的子查询。这里导致的SQL语句执行慢不只是在于做笛卡尔积慢,也会使后续聚合更慢......
  • 数仓性能调优:row_number() over(p)-rn=1性能瓶颈发现和改写套路
    本文分享自华为云社区《GaussDB(DWS)性能调优:row_number()over(p)-rn=1性能瓶颈发现和改写套路》,作者:Zawami。1、改写场景本套路应用于子查询中含有row_number()over(partitionbyorderby)rn,并仅把rn列用于分类排序后筛选最大值的场景。2、性能分析GaussDB中SQL语句的执......
  • 数仓实时算子难以观测,快来试试算子级监控吧
    本文分享自华为云社区《GaussDB(DWS)监控工具指南(四)算子级监控【绽放吧!GaussDB(DWS)云原生数仓】》,作者:幕后小黑爪。随着数据量的增大和数据处理的复杂性增加,数据库系统的性能问题变得越来越突出。应用程序对数据库的访问频率和数据量也越来越大。因此,优化数据库系统的性能成为了......
  • NineData:通过一个SQL语句构建实时数仓
    随着企业数据量呈现出爆炸式增长,跨部门、跨应用、跨平台的数据交互需求越来越频繁,传统的数据查询方式已经难以满足这些需求。同时,不同数据库系统之间的数据格式、查询语言等都存在差异,直接进行跨库查询十分困难。原生跨库查询的局限性虽然MySQL、Oracle、PostgreSQL等数据库系......
  • Tita 升级|「数仓-互动统计」上线
    升级详情Tita-OKR和新绩效一体化管理平台1. 【互动-点赞人员统计表】详细的人员信息与被点赞的次数2.【互动-点赞明细表】点赞的具体详情:包括点赞人、被点赞人、被点赞的工作事项3.【互动-点赞统计】具体工作事项被点赞的情况:被点赞的工作事项、被赞次数、被赞人4.......
  • [数仓设计与建模] 数仓的分层
    以下各层按照从底部到顶部排列,从原始数据到最终应用1OperationDataStore原始数据层存放最原始的数据,结构与数据源结构一致,属于准备区基于从业务系统同步过来的数据结构可以保存所有历史数据,应选择高压缩格式,如gzip命名规则应为ods_tableName_inc/full2aDataWarehous......
  • 直播实时数仓基于DataLeap开放平台在发布管控场景的业务实践
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群背景业务背景随着字节业务的高速增长,业务场景越来越丰富,业务基于数据做的决策也越来越多,对数据的时效性要求也越来越高。原有离线批处理的数据仓库已经无法满足诉求,因此需要打造一套同时具......
  • 实例详解构建数仓中的行列转换
    本文分享自华为云社区《GaussDB数据库SQL系列-行列转换》,作者:Gauss松鼠会小助手2。一、前言在构建数据仓库或做数据分析时,需要对原始数据的结构进行一定的处理,有时涉及到“行转列”,有时涉及到“列转行”,那么这两个转换的方式具体是什么,有什么差异,怎么实现,今天我们将以GaussDB数......
  • 数仓实践丨表扫描时过滤行数过多引起的性能瓶颈问题
    本文分享自华为云社区《GaussDB(DWS)性能调优:表扫描时过滤行数过多引起的性能瓶颈问题案例》,作者:O泡果奶~。1、【问题描述】SQL语句执行过程中,对12亿数据量的大表进行扫描,过滤99%的数据仅留617行数据,性能瓶颈位于扫描该表这里。2、【原始语句】setsearch_path='bi_dash......
  • 美团增量数仓建设新进展
    摘要:本文整理自美团系统研发工程师汤楚熙,在FlinkForwardAsia2022实时湖仓专场的分享。本篇内容主要分为四个部分:建设背景核心能力设计与优化业务实践未来展望一、美团增量数仓的建设背景美团数仓架构的诞生是基于这样的技术假设:“随着业务数据越积越多,增量数据/存量数据的......