首页 > 其他分享 >业界声音|PolarDB 最值得关注的技术创新有哪些?

业界声音|PolarDB 最值得关注的技术创新有哪些?

时间:2024-02-01 15:13:02浏览次数:31  
标签:业界 Serverless 数据库 开发者 技术创新 使用 PolarDB 分布式

文章来源于韩锋频道

作者:韩锋,SphereEx 公司联合创始人

 

 

近日受邀参加首届「PolarDB 开发者大会」,这也国内数据库厂商越来越重视生态建设的表现,特别是数据库主要的受众-开发者,他们的声音对产品的发展至关重要。在本次会议上,阿里云重磅发布了中国首款自研云原生数据库 PolarDB 的“三层分离”全新版本,基于智能决策实现查询性能 10 倍提升、节省 50%成本。同时面向开发者,阿里云全新推出数据库场景体验馆、训练营等系列新举措,广大开发者可率先免费体验 PolarDB 数据库核心特性及 NL2BI 等 AI 新功能。下文是个人对参与本次大会的一点感受。

 

1. 主论坛:像“搭积木”一样简单

 

1.1 PolarDB 发展总览

 

作为国内最早定义的一款“云原生”数据库,PolarDB 发展已历经十五年,从早期基于开源数据库的深度优化,到结合云原生技术并形成独立品牌对外发布,到提供多种版本形成品牌矩阵,再到率先提出 Serverless 化并再次开源。PolarDB 一路走来,见证了国产数据库发展的不平凡之路。现在 PolarDB 正朝着更智能、更经济、更优化、更便捷的方向继续发展。

 

 

作为一个品牌家族,PolarDB 其实是由多款产品组成,主要分为集中式、分布式两个系列:包括有高度兼容 MySQL 的 PolarDB-M、高度兼容 PostgreSQL 和 Oracle 的 PolarDB-PG 及分布式版本 PolarDB-X。用户可以根据自身业务场景、生态兼容要求等进行选择。

 

 

此次发布会的一个重要观点,就是希望向开发者表达 PolarDB 的发展理念,并通过一个比喻-搭积木来形象描述。其通过产品四个方面的加强,来达到这一目标。

 

云原生化,即加速数据业务上云,通过一种新的资源交付方式简化开发者使用数据库;

 

平台化,即通过云平台的一站式功能帮助开发者使用和管理好数据库;

 

一体化,即通过多场景打通,优化使用体验可实现如“单体”般的使用效果;

 

智能化,即通过产品内置 AI 能力,可让数据库一方面变得更加智能简化管理,一方面提供更友好交互的可能。

 

 

1.2 PolarDB 集中式版本展示

 

云原生化

针对云原生化,PolarDB 推出了业内首创的三层分离形态,即对数据库资源层(CPU、MEM、DISK)实现了全部分离,即较以往提供更细粒度的资源管控能力,其带来的优势就是可实现根据不同工作负载搭配不同的资源配置,进而实现最优成本产出比。

 

 

CPU 方面,PolarDB 实现多角色转化及向上扩展能力,提供了非常灵活的组合使用方式。

 

 

MEM 方面,PolarDB 实现了内存全局复制,这样是达到业务更加平滑的效果。能做到这点也是依赖于阿里云多年在底层硬件的优化功力。

 

 

存储方面,PolarDB 内置的分布式存储系统 PolarStore,通过日志优化、RDMA 高速网络等措施实现低成本下的读写延迟优化。

 

 

一体化

一体化方面,PolarDB 的软硬一体方案,通过在存储、网络、内存等多项硬件领域创新,实现最优费效比。

 

 

平台化

Serverless,作为近年大火的热点,已成为云厂商发力的重点,其对于用户的敏态业务具有非常好的实用价值。PolarDB 通过智能决策系统可实现基于负载感知的向上或向外扩展能力,进而满足用户突发业务压力。结合内核提供的热备、事务重连、全局内存等技术,实现弹性条件下的业务无感。

 

 

智能化

本次大会智能化上还有个小亮点,通过一个小朋友带来的联机互动,演示与数据库通过自然语言交互的使用体验。虽然略显简单,但其未来发展潜力非常大。其核心正是利用了当今大火的大模型技术。

 

 

1.3 PolarDB 分布式版本展示

 

在谈到 PolarDB 分布式版本之前,会上先提出了使用分布式数据库的三个核心问题:必要性、兼容性和成本。

 

必要性,即是否有必要使用分布式数据库。对于中小规模用户而言,分布式数据库还有些遥远,但当面临业务发展时又不得不经历从集中式到分布式的痛苦过程。PolarDB 给出的答案是“单机分布式一体化”,即两种架构一套内核,可实现平滑扩展升级,打消用户使用分布式的担心。

 

 

兼容性,即使用分布式是否能做到业务无感,这也是阻碍分布式数据库推广的核心问题,很多用户会担心分布式下很多使用难点。PolarDB 给出的答案是“自动分片与扩展资源平衡”,通过灵活分片调整方式打消用户对使用分片的恐惧心理。

 

 

 

成本,即分布式下面临的海量数据管理与多工作负载可能带来的成本提高。PolarDB 给出的答案是“冷热分离与查询事务一体化”来解决。

 

 

 

2.分论坛:开发者需要怎样的数据库

 

此次大会还分设几个分论坛,就开发者关心的问题进行讨论。个人有幸受邀参与一场分论坛,内容是《面向未来,开发者需要什么样的数据库?》,与几位行业大咖进行了一次思想的碰撞。下面就几个论坛讨论有意思的问题分享下部分观点。

 

 

2.1 在数据库应用和开发中,开发者最常遇到的问题是什么?

 

  • 数据库承担两个职责,一是数据存储,一是数据计算。从开发者角度来看,是希望在业务开发中不再拘泥于底层算力和存储的约束,可以完全依据业务需求进行开发,这也正是 Serverless 技术受到关注的原因。正希望后者提供灵活的存储与算力的扩展能力,而不需要在预定义。

 

  • 长期以来,开发者与数据库的交互方式是以 SQL 为主,这也成为数据交互的统一标准。然而一直以来各数据库厂商纷纷在 SQL 标准上定义了很多方言,这也成为很多开发者面对不同数据库时不得不需要重新学习的问题,成为很多应用迁移库的一大障碍。这也是很多国产数据库做兼容性的主要原因。此外,随着 AI 技术发展,通过自然语言直接与数据库交互,也成为一种可能,现在正有更多的数据库产品开始支持 NL2SQL。

 

  • 数据库不是孤立存在的,在一个企业的数据生态中,存在着数据的上下游生态,存在数据产生、流转、存储、汇聚、分析、展示等多个环境。从开发者角度来看,是希望提供完整的生态支持,以数据库为核心的数据生态可以顺滑的流转起来。

 

2.2 云原生+Serverless 将会给开发者带来什么?数据库 Serverless 化⾯临的技术问题和挑战是什么?

 

  • 云原生和 Serverless 作为一种新的资源交付方式,大大简化原有数据库交付难点,也简化了相关管理性工作。开发者可根据需要随时拉起数据库使用,无需考虑底层基础设施。Serverless 技术则可让开发者更专注业务开发,不再关系底层数据库资源消耗、业务负载变化情况,Serverless 的弹性能力可以很好解决上述问题。

 

  • 数据库 Serverless 化是要面临诸多问题:一是多层资源解耦,提供更细粒度的资源调度方式及弹性;二是数据库负载感知及变化能力,能够在极短时间内感知变化并做出相应的资源调整;三是资源隔离和 Qos,需要解决 Serverless 中不同用户共用资源下的隔离和质量保障。

 

2.3 企业客户/开发者在云数据库使用中存在什么困难?

  • 首要问题就是云数据库产品的选择问题,云数据库往往存在很多数据库产品、每类产品下还有很多版本(如标准版、企业版)、每款下还有多种资源规格(如 4C8G、8C16G 等)。此外,云产品还是涉及到上下游生态,与 TP 库与 AP 库的配合、ETL 工具的选择、数据展示等等。如此多的选择,让用户存在很大选择性障碍。

 

  • 其次是对云数据库的可用性、一致性、安全性的担忧。之前上述问题都是企业自己解决,上云后需要通过云来保障。

 

2.4 预测下未来十年数据库发展的演进方向?

  • 更加智能化。这主要是针对数据库管理者而言,通过智能化的管理,简化数据库的管理复杂度。当前以 AI 技术与数据库结合的一个重要的方向就是 AI4DB,例如 Oracle 最早提出的自动驾驶的概念,正是为了解决管理问题。

 

  • 全新交互方式。这主要是针对开发者而言,一方面在通过 SQL 实现与数据库的交互外,是否能提供更加友好的交互方式,大模型技术的出现为这方面提供一种可能。NL2SQL 的出现将简化交互方式,随着这一技术的发展成熟,未来可能会出现完全颠覆的数据交互方式。

 

  • 普惠标准化。作为企业的管理者来说,是希望数据库能解决普惠的资源供给,即低成本的使用。同时数据库标准化也很重要,可以实现切换的低风险,解决数据库绑定的问题。

 

  • 业务场景化。随着数据在更多企业场景中的应用,如何选择和使用数据库成为业务方关注的问题。如果数据库提供提供场景化的解决方案,让选择不再困难,大大简化从选型、建模、研发成本,对于业务方具有很大意义。

标签:业界,Serverless,数据库,开发者,技术创新,使用,PolarDB,分布式
From: https://www.cnblogs.com/aliyunyaochidatabase/p/18001300

相关文章

  • 喜讯| 触想智能荣获2023年度“技术创新·金品奖”!
    触想智能又迎开年喜讯!1月25日,由数字标牌网联合视听网举办的2023年度数字标牌及视听行业年度荣誉评选名单重磅揭晓,触想智能扫码安卓工业平板一体机(TPC-A14)斩获2023年度技术创新·金品奖,标志着触想智能品牌创新与技术实力再获专业权威机构认可。△ 触想智能“202......
  • 喜报|「云原生数据库 PolarDB」、「阿里云瑶池一站式数据管理平台」揽获“2023 技术卓
    日前,国内知名IT垂直媒体&技术社区IT168公布2023年“技术卓越奖”评选结果,经由行业CIO/CTO大咖、技术专家及IT媒体三方的联合严格评审,阿里云瑶池数据库揽获两项大奖:云原生数据库PolarDB荣获“2023年度技术卓越奖”,阿里云瑶池一站式数据管理平台荣获“2023年度创新解......
  • 媒体声音|PolarDB 再升级:欢迎来到云数据库 x AI 新时代
    以下文章来源于产业家,作者产业媒体 作者|思杭编辑|皮爷出品|产业家 “搭积木”、“自动驾驶”、“三层解耦”,这些形象的标签成了1月17日阿里云开发者生态大会当天最出圈的词汇。 会上,一名小学生受邀上台演示了数据库查询的场景。一种“全民编程”的气氛向现场观众......
  • 阿里云 PolarDB 开发者大会首度召开,让数据库开发像“搭积木”一样简单
    1月17日,首届阿里云PolarDB开发者大会在京举办,中国首款自研云原生数据库PolarDB发布“三层分离”全新版本,基于智能决策实现查询性能10倍提升、节省50%成本。面向开发者,阿里云全新推出数据库场景体验馆、训练营等系列新举措,广大开发者可率先免费体验PolarDB数据库核心特......
  • 典型场景解析|PolarDB 分布式版如何支撑 SaaS 多租户?
    SaaS多租户背景 很多平台类应用或系统(如电商CRM平台、仓库订单平台等等),它们的服务模型是围绕用户维度(这里的用户维度可以是一个卖家或品牌,可以是一个仓库等)展开的。因此,这类型的平台业务,为了支持业务系统的水平扩展性,业务的数据库通常是按用户维度进行水平切分。 可是,当......
  • 业界使用 ES 的一些工程实践
    欢迎读者在评论区共享读过的ES(ElasticSearch)工程实践的文章性能优化美团外卖搜索基于Elasticsearch的优化实践美团外卖LBS场景下,采用LongObjectHashMaphash查询方式优化了倒排链的查询、采用RLE编码将postinglist极致压缩,优化了倒排链的合并。滴滴落地ZSTD压缩算......
  • 本周五上海见!第二届证券基金行业先进计算技术大会暨2024低时延技术创新实践论坛(上海站
    低时延技术是证券基金期货领域业务系统的核心技术,是打造极速交易系统领先优势的关键,也是证券基金行业关注的前沿技术热点。1月19日下午,第二届证券基金行业先进计算技术大会暨2024低时延技术创新实践论坛(上海站)即将举办!本次会议将聚焦低时延技术在金融行业的创新实践,邀请了申万宏源......
  • 倒计时1天|解锁「PolarDB开发者大会」正确打开方式
    1月17日 9:30-16:30北京·嘉瑞文化中心PolarDB开发者大会明天就要和大家就见面啦~大会参会指南现已出炉各位开发者们,请查收~......
  • 广东腐蚀科学与技术创新研究院选购HS-DR-5导热系数测试仪
    广东腐蚀科学与技术创新研究院,作为国内腐蚀科学领域的研究机构,一直致力于为科研工作提供设备与技术支持。近期,该研究院在导热系数测试方面做出了明智的选择,选购了我们的HS-DR-5导热系数测试仪。这一决策不仅提升了其科研能力,更为我国腐蚀科学领域的技术创新注入了新的活力。广东腐......
  • @PolarDB,你的动手体验搭子,来啦
    前言 PolarDB是阿里云自研的新一代云原生数据库,在计算存储分离架构下,利用了软硬件结合的优势,为用户提供具备极致弹性、高性能、海量存储、安全可靠的数据库服务。100%兼容MySQL和PostgreSQL生态,高度兼容Oracle语法。 1月17日,PolarDB开发者大会将在北京举办。现场将凝聚国内......