首页 > 其他分享 >从自建到云原生:数据管理的未来与变革

从自建到云原生:数据管理的未来与变革

时间:2024-08-13 09:04:48浏览次数:10  
标签:原生 运维 数据库 技术 调度 数据管理 数据 自建到

前言

最近,我看完腾讯云社区发布的纪录片《中国数据库前世今生》,其中有段话让我忍俊不禁。纪录片提到,云数据库刚刚兴起时,最大的挑战并不是来自竞争对手,而是来自那些选择在云服务器上自建数据库的用户。

关于这部纪录片,我有许多深刻的感想。从国产数据库的探索历程,到我个人在数据库领域的经历,再到如今云原生数据库的先进技术,我感触颇深。如果你对这一话题也感兴趣,欢迎阅读我的其他文章,它们涵盖了更多相关的探讨和见解。

关于国产数据库的发展趋势的探讨:https://www.cnblogs.com/guoxiaoyu/p/18295131

个人与数据库相识、相知的经历:https://www.cnblogs.com/guoxiaoyu/p/18338820

观存储历史,论数据未来:https://www.cnblogs.com/guoxiaoyu/p/18352499

接着这个话题,虽然当时我也觉得这说法有些滑稽,但在我深入研究了云数据库与自建解决方案的区别后,才明白这种看法的背景。由于当时云数据库尚未普及,很多人误以为云数据库不过是将开源的MySQL或其他数据库搭建在云服务器上,然后还要为此额外付费。于是,他们会想,既然如此,为什么不直接在云上租用服务器自己维护数据库呢?

我们可以深入探讨一下自建数据库与云数据库的优劣之分。传统自建数据库模式要求企业自行搭建硬件设施并维护软件系统,随着业务的扩展,这种模式逐渐暴露出成本高昂、扩展性不足和维护难度大的问题。

image

相比之下,云数据库的出现为企业提供了一种更为灵活、高效且成本可控的解决方案。云数据库不仅简化了数据管理过程,还通过自动化和智能化手段,提升了数据处理的便捷性和效率。因此,云数据库在满足企业不断增长的数据需求方面,显然展现了更大的优势。

根据Gartner报告的分析,云数据库市场正处于上升阶段。2023年,全球数据库市场规模预计将突破1000亿美元,而云数据库的市场份额有望达到55%。报告还指出,2022年AWS的数据库管理系统(DBMS)的收入已经超越了Oracle等传统数据库厂商,显示出云数据库的强劲增长势头。

image

我认为,云数据库的发展正经历两个重要阶段:第一阶段是从传统数据库向云数据库的迁移;第二阶段则是从云数据库向云原生数据库的进化。目前,分布式云原生数据库正成为市场的主流趋势,标志着云数据库技术的不断成熟和进步。

传统自建

自从数据库技术的流行以来,互联网行业也经历了飞速的发展。数据的快速存储和处理能力极大地推动了企业和业务的成长。在那个时期,企业为了满足不断增长的业务需求,不得不自行购买服务器和存储设备,建设机房,并且组建专业的开发、网络和数据库运维团队。这种自建模式不仅要求企业承担高昂的硬件投资和人力资源成本,还面临着招聘周期长、技术更新迅速等一系列挑战。

image

此外,自建数据库的运维风险也不容忽视。诸如意外断电、硬件故障,甚至是人为操作失误,都有可能导致服务中断,进而影响业务的正常运行。这些问题使得传统的自建数据库模式逐渐显露出其局限性,为云数据库的崛起和普及铺平了道路。

image

在这种情况下,小规模企业可能能够应对自建数据库的挑战。然而,一旦企业的产品流量显著增长,就会面临机房资源不足的问题,以及如何实施异地容灾的挑战。由于所有的开发和运维人员通常集中在一个地方办公,企业无法简单地在其他地区租赁新的机房来满足业务的扩展需求。这样一来,企业就需要寻找解决方案,以应对快速增长带来的各种基础设施问题。于是,我们见证了所谓的“伪云”现象的出现。

云服务器

我之所以提到云服务器而非云数据库,是因为根据上文提到的客户痛点,我们可以发现,云服务器和云数据库这两种服务的起源分别是在2000至2010年代初。当时,企业的业务增长速度还没有如今这么快,因此,即便用户了解云数据库的存在,他们也常常将其视为云服务商在云服务器上为企业搭建的开源数据库产品,并以此进行包装和销售。这种情况下,云数据库常被视作云服务器的一种附加功能,而非独立的、具备完整能力的解决方案。

image

在这个时期,用户的痛点主要在于他们可以自行搭建数据库。用户可以选择直接购买一台服务器并在上面安装数据库软件,如 MySQL 等。因此,那时许多云服务商的客户倾向于选择自建方案,即在云服务器上自行搭建数据库。这种方式不仅允许用户根据自身需求选择不同的配置和机房地点,还能在一定程度上解决大部分问题,例如机房的位置、意外断电和硬件故障等。对于这些用户而言,云服务器提供的灵活配置选项和可控的环境设置,能够有效应对他们的主要需求,因此其他问题往往显得无关紧要。

云数据库

所有产品的需求都需参考其时代背景。当进入到2010至2020年代时,互联网发展迅猛,这段时间被许多程序员视为十年红利期。在这一时期,随着互联网产品的突飞猛进,已搭建好的数据库面临着自动扩容和缩容的需求。因为谁也无法预见哪个互联网产品会突然爆红,一旦某个产品流量激增,传统数据库集群可能难以应对如此庞大的业务量。为了避免因网站运维停机而损失客户流量,云数据库的自动扩展能力成为了关键解决方案,从而成为了市场上备受青睐的选择。这一时期,云数据库因其灵活性和扩展性,在应对快速变化的业务需求上表现出色。

image

过去,数据形式和应用场景相对单一,例如传统数据库主要应用于金融、运营商、政务等传统行业领域。然而,随着互联网、移动互联网及产业互联网的迅猛发展,各行业正在加速推进电子化和信息化的进程。这种加速使得应用服务形式变得多样化,从而导致行业的数据形式和应用场景也日益丰富。这种多样化的趋势对底层数据库的能力提出了更高的要求和更多的挑战,因为新的应用场景不仅需要处理更复杂的数据类型,还要求数据库具备更强的扩展性、灵活性和高效的性能。

云数据库的天花板由调度决定

过去,我们通常认为数据库的性能瓶颈主要集中在优化器的能力上。在那个时代,程序员的面试中几乎都会涉及SQL调优,毕竟优化器的功能主要限于简单的操作,比如调整字段顺序,无法真正深度优化用户的SQL查询。因此,尽管优化器能在一定程度上提升性能,但对于复杂的查询或大规模的数据处理,其效果往往有限,无法全面满足高性能需求。

今天,对于云数据库而言,更为关键的是数据库的综合调度能力,这不仅仅包括计算层的调度和数据层面的调度,还涵盖了资源层面的调度。这意味着,云数据库需要能够有效地管理和优化计算资源的分配,以应对动态变化的工作负载;同时,必须在数据存储和访问层面上进行高效的调度,以确保数据的快速处理和准确访问;此外,还要在资源层面上进行合理的调度,以确保资源的有效利用和成本控制。

image

数据的智能调度在云数据库中至关重要,以腾讯云数据库为例,其存储与计算支持以下五层调度能力:

  1. 计算类型:包括在线事务处理(OLTP)、在线分析处理(OLAP)以及流式计算,以适应不同的业务需求和负载类型。
  2. 库表调度:基于数据的亲和性进行库表调度,以优化数据存储和访问效率。
  3. 存储类型:支持行存储、列存储、内存表和日志等多种存储方式,以适应不同的数据处理需求。
  4. 数据冷热:对冷数据、温数据和热数据进行差异化处理,以提高存储和访问的灵活性。
  5. 容灾调度:根据容灾需求进行跨中心和跨城市的调度,以保障数据的可靠性和业务的连续性。

在实际应用中,我们面临着各种场景,如在线交易、AP处理、流式计算等,这些都需要云数据库技术进行有效的整合,以在性能和成本之间实现最佳平衡。因此,智能调度不仅仅是对技术能力的考验,更是实现高效数据处理和资源优化的关键。

智能运维

最后需要强调的是,单纯优化数据库自身的功能和性能并不足以满足全面的业务需求,还必须推动业务流程的优化改造,从而形成数据库应用的良性循环。腾讯云数据库通过智能运维平台,利用全链路分析技术,为每条SQL语句附加业务标签,从而实现对基础业务的提升和业务研发的精准优化。

这种方法不仅使数据库能够更准确地识别和处理实际业务场景中的问题,还能够推动业务过程的不断改进和优化。

image

运维工作对于许多人员来说往往是一场挑战,因为其涉及的任务繁多且复杂,常常令人生畏。然而,如果能够提供一个直观、可视化的界面,将大大简化运维管理的难度。

image

一个全面的可视化界面可以清晰地展示系统的各项指标和性能数据,包括实时监控、告警管理、资源使用情况、性能瓶颈分析等。通过图形化的仪表盘和交互式图表,运维人员能够更快速地识别系统的健康状态、潜在问题和趋势变化,从而提高故障排除的效率,减少人为错误的发生。同时,集成的分析工具可以帮助运维人员深入了解系统的运行情况,制定更具针对性的优化策略。

迁移实践

以腾讯云为例,目前,国内两家主要的国有大行已经成功地基于TDSQL进行银行核心系统的分布式改造,将原本依赖于国外IBM DB2等数据库的核心系统迁移至TDSQL的国产分布式架构。这一举措标志着国产云数据库在金融行业中的重要突破,显示出国产数据库在全球市场中不断增强的竞争力和可信赖性。

此外,TDSQL 还进行了开源,并向开放原子开源基金会捐赠了 OpenTenBase。这一举措旨在推动国产数据库技术的普及与发展,鼓励更多的开发者参与到国产数据库技术的创新和生态建设中来。通过开源共创的模式,TDSQL 希望与上下游产业链以及广大开发者共同努力,构建一个繁荣的数据库技术生态系统。

image

云原生数据库

进入20年代,云原生技术逐渐成为行业发展的主流趋势。云原生数据库,作为专为云环境设计和优化的数据库系统,通过深度融合云原生技术的优势,展现出显著的灵活性、可扩展性、弹性和自动化程度。这类数据库系统能够充分利用云计算的动态资源分配和按需扩展能力,从而应对日益增长的数据处理需求,并实现高效、可靠的数据管理。我们这里仍然以腾讯云TDSQL为例

image

他所支持的是针对企业需求的高度弹性和灵活性,因为在实际应用中,服务器的负载常常会出现高峰和低谷。腾讯云 TDSQL 在设计时充分考虑了这种波动性,通过卓越的弹性和可扩展性,确保系统能够根据实时的负载情况自动调整资源配置。这种能力使得企业能够在高峰期获得足够的资源支持,而在低谷期则可以减少资源的使用,从而最大限度地优化资源利用效率,降低运营成本。

为了更好地理解 TDSQL 的架构及其弹性特性,可以参考腾讯云云原生数据库的架构图:

image

为什么云原生数据库优于云数据库

仍然以腾讯云为例,云原生数据库 TDSQL-C MySQL 版在多个方面优于传统的云数据库 MySQL。我们来对比一下。

特性/能力 云数据库 MySQL 劣势 TDSQL-C MySQL 版优势
数据存储上限 受单物理机限制 分布式存储,单实例可达400TB
升级和扩展 规格升级、增加只读实例耗时较长 计算节点无状态,秒级升配、切换、增加只读节点
数据一致性 做到数据强一致性成本高 数据块级别的三副本强一致
数据同步 基于 binlog 的数据同步,主备延迟问题 主从基于 redo 同步,从库延迟降到 ms 级别
写性能 全日志及数据页更新导致写性能瓶颈 只写 redo,轻量级写入,更高写入性能(140%)
磁盘扩容 - 磁盘扩容业务无感知、业务无影响
备份/回档速率 回档慢,数据恢复时间较长 每秒 GB 的备份/回档速率,解决备份慢回档慢问题
计算资源 - 具备 Serverless 能力

云原生数据库代表了数据库技术的未来趋势,它专为云计算环境设计,具备了传统数据库所不具备的特性。这些数据库充分利用了云平台的弹性、可扩展性和自动化运维能力,能够快速适应业务需求的变化,实现资源的最优分配。

随着企业数字化转型的加速,云原生数据库的这些优势变得尤为重要,它们支持了微服务架构、容器化部署和DevOps实践,使得应用开发和运维更加高效和敏捷。此外,云原生数据库的高可用性和灾难恢复能力,确保了企业数据的安全性和业务的连续性。因此,云原生数据库不仅能够满足当前的技术需求,也为未来的技术发展奠定了基础,成为推动企业创新和增长的关键力量。

总结

在数据技术不断演进的背景下,云数据库的崛起和云原生数据库的普及标志着数据库技术的显著变革。从最初的自建数据库模式到如今的云原生数据库,企业在数据管理上的选择变得更加丰富和灵活。云数据库不仅仅是对传统数据库技术的一个迁移,更是对其进行了一次全面的升级和优化。

回顾过去,传统自建数据库模式虽然为企业提供了极大的灵活性和控制权,但其高昂的硬件投资、复杂的维护工作和扩展困难,使得许多企业不得不面对诸多挑战。特别是在面对业务快速增长和数据处理需求剧增的情况下,传统模式显得捉襟见肘。云数据库的出现恰逢其时,以其优越的自动化管理、弹性扩展和成本效益,为企业提供了一种更为高效的解决方案。

随着云技术的进一步发展,云原生数据库作为云计算环境下的新一代数据库系统,展现了更为卓越的性能和适应能力。它们不仅在资源管理和调度上展现了极高的智能化水平,还在数据处理的灵活性和扩展性方面远超传统数据库。以腾讯云 TDSQL 为例,其在弹性扩展、数据一致性和性能优化等方面的优势,使得企业在处理大规模数据时能够游刃有余,极大地提升了业务的持续性和稳定性。

面对日益复杂的业务需求和技术挑战,云原生数据库的优势愈发突出。它们不仅能够有效应对现代数据处理的高负载和多样化需求,还为企业数字化转型提供了强有力的支持。从业务敏捷性到运营效率,从数据安全到成本控制,云原生数据库在各个方面都表现出色。

总结来看,数据技术的发展从未停止脚步,而云数据库及云原生数据库的出现无疑为企业的数据管理和业务增长提供了新的动力。未来,随着技术的进一步进步和应用场景的不断拓展,云原生数据库将继续发挥其重要作用,推动数据管理技术向更加智能、灵活和高效的方向发展。企业在这一变革过程中,需要紧跟技术趋势,灵活调整战略,以确保在数字化时代中保持竞争力和创新力。


我是努力的小雨,一名 Java 服务端码农,潜心研究着 AI 技术的奥秘。我热爱技术交流与分享,对开源社区充满热情。同时也是掘金优秀作者、腾讯云创作之星、阿里云专家博主、华为云云享专家等多重身份。

标签:原生,运维,数据库,技术,调度,数据管理,数据,自建到
From: https://www.cnblogs.com/guoxiaoyu/p/18354003

相关文章

  • 云原生与微服务
    微服务和云原生是现代软件架构中常用的概念,通常用于构建灵活、可扩展和易于维护的应用程序。微服务(Microservices)微服务是一种软件架构风格,它将一个大而复杂的应用程序拆分为多个小型的、独立的服务。每个服务都可以单独开发、部署和维护。微服务有以下特点:单一职责:每个微服......
  • 云原生周刊:Score 成为 CNCF 沙箱项目|2024.08.12
    开源项目推荐KubeOneKubermaticKubeOne自动化管理您所有云环境、本地环境、边缘计算和物联网环境中的集群操作。KubeOne可以安装高可用(HA)的主集群,也可以安装单主集群。MayflyMayfly是一个Kubernetesoperator,使您可以使用基于时间的资源。它会在指定时间创建或删除资源。......
  • 云原生 - [01] 概述
      云原生的优势包括:提高开发效率、降低成本、确保高可用性、加快开发速度、平台独立性等。它适用于需要快速迭代、高度可扩展和具有弹性的现代应用程序。 一、什么是云原生云原生是一种构建和运行应用程序的方法,它是一套技术体系的方法论,旨在充分利用云计算模型的优势。0......
  • 全红婵夺冠!数业智能心大陆告诉你原生家庭在背后发挥了怎样的力量
    2024年巴黎,全红婵在十米跳台上的完美一跃,再次定义了跳水艺术,'水花消失术'成为她的代名词!全红婵的辉煌成就,不仅点亮了自己,也照亮了家庭的未来。而他的家人也非常珍视全红婵的成功。其父亲坚定的表示:”我们不能消费女儿“。“不能因为她拿了冠军,我连活都不干了。”“坐享其......
  • 【云原生之kubernetes实战】在k8s环境下部署Note Mark笔记工具
    【云原生之kubernetes实战】在k8s环境下部署NoteMark笔记工具一、NoteMark介绍1.1NoteMark简介1.2NoteMark特点1.3NoteMark使用场景二、本次实践介绍2.1本次实践简介2.2本次环境规划2.2k8s存储介绍三、检查k8s环境3.1检查工作节点状态3......
  • 小程序原生开发步骤讲解
    前言:都在使用快速开发的uniapp框架的时候,我们是否忘记了原生小程序开发了呢,这里记录一下,以备日后查阅1.打开小程序开发文档开始|微信开放文档账号可以不用申请用测试号我们主要讲解开发2.安装开发者工具3.创建小程序4.目录结构:目录结构和我们用uniapp编译之后的小程......
  • 【云原生】Kubernetes中如何对etcd进行备份和还原,确保k8s集群的稳定和健壮
    ✨✨欢迎大家来到景天科技苑✨✨......
  • 潜在新就业岗位超300万个 原生鸿蒙开发创造百万级人才缺口
    在数字化转型的浪潮中,开发者作为数字经济的建设者和创新者,成为了推动社会进步的重要⼒量。InfoQ研究中⼼最新发布的《中国开发者画像洞察研究报告2024》显示,截至2023年年底,中国泛开发者⼈数高达2067.21万,增速为2.5%。在这2000多万人中,鸿蒙⽣态吸引了超过254万开发者。伴随着鸿蒙......
  • 《Kubernetes企业级云原生运维实战》(李振良).pdf
    本书是一本实用性很强的Kubernetes运维实战指南,旨在为容器云平台的建设、应用和运维过程提供全面的指导。作者结合丰富的生产环境经验,深入探讨作为一名Kubernetes工程师必备的核心技能,包括部署、存储、网络、安全、日志、监控、CI/CD等方面的技术。本书结合大量的实际案例,......
  • JSP个人健康数据管理系统j3z2r程序+源码+数据库+调试部署+开发环境
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表系统功能:信息,医生,用户,坐诊信息,图书分类,图书信息,咨询信息,预约就诊,取消预约,循环预约,健康数据开题报告内容一、研究背景与意义随着健康意识的提升与信......