金融行业,尤其是银行业是对数据库依赖度极高、又对数据库要求最为严苛的行业。随着互联网及移动互联网技术的兴起,网上银行、手机银行、电子支付等新业态出现,高并发、海量数据、超高峰值等挑战接踵而至,导致数据资源存储、计算和应用等需求大幅提升。以往银行业务架构采用的大/小型机+集中式数据库的方案,已经难以满足对业务稳定性与连续性的要求。而分布式数据库可以满足金融行业高可靠、高性能、低成本、平滑扩展等需求,逐渐成为了金融行业打造核心竞争力的重要手段之一。
为了满足金融行业高扩展、高并发、高性能、高安全性等挑战,华为云推出了主打金融政企核心业务负载的分布式数据库旗舰产品——GaussDB,这是华为深度融合多年数据库领域经验,充分结合企业级场景需求,基于openGauss自研生态推出的企业级分布式关系型数据库。是什么样的特性使得GaussDB 俘获了众多金融行业用户的心呢?这要从其关键技术说起。
首先是分布式执行框架。 业务应用下发SQL给Coordinator,SQL可以包含对数据的增(insert)、删(delete/drop)、改(update)、查(select)。Coordinator利用数据库的优化器生成执行计划,每个DN(Data Node)会按照执行计划的要求去处理数据。
GaussDB 分布式执行框架示意图
因为数据是通过一致性Hash技术均匀分布在每个节点,因此DN在处理数据的过程中,可能需要从其他DN获取数据,GaussDB提供了三种stream流(广播流、聚合流和重分布流)来降低数据在DN节点间的流动。DN将结果集返回给Coodinator进行汇总。Coordinator将汇总后的结果返回给业务应用,从而提升复杂SQL查询的性能。
第二是GTM-Lite技术。 GTM-Lite可以在保证事务全局强一致的同时,提供高性能的事务处理能力,避免了单GTM的性能瓶颈。这里的高性能事务管理指的是无锁、多版本、高并发事务技术。而且分布式的GTM-Lite方案提供全局事务快照和提交管理,实现强一致性,且无中心节点性能瓶颈。
第三个关键技术是基于NUMA-Aware实现高性能事务处理。 结合鲲鹏多核CPU架构优势,通过进行NUMA绑核、对全局数据结构进行NUMA分区改造,减少跨核处理和核间冲突,提升业务并行处理能力;充分利用鲲鹏原生Atomic_LSE指令,实现NUMA-Aware自旋锁,大幅降低指令数,有效提升指令效率,性能更强。
GaussDB NUMA-Aware技术架构示意图
第四个关键技术是集群HA,多层级冗余实现系统无单点故障。 GaussDB通过硬件冗余、实例冗余、数据冗余,实现整个系统无单点故障,高可用。其中硬件高可用包括存储磁盘RAID冗余、网络双交换机冗余、多网卡冗余、主机UPS电源保护。软件高可用则包括协调节点CN实例多活冗余、数据节点/全局事务管理/ 集群管理器实例Active-Standby冗余。除此之外,GaussDB还通过全量+增量备份,打造闪回和PITR等企业级能力,实现数据按需回退、任意时间点的数据恢复,最终进一步保障数据库的高可用。
第五个关键技术是跨AZ/Region容灾技术带来的高可用。 首先是集群内高可用,实现了数据不丢失和业务秒级中断。同城跨AZ容灾,数据不丢失,实现了分钟级恢复。
除了同城跨AZ, GaussDB还推出了同城双集群高可用方案,提供金融级高可用服务,支持RPO=0 、RTO<60s的同城双集群切换,主集群在出现故障的情况下,备集群还具备继续提供服务的能力,尽最大可能保障企业用户的核心业务7x24小时无中断。
第六个关键技术是Scale-out在线横向扩展带来高扩展。 GaussDB支持单集群1000+节点,节点扩展下能够获得卓越的性能线性比,同时节点扩容能够做到完全在线,对客户透明。节点扩容完成后DN数据自动重分布,CN自动完成负载均衡。
GaussDB Scale-out横向扩展示意图
第七个关键技术是一站式迁移解决方案。 GaussDB基于数据库和应用迁移(UGO)和数据复制服务(DRS),从迁移评估、结构迁移、应用迁移、全量+增量数据迁移、数据一致性动态校验、流量回放等方面提供了一站式迁移上云方案,让客户上云更轻松、更高效。
华为云分布式数据库GaussDB深度结合了华为在数据库领域多年来的技术积累和实践经验,能满足客户高安全、高可靠、高性能、高扩展、智能化全方位需求,为金融机构提供功能全⾯、稳定可靠、扩展性强以及性能优越的企业级数据库服务。未来,GaussDB也将继续发挥“技术强、更可靠、资源多、创新快”的技术和服务优势,助力金融机构安心上云,实现金融行业高效数字化转型!
标签:GaussD,关键技术,GaussDB,节点,华为,数据,数据库,冗余,分布式 From: https://blog.51cto.com/u_16080252/6214233