首页 > 其他分享 >华为云GeminiDB,广告RTA的“登云梯”

华为云GeminiDB,广告RTA的“登云梯”

时间:2024-04-09 09:55:04浏览次数:27  
标签:存储 RTA 数据库 华为 时延 GeminiDB 数据

本文分享自华为云社区《华为云GeminiDB,广告RTA的“登云梯”》,作者: GeminiDB-Redis博客。

行话说,广告RTA要想效果好,数据库挑战少不了。那么,广告RTA对数据库究竟有哪些挑战?在上篇文章《究竟什么样的数据库,才能承接RTA广告这个技术活》中,介绍了广告RTA对数据库的挑战,本文我们将详细介绍GeminiDB在广告RTA中的优势特性。

广告RTA业务面临高并发、超低时延、超大数据量等实际特性需求,因此,对核心画像数据库有如下诉求:

  • 海量数据快速导入,确保决策精准性:

需要定期将成百GB甚至数TB全量画像数据导入画像数据库;全量数据导入越快,模型越精准,广告投放效果越好。

  • 承载高并发访问:

RTA系统要承接大量的实时竞价请求。以电商、金融客户的RTA系统为例,经验上,日常数据库QPS在几十万到数百万之间。

  • 保持稳定的低时延:

媒体侧要求广告主在40-100ms内返回决策结果;数据库需要在个位数毫秒内执行完请求。

  • 降低业务成本:

为了追求极致的性能体验,RTA业务通常使用开源自建Redis,然而TB级别数据存储成本非常昂贵,成本也是广告主选型的重要考虑因素。

在广告RTA中,通常选用以下数据库作为画像数据库:

  • MySQL:难以满足数十万至百万QPS并发和低时延的要求。
  • MongoDB/Hbase:可以存储TB级数据,成本便宜,但无法满足稳定低时延诉求,超时率高,容易导致停投,影响商业利益。
  • 内存数据库:能提供高并发、低时延极致性能,如开源自建Redis,是业界选用比较多的方案。但存在着稳定性差,数据丢失等风险。对于TB级用户画像数据,存在导入速度慢和成本高的痛点。

而华为云数据库GeminiDB Redis接口完全具备“稳定低时延、高性价比、FastLoad离线数据极速导入”等核心能力。

核心能力一:FastLoad极速数据导入,效率提升5-10倍

传统数据库只能通过标准协议逐条写入数据,先经过计算层复杂结算,再写入存储层。因此,大数据平台定期导入的数百GB乃至数TB的画像数据,通常需要数小时或者数天,且对在线业务影响比较大。

GeminiDB提供的FastLoad企业级特性,依托RTA业务场景大数据平台的高并发处理能力和自身存储引擎的数据编排能力,将海量数据通过专属高速持久化通道直接传入存储引擎,数据导入速度提升5-10倍,并降低对在线业务的影响。

GeminiDB FastLoad企业级特性与RTA场景

核心能力二:提供百万级并发和亚毫秒级延迟,无惧业务洪峰

华为云GeminiDB采用存算分离架构,通过分布式高性能存储池实现三副本、强一致的数据存储,所有节点高效读、写访问,支持算力水平和垂直扩展,能够轻松应对业务规模和数据量的爆炸式增长。同时,通过采用多线程架构和高性能存储池,配合内存数据结构和访问算法的深度优化,GeminiDB能够实现亚毫秒级的数据请求响应。

这种超低时延的性能,对需要实时数据处理和分析的应用场景,如在线游戏、金融科技、广告系统和实时推荐系统,提供了强大的数据支持,GeminiDB成为处理大规模实时交互和高频交易等场景的理想选择。

根据现网的案例经验,在百万+QPS流量下,GeminiDB可稳定保持平均时延1ms,p99时延2ms。

GeminiDB架构图

核心能力三:高效数据压缩存储,效率与成本并行

GeminiDB使用“逻辑数据+块数据”双重压缩机制,在不牺牲性能的前提下,大幅度降低数据的存储占用。同时,采用存算分离架构,将算力和数据存储解耦,支持独立弹性扩展。这意味着企业可以以更低的成本存储更多的数据,极大地优化资源利用效率,降低整体的使用成本。

根据现网案例经验,GeminiDB的数据压缩比通常为4:1,即实际12TB数据,在GeminiDB中仅占用3TB左右的存储空间。

总结

华为云GeminiDB数据库凭借自身在RTA场景上海量离线数据极速导入、高性能稳定低时延、节约存储成本等卓越性能,已经成为金融、广告、推荐等业务数字化转型和技术创新道路上的强大伙伴。我们期待与全球的企业和开发者合作,共同探索数据的未来,推动技术和业务的发展。

 

点击关注,第一时间了解华为云新鲜技术~

 

标签:存储,RTA,数据库,华为,时延,GeminiDB,数据
From: https://www.cnblogs.com/huaweiyun/p/18123233

相关文章

  • 华为手机 鸿蒙系统 或者安卓系统的百度网盘下载的文件保存在手机什么位置如何查看
    华为手机鸿蒙系统或者安卓系统的百度网盘下载的文件保存在手机什么位置如何查看 连接电脑后一般在这里位置计算机\Mate20Pro(UD)\内部存储\Download\BaiduNetdisk也就是用usb(数据线,不是充电线,要四心的)连接手机后,打开手机盘,download目录 ......
  • 任务处理【华为OD机试】(JAVA&Python&C++&JS题解)
    一.题目-任务处理在某个项目中有多个任务(用tasks数组表示)需要您进行处理,其中tasks[i]=[si,ei],你可以在si<=day<=ei中的任意一天处理该任务。请返回你可以处理的最大任务数。注:一天可以完成一个任务的处理。输入描述:第一行为任务数量n,1<=n<=100000。后......
  • 跳马【华为OD机试】(JAVA&Python&C++&JS题解)
    一.题目马是象棋(包括中国象棋和国际象棋)中的棋子,走法是每步直一格再斜一格,即先横着或直着走一格,然后再斜着走一个对角线,可进可退,可越过河界,俗称“马走‘日’字。给顶m行n列的棋盘(网格图),棋盘上只有有棋子象棋中的棋子“马”,并且每个棋子有等级之分,等级为k的马可以跳1~k......
  • CondeseNetV2:清华与华为出品,保持特征的新鲜是特征复用的关键 | CVPR 2021
    论文提出SFR模块,直接重新激活一组浅层特征来提升其在后续层的复用效率,而且整个重激活模式可端到端学习。由于重激活的稀疏性,额外引入的计算量非常小。从实验结果来看,基于SFR模块提出的CondeseNetV2性能还是很不错的,值得学习 来源:晓飞的算法工程笔记公众号论文:CondenseNet......
  • 华为交换机MGMT配置
    返回 自学Huawei之路自学huawei之路-华为交换机MGMT配置interfaceGigabitEthernet0/0vrfforwardingMgmt-vrfipaddress192.168.50.21255.255.255.0negotiationauto iproutevrfMgmt-vrf0.0.0.00.0.0.0192.168.50.1  #加vrf路由ip tftp source-interface......
  • 5G网络建设【华为OD机试】(JAVA&Python&C++&JS题解)
    一.题目-5G网络建设现需要在某城市进行5G网络建设,已经选取N个地点设置5G基站,编号固定为1到N,接下来需要各个基站之间使用光纤进行连接以确保基站能互联互通,不同基站之间架设光纤的成本各不相同,且有些节点之间已经存在光纤相连,请你设计算法,计算出能联通这些基站的最小成本是......
  • 项目排期【华为OD机试】(JAVA&Python&C++&JS题解)
    一.题目项目组共有N个开发人员,项目经理接到了M个独立的需求,每个需求的工作量不同,且每个需求只能由一个开发人员独立完成,不能多人合作。假定各个需求直接无任何先后依赖关系,请设计算法帮助项目经理进行工作安排,使整个项目能用最少的时间交付。输入描述:第一行输入为M个需......
  • 找城市【华为OD机试】(JAVA&Python&C++&JS题解)
    一.题目-找城市一张地图上有n个城市,城市和城市之间有且只有一条道路相连:要么直接相连,要么通过其它城市中转相连(可中转一次或多次)。城市与城市之间的道路都不会成环。当切断通往某个城市i的所有道路后,地图上将分为多个连通的城市群,设该城市i的聚集度为DPi(DegreeofP......
  • 电脑病毒感染【华为OD机试】(JAVA&Python&C++&JS题解)
    一.题目-电脑病毒感染一个局域网内有很多台电脑,分别标注为0-N-1的数字。相连接的电脑距离不一样,所以感染时间不一样,感染时间用t表示。其中网络内一个电脑被病毒感染,其感染网络内所有的电脑需要最少需要多长时间。如果最后有电脑不会感染,则返回-1给定一个数组times表示......
  • 两个字符串间的最短路径问题【华为OD机试】(JAVA&Python&C++&JS题解)
    一.题目-两个字符串间的最短路径问题给定两个字符串,分别为字符串A与字符串B。例如A字符串为ABCABBA,B字符串为CBABAC可以得到下图m*n的二维数组,定义原点为(0,0),终点为(m,n),水平与垂直的每一条边距离为1,映射成坐标系如下图。从原点(0,0)到(0,A)为水平边,距离为1,从(0,A)......