首页 > 其他分享 >实时入库不用愁,HStore帮分忧

实时入库不用愁,HStore帮分忧

时间:2023-08-08 15:36:41浏览次数:48  
标签:DWS HStore 实时 查询 并发 分忧 入库

本文分享自华为云社区《直播回顾 | 实时入库不用愁,HStore帮分忧》,作者:汀丶。

海量数据时代,如何实现数据实时入库与实时查询?GaussDB(DWS) HStore表为数据高效存储与查询提供了哪些助力?本期《数仓实时入库利器—HStore表原理与应用实践详解》的主题直播中,我们邀请到华为云EI DTSE技术布道师马俊松,针对GaussDB(DWS)HStore表与开发者和伙伴朋友们展开交流互动。通过4部分内容帮助开发者快速了解HStore表。

GaussDB(DWS)表存储类型演进

传统的数据存储类型有行存储和列存储,GaussDB(DWS) 基于列存储格式设计和实现了全新的HStore表,同时提供高效的并发插入、更新入库,以及高性能实时查询。

行存储:数据以行为单位存储在数据块中,适用于传统OLTP场景,数据需要进行频繁的增删改查,数据量不会很大。行存储的优点是:点查性能好,更新效率高。实时并发入库使用行存表,能获得较好的并发更新入库性能,但分析查询性能与空间压缩往往不及预期

列存储:为了解决行存表的分析查询性能问题以及空间压缩问题,GaussDB(DWS)自研了列存储,适用于传统OLAP场景,数据量大,更新删除少。列存储能带来很好的空间压缩与批量查询性能提升,对于一些涉及多表关联的分析类复杂查询、数据不经常更新的表,推荐使用列存表。实时并发入库使用列存表,能获得较好的分析查询性能与数据压缩,但无法支持小批量入库。

列存表带Delta:为了解决小批量入库问题,GaussDB(DWS)自研了列存表带Delta,

适用于OLAP场景的小批量数据入库,导入后主要做查询分析业务,更新删除少。实时并发入库使用带Delta的列存表,能避免小批量入库的小CU问题,但基本无法支持并发更新入库。

HStore表:虽然列存表带Delta解决了小批量入库产生的小CU问题,但是没有解决同一个CU上的并发更新产生的锁冲突问题。而实时入库的场景下,需要将insert+upsert+update操作实时并发入库,数据来源于上游的其他数据库或者应用,同时要求入库后的数据要能及时查询,且对于查询的效率要求很高。目前的列存表由于锁冲突的原因无法支持并发upsert/update入库,导致这些有需要的局点只能使用行存表,但是行存表因为格式的天然劣势,在AP查询场景下一方面性能较慢,另一方面由于压缩差导致占用了大量的磁盘空间,对用户产生额外成本。GaussDB(DWS)中的HStore表, 在使用列存储格式尽量降低磁盘占用的同时,支持高并发的更新操作入库以及高性能的查询效率。面向对于实时入库和实时查询有较强诉求的场景,同时拥有处理传统TP场景的事务能力。

GaussDB(DWS)几种表类型对比

cke_114.png

HStore表的解决方案

对于实时入库场景,数据通过Kafka、Flink导入到DWS中,同时下游实时应用,对数据入库的操作进行实时查询。入库后的数据支持热转冷,可以存储到obs上,进一步为客户节约成本,也支持外表导入,导入通过ORC/Parquet/text等格式,导出进行AI挖掘等操作。HStore表相当于同时满足上游的并发入库,以及下游的实时查询。

cke_115.png

HStore表的技术特点

  • 完整的事务一致性

支持全面的事务能力,数据插入或者更新提交后即可见不存在时延,保证数据ACID一致性。

  • 全面的功能支持

提供和当前列存一样全面的功能和语法支持。

  • 查询性能好

多表关联等复杂AP查询场景下,更完善的分布式查询计划与分布式执行器带来的性能优势,支持复杂的子查询和存储过程。

支持主键等传统索引能力去重和加速点查,也支持分区、全局字典、局部排序等方式进一步加速AP查询。

  • 入库快

彻底解决列存CU锁冲突问题,支持高并发的更新入库操作,典型场景下,并发更新性能是之前的百倍以上。

  • 高压缩

数据在MERGE进入列存主表后,按列存储具有天然的压缩优势,能极大地节省磁盘空间与IO资源。

HStore的Delta表与列存老Delta表的对比

cke_116.png

HStore表的使用实践

当前HStore表提供了视图,可以用来观察Delta表的给类型元组数量以及Delta的膨胀情况。同时也提供了函数可以对Delta表做轻量清理以及全量清理。

关于压缩效率验证、并发更新入库验证、查询性能验证操作,感兴趣的开发者可以观看直播视频,学习后操作一下。

cke_117.png

HStore表的使用注意事项

  • 参数设置

HStore依赖后台常驻线程对HStore表进行MERGE清理操作,才能保证查询性能与压缩效率,所以使用HStore表务必设置相关GUC,推荐的配置如下:

cke_118.png

  • 并发同一行

当前HStore并发更新同一行仍然是不支持的,其中同一行上并发update/delete操作会先等锁然后报错,同一行上的并发upsert操作会先等锁然后继续执行。由于等待开销也是会影响业务的入库性能,甚至可能产生死锁,所以需要在入库时保证不会并发更新到同一行或者同一个key。

  • 索引相关

索引会占用额外的空间,同时带来的点查性能提升有限,所以HStore表只建议在需要做Upsert或者有点查(这里指唯一性与接近唯一的点查) 的诉求下创建一个主键或者btree索引。

  • MERGE相关

由于HStore表依赖后台autovacuum来将操作MERGE到主表,所以入库速度不能超过MERGE速度,否则会导致delta表的膨胀,可以通过控制入库的并发来控制入库速度。同时由于Delta表本身的空间复用受oldestXmin的影响,如果有老事务存在可能会导致Delta空间复用不及时而产生膨胀。

  • UPSERT性能

HStore表虽然相比普通列存,并发upsert入库性能得到了很大提升,但相比行存还是有差距,大概只有行存的1/3。所以在不追求压缩率以及批量查询性能、只追求单点查询性能的场景下,还是推荐行存表入库。

欢迎感兴趣的开发者观看直播回放,了解详细信息。更多关于GaussDB(DWS)产品技术解析、数仓产品新特性的介绍,请关注GaussDB(DWS)论坛,技术博文分享、直播安排将第一时间发布在GaussDB(DWS)论坛。

论坛链接:https://bbs.huaweicloud.com/forum/forum-598-1.html

直播回放链接:https://bbs.huaweicloud.com/live/DTT_live/202308021630.html

 

点击关注,第一时间了解华为云新鲜技术~

 

标签:DWS,HStore,实时,查询,并发,分忧,入库
From: https://www.cnblogs.com/huaweiyun/p/17614479.html

相关文章

  • 实时入库不用愁,HStore帮分忧
    海量数据时代,如何实现数据实时入库与实时查询?GaussDB(DWS)HStore表为数据高效存储与查询提供了哪些助力?本期《数仓实时入库利器—HStore表原理与应用实践详解》的主题直播中,我们邀请到华为云EIDTSE技术布道师马俊松,针对GaussDB(DWS)HStore表与开发者和伙伴朋友们展开交流互动。......
  • OpenERP中生产领料、投料、损耗、退料、成品入库的操作方法
    1)OpenERP中生产订单MO的运行原理1.1)计算物料需求。在OpenERP中,MO确认时候(跑MRP的话,系统通常会自动确认),系统基于MO上的BoM表,计算需要的原料,并自动生成一张领料单(从MO上的源库位领料到MO上的Routing上定义的库位,通常是车间)。默认情况下(如果不装stock_no_autopicking模块的话),该领料......
  • 生产型企业原材料采购及入库的处理
    https://odoo.net.cn/topic/1635/%E7%94%9F%E4%BA%A7%E5%9E%8B%E4%BC%81%E4%B8%9A%E5%8E%9F%E6%9D%90%E6%96%99%E9%87%87%E8%B4%AD%E5%8F%8A%E5%85%A5%E5%BA%93%E7%9A%84%E5%A4%84%E7%90%86 原材料采购有两种情况,一种是先收货,并按实际收货数量付款;一种是先付款,对方再发......
  • 开源了一套wms系统,支持lodop和网页打印入库单、出库单。
    若依wms简介若依wms是一套基于若依的wms仓库管理系统,支持lodop和网页打印入库单、出库单。毫无保留给个人及企业免费使用。前端采用Vue、ElementUI(antdesign正在开发中)。后端采用SpringBoot、SpringSecurity、Redis&Jwt。权限认证使用Jwt,支持多终端认证系统。支持加载动态权......
  • typeHandler解决JSONArray类型无法使数据入库的问题
     在java中,一个对象类往往会有很多用途,比如用于接口请求时的传参,或mapper入库时的传参,但请求接口需要的数据类型可能不能用于mapper插入数据库表。 例如在请求接口时,需要传递一个数组类型的字段,但数据库只能插入varchar类型,需要将数组类型的字段转为字符串类型。 可用typeH......
  • 172 侧方入库
    7-27早上电车出了问题,我开车去维修站那里修下午去练侧方停车,又开始了折磨侧方注意点:看点位,控制车速,追线(控制车与边线的距离30cm,也要注意看点),先打左转向灯三秒以上继续加油吧塞翁失马焉知非福1.因为没有提前拿冰箱里面的东西解冻(给狗吃的,我误以为是我家人的晚饭,谁知道看起来......
  • python:导入库、模块失败
    一般发生在程序开始部分:frompymodbus.client.syncimportModbusSerialClientfrompymodbus.payloadimportBinaryPayloadDecoderfrompymodbus.constantsimportEndianfrompymodbus.compatimportiteritemsimporttimeimportthreadingimportjsonfromdeviceimpor......
  • shell脚本:对开发入库的sql脚本进行检查
    shell脚本内容为:点击查看代码#!/bin/bashexportLANG=en_US.UTF-8exportNLS_LANG="AMERICAN_AMERICA.AL32UTF8"source/etc/profilesource/root/.bash_profileHOME=$(cd$(dirname$0);pwd)DOC_HOME=${HOME}/releasedocDOC_SVN_PATH=http://192.168.xx.xx/bushi......
  • C# 接口获取所有节假日并存入库(批量循环对象操作)
    //每年的1月1号自动更新节假日表varallHolidayStr=BaseHelper.Get_HttpRequest("https://api.jiejiariapi.com/v1/holidays/"+DateTime.Now.ToString("yyyy"));if(allHolidayStr.IsNotNullOrEmpty()){......
  • 关于用友倒冲入库
    1.用友倒冲1.在制作BOM反冲领料修改供应类型:入库反冲领料同时选择仓库2.入库时会自动产生关联材料出库单3.在盘点单选择倒冲仓盘盈亏会自动分摊至成本4.成本配置核算对象及成本中心5.工定额倒挤:通过已完工入库成品,按领料计算在制品......