首页 > 其他分享 >Hudi的ro和rt表

Hudi的ro和rt表

时间:2023-05-16 16:34:22浏览次数:30  
标签:rt hudi mor tbl Time Hudi ro

建表后并不会产生 ro 和 rt 两个表:

spark-sql> create table hudi_mor_tbl (
         >   id int,
         >   name string,
         >   price double,
         >   ts bigint
         > ) using hudi
         > tblproperties (
         >   type = 'mor',
         >   primaryKey = 'id',
         >   preCombineField = 'ts'
         > );
Time taken: 0.556 seconds
spark-sql> show tables;
hudi_mor_tbl
Time taken: 0.055 seconds, Fetched 1 row(s)

有数据写入表后,才会产生 ro 和 rt 表:

spark-sql> insert into hudi_mor_tbl select 1, 'a1_1', 20, 1001;
Time taken: 12.141 seconds
spark-sql> show tables;
hudi_mor_tbl
hudi_mor_tbl_ro
hudi_mor_tbl_rt
Time taken: 0.033 seconds, Fetched 3 row(s)

而对于 cow 表不存在 ro 和 rt 表之分:

spark-sql> create table hudi_cow_pt_tbl (
         >   id bigint,
         >   name string,
         >   ts bigint,
         >   dt string,
         >   hh string
         > ) using hudi
         > tblproperties (
         >   type = 'cow',
         >   primaryKey = 'id',
         >   preCombineField = 'ts'
         >  )
         > partitioned by (dt, hh);
Time taken: 0.189 seconds
spark-sql> show tables;
hudi_cow_pt_tbl
hudi_mor_tbl
hudi_mor_tbl_ro
hudi_mor_tbl_rt
Time taken: 0.029 seconds, Fetched 4 row(s)

标签:rt,hudi,mor,tbl,Time,Hudi,ro
From: https://www.cnblogs.com/aquester/p/17406063.html

相关文章

  • 【Mysql】update时报错:Lock wait timeout exceeded; try restarting transaction
    1、查找正在执行的事务SELECT*FROMinformation_schema.INNODB_TRX;2、杀掉LOCKWAIT的进程trx_mysql_thread_id:进程idkillxxxOR3、查看所有进程SHOWPROCESSLIST;4、杀掉异常的进程,比如Sleep状态、影响你正在操作的业务的进程id:进程idkillxxx......
  • RocketMQ 在小米的多场景灾备实践案例
    本文作者:邓志文、王帆01为什么要容灾?在小米内部,我们使用RocketMQ来为各种在线业务提供消息队列服务,比如商城订单、短信通知甚至用来收集IoT设备的上报数据,可以说RocketMQ的可用性就是这些在线服务的生命线。作为软件开发者,我们通常希望服务可以按照理想状态去运行:在没有B......
  • mysql explain rows理解
    在MySQL性能调试中,常常使用EXPLAIN解释MySQL执行计划,从而用来估算性能耗时。其中,rows用来表示在SQL执行过程中会被扫描的行数,该数值越大,意味着需要扫描的行数,相应的耗时更长。但是需要注意的是EXPLAIN中输出的rows只是一个估算值,不能完全对其百分之百相信,如EXPLAIN中对LIMITS的支......
  • SynchronousQueue相关介绍
    SynchronousQueue是一个没有容量的队列,它的put操作和take操作之间是相互依赖的,即put操作必须在take操作准备好时才能将元素“推”过去,反之take操作也必须在put操作准备推元素的时候才能获取到元素。 同步队列:SynchronousQueue,零容量的SynchronousQueue,一进一出,避免队列里缓冲......
  • LockSuport
    是JUC的核心之一,AQS的await()、signal()等方法底层就是LockSuport实现的实现线程挂起和唤醒的操作,和每个线程关联一个许可(permit),核心方式就是park和unpark,底层是Unsafe类的native方法实现;类似object的wait和notify/notifyAll方法核心方法方法解释......
  • AntDeisgn中checkbox group的使用
    <template><!--弹窗类型选择--><div><a-modal:visible="state.modalAttr.visible"title="规选类型"width="680px"@ok="showModal"@cancel="hideModal"><a-checkbox......
  • Python-解决字符串编码UnicodeEncodeError错误
     data_results="123456789\u93b4\u612c\u59db\u2022"#将字符串转换为字节序列:使用encode方法将字符串转换为字节序列,并指定编码格式为utf-8print(data_results.encode('utf-8'))#使用encode方法将字符串转换为字节序列,并指定编码格式为gbk,使用ignore参数忽略无法处理的字......
  • 解决Microsoft Edge 浏览器 出现“无法访问该页面”问题
    问题分析:浏览器“出现了“无法访问该页面”问题”——网络明明连接正常,网页就是上不了网无法打开。解决方法: 打开【控制面板】>【网络和Internet】>【Internet选项】选择【连接】选项卡,出现如下界面。 点击下方的的“局域网设置(L)”,弹出如下界面。 点击确定--确......
  • 【android】手机亮屏锁定(安卓亮屏解锁)
    1、Android屏幕常亮/点亮//保持屏幕常亮PowerManagerpm=(PowerManager)getSystemService(Context.POWER_SERVICE);mWakeLock=pm.newWakeLock(PowerManager.FULL_WAKE_LOCK|PowerManager.ACQUIRE_CAUSES_WAKEUP,LOCK_TAG);mWakeLock.acquire();//释放屏幕常亮锁if(nu......
  • Newtonsoft.JSON 自定义JsonConverter
    引用:https://www.cjavapy.com/article/2513/https://www.cnblogs.com/weihanli/p/11080531.htmlhttps://www.cnblogs.com/Lulus/p/16968656.htmlhttps://www.cjavapy.com/article/2513/https://www.cnblogs.com/net-sky/p/16563025.htmlpublicclassDecimalConver......