首页 > 其他分享 >正确DROP掉MOR类型的HUDI表

正确DROP掉MOR类型的HUDI表

时间:2023-05-16 09:34:40浏览次数:57  
标签:COMMENT HUDI MOR DROP 001 BIGINT test hudi

假设有一张下面这样的 MOR 类型的 hudi 表:

CREATE TABLE t_test_001 (
    ds BIGINT COMMENT 'ds',
    ut BIGINT COMMENT 'ut',
    pk BIGINT COMMENT 'pk',
    a0 BIGINT COMMENT 'a0',
    a1 BIGINT COMMENT 'a1',
    a2 BIGINT COMMENT 'a2'
) USING hudi

则在 drop 该表时,正确的 drop 方法为:

DROP TABLE t_test_001_rt;
DROP TABLE t_test_001_ro;
DROP TABLE t_test_001;

即带尾巴的要放到最后,否则带尾巴的表 drop 不掉:

org.apache.hudi.exception.HoodieIOException: Could not check if hdfs:///user/root/test.db/t_test_001 is a valid table
Caused by: java.io.FileNotFoundException: File does not exist: hdfs:///user/root/test.db/t_test_001/.hoodie

如果只 drop 不带尾巴的表,则使用时会报错:

Caused by: java.sql.SQLException: java.util.concurrent.ExecutionException: java.lang.RuntimeException: org.apache.hudi.exception.HoodieException: Could not sync using the meta sync class org.apache.hudi.hive.HiveSyncTool
... 25 more
Caused by: org.apache.hudi.hive.HoodieHiveSyncException: Could not convert field Type from STRING to bigint for field a2
... 36 more

标签:COMMENT,HUDI,MOR,DROP,001,BIGINT,test,hudi
From: https://www.cnblogs.com/aquester/p/17403844.html

相关文章

  • mormot2控件安装
    1.下载加入QQ群OneDelphi中间件开源群(群号:814696487)2.解压mormot23、把相关路径加到DelphiIDE......
  • mormot2控件安装
    1.下载加入QQ群OneDelphi中间件开源群(群号:814696487)2.解压mormot2;3.把相关路径加到DelphiIDE。......
  • SP422 TRANSP2 - Transposing is Even More Fun
    题面传送门我的群论好拉/kk首先如果直接对着矩阵转置做显然不太能做,再加上它给出的是二的幂次,所以我们可以考虑从二进制下手。写成二进制以后它的变化方式就明朗的多:将一个长度为\(a+b\)的二进制数循环位移\(a\)位。众所周知这种交换题最小次数是\(n-\)环的个数,因此我们......
  • 关于 Delphi 中流的使用 用 TMemoryStream(内存流) 入门
    所谓"流",就是一段数据或是一块内存;在进行流操作时,我们不必关心流中的数据到底是什么;只需要知道流的大小和当前的指针位置.所以流只有两个属性:Size、Position.对流的操作,不过就是读取和写入.所以流最主要的方法就是Read和Write.在很多控件的使用中,读取主要用Load......
  • Rick and Morty All In One
    RickandMortyAllInOne瑞克和莫蒂BrilliantbutboozyscientistRickhijackshisfretfulteenagegrandson,Morty,forwildescapadesinotherworldsandalternatedimensions.才华横溢但酗酒的科学家瑞克劫持了他烦躁的十几岁的孙子莫蒂,以便在其他世界和其他维......
  • AppArmor
    一、起源项目源地址AppArmor/apparmor·GitLab,与SELinux一样,也是属于强制访问控制(MAC)机制,默认集成在openSUSE和Ubuntu系统中,优势是比SELinux配置简单,并且有学习模式,方便用户使用。AppArmor可以限制特定进程读取/写入和执行文件的能力(及其他能力)。其主要理念是进程内部发生的......
  • Memory Usage of <PID>
    RSS:"ResidentSetSize"(常驻集大小)表示进程当前在物理内存中实际占用的空间大小,以KB为单位。Note:由于Linux使用页面(page)作为内存管理的基本单位,因此RSS的值通常是页面大小(通常为4KB)的倍数。因此,top命令中显示的RSS值可能略微大于实际的内存使用量。1.toptop2.psps......
  • java.lang.OutOfMemoryError: PermGen space
    项目环境:tomcat:7.0jdk:1.7  我项目中出现这个问题,是一个tomcat中放了好几个不同的项目,同时使用这一个tomcat,导致的永久代内存溢出。减少项目的数量或者调解jvm参数。  主要想说的一点是,查问题看日志,tomcat看catalina.out日志文件比较全面。  ~~~~~~~~~~可以忽略~......
  • MySQL DROP TABLE
    DROPTABLE的堆栈#0row_drop_table_from_cache(tablename=0x7f7d580295b0"db/t",table=0x7f7d58008b20,trx=0x7f7e50c0b150)at/root/mysql-5.7.32/storage/innobase/row/row0mysql.cc:4179#10x00000000019fdb12inrow_drop_table_for_mysql(name=0x7f7d......
  • Morpheus渗透实例
    靶机下载地址渗透流程1.主机发现netdiscover-ieth0-r10.10.10.0/242.对主机进行服务探测nmap-sS-sV-p-10.10.10.1383.进行目标系统简单的访问浏览源代码,没有发现什么有用的信息。4.对目标系统进行目录扫描注意点:使用不同的目录扫描器,扫出的信息更多更......