首页 > 其他分享 >Hudi学习笔记4 - Hudi配置之Spark配置

Hudi学习笔记4 - Hudi配置之Spark配置

时间:2023-05-08 15:58:03浏览次数:33  
标签:Hudi 配置 sync hive write datasource hoodie false Spark

Spark Datasource Configs

  • 读配置
配置项 是否必须 默认值 配置说明
as.of.instant Y N/A 0.9.0 版本新增,时间旅行查询从哪儿开始,有两种格式的值:yyyyMMddHHmmss 和 yyyy-MM-dd HH:mm:ss,如果不指定则从最新的 snapshot 开始
hoodie.file.index.enable N true
hoodie.schema.on.read.enable N false
hoodie.datasource.streaming.startOffset N earliest
hoodie.datasource.write.precombine.field N ts
hoodie.datasource.read.begin.instanttime Y N/A
hoodie.datasource.read.end.instanttime Y N/A
hoodie.datasource.read.paths Y N/A
hoodie.datasource.merge.type N payload_combine
hoodie.datasource.query.incremental.format N latest_state
hoodie.datasource.query.type N snapshot
hoodie.datasource.read.extract.partition.values.from.path N false
hoodie.datasource.read.file.index.listing.mode N lazy
hoodie.datasource.read.file.index.listing.partition-path-prefix.analysis.enabled N true
  • 写配置
配置项 是否必须 默认值 配置说明
hoodie.datasource.hive_sync.mode Y N/A
hoodie.datasource.write.partitionpath.field Y N/A
hoodie.datasource.write.precombine.field N ts
hoodie.datasource.write.recordkey.field Y N/A
hoodie.datasource.write.table.type N COPY_ON_WRITE
hoodie.datasource.write.insert.drop.duplicates N false 如果设置为 true,则插入时()过滤掉所有重复的记录
hoodie.sql.insert.mode N upsert
hoodie.sql.bulk.insert.enable N false
hoodie.datasource.write.table.name Y N/A
hoodie.datasource.write.operation N upsert
hoodie.datasource.write.payload.class N hoodie.datasource.write.payload.class
hoodie.datasource.write.partitionpath.urlencode N false
hoodie.datasource.hive_sync.partition_fields N N/A
hoodie.datasource.hive_sync.auto_create_database N true 自动创建不存在的数据库
hoodie.datasource.hive_sync.database N default
hoodie.datasource.hive_sync.table N unknown
hoodie.datasource.hive_sync.use_jdbc N hive
hoodie.datasource.hive_sync.password N hive
hoodie.datasource.hive_sync.enable N false
hoodie.datasource.hive_sync.ignore_exceptions N false
hoodie.datasource.hive_sync.use_jdbc N true
hoodie.datasource.hive_sync.jdbcurl N jdbc:hive2://localhost:10000 Hive metastore url
hoodie.datasource.hive_sync.metastore.uris N thrift://localhost:9083 Hive metastore url
hoodie.datasource.hive_sync.base_file_format N PARQUET
hoodie.datasource.hive_sync.support_timestamp N false
hoodie.datasource.meta.sync.enable N false
hoodie.clustering.inline N false
hoodie.datasource.write.partitions.to.delete Y N/A 逗号分隔的待删除分区列表,支持星号通配符
  • PreCommit Validator 配置
配置项 是否必须 默认值 配置说明
hoodie.precommit.validators N
hoodie.precommit.validators.equality.sql.queries N
hoodie.precommit.validators.inequality.sql.queries N
hoodie.precommit.validators.single.value.sql.queries N

标签:Hudi,配置,sync,hive,write,datasource,hoodie,false,Spark
From: https://www.cnblogs.com/aquester/p/17381991.html

相关文章

  • .Linux yum仓库配置
    1.准备网络安装源(服务器端)YUM软件仓库通常借助于HTTP或FTP协议进行发布,这样可以面向网络中所有的客户机提供软件源服务。为了便于客户机查询软件包、获取依赖关系等信息,在软件仓库中需要提供仓库数据(Repodata),其中收集了目录下的所有rpm包的头部信息2.配置软件仓库位置(客......
  • spring 配置https
    生成jks证书(请安装jdk)keytool-keystoremykeys.jks-genkey-aliasmyAlias-keyalgRSA自己生成的口令要记住,后面配置需要用到 然后把生成的jks文件复制到项目目录下,在spring配置文件(application.yml/application.properties)下进行对应ssl配置 ssl配置说明:......
  • Linux基础19 Gdisk, 挂载命令mount与配置文件, fstab文件的详细信息, Swap介绍与案例,
    gdiskgdisk分区,分区表是GPT,支持更大的容量分区。128个。#需要安装[root@oldboy~]#yuminstall-ygdisk 1.添加硬盘,3TB在vmware里面添加2.查看是否能识别出来。[root@oldboy~]#lsblkNAMEMAJ:MINRMSIZEROTYPEMOUNTPOINTsda8:0050G0disk......
  • Linux、yum仓库配置
    yum的常用命令1)基本语法:yuminstall-yhttpd              (功能描述:安装httpd并确认安装)yumlist                              (功能描述:列出所有可用的package和package组)yumcleanall                 ......
  • 企业短信遭疯狂盗用,可能是没配置验证码
    手机短信作为一种快捷的通讯方式被广泛应用。不仅在个人日常生活中,企业也习惯使用手机短信来进行验证和提醒,以保证业务的正常进行。随着数字化的发展,手机短信也成为了不法分子滥用的目标之一,给个人和企业带来不同经济损失。个人遭短信轰炸企业短信遭恶意滥用2023年2月,四川遂......
  • 思科胖AP配置
     dot11Radio0为2.4G频段dot11Radio1为5G频段 BVI接口:配置AP管理IP无线信号接(Radio)口:interfaceDot11Radio0 dot1q就是802.1q,是vlan的一种封装方式。IEEE802.1Q是VLAN的正式标准,在传统的以太网数据帧基础上(源MAC地址字段和协议类型字段之间)增加4个字节的802.1Q......
  • nacos配置自动刷新(不重启应用)
    (一)背景我们平常的开发中经常会遇到需要修改配置的情况,但是又不希望重启应用。以nacos为例子,哪些情况修改完配置不重启应用就可以自动生效呢?下面开始做个简单的测试(二)测试@value注解 @Value("${testa.name}")privateStringname; 经测试,每次在nacos修改完不重启应用是......
  • CentOS7之yum仓库配置
    一、指定本地光盘作为yum仓库1.首先挂载光驱,然后新建目录并进行挂在操作,建议删除/etc/yum.repos.d下面的文件,如下所示:12[root@node01/]#mkdircentos7[root@node01/]#mount/dev/cdrom/centos7/2.然后切换到/etc/yum.repos.d目录下面创建一个repo文件,......
  • visual studio配置库相关
    一般来说一个库包含有三个三个文件夹:include,bin,lib1.其中include包含有这个库的头文件,这一项在项目的属性配置项->VC++目录->包含目录下添加即可2.lib文件夹中包含这个库所需要的静态库文件(静态库文件需要在程序编译时候运行)vs下编译的是在生成->重新生成XXX静......
  • CentOS7之yum仓库配置
    (1)准备本地软件仓库挂载CentOS7光盘将光盘内的所有文档拷贝到/repo/cos7dvd/目录下(2)设置yum使用本地仓库作为软件源添加新的软件源,指向前一步准备的本地软件仓库清理yum缓存数据列出软件仓库列表,确认结果1.2步骤实现此案例需要按照如下步骤进行。步骤一:准备本地软件仓库(1)挂载......