首页 > 其他分享 >hudi编译

hudi编译

时间:2022-11-22 17:49:32浏览次数:93  
标签:hudi 简体 3.11 3.21 编译 pom com

hudi0.11.0+spark3.2

mvn clean install -DskipTests -Dspark3.2 -Dscala-2.12

  • 编译产物在packaging下的hudi-spark-bundle目录

hudi0.12.1+spark3.2

  1. pom配置修改

方式一:

父pom文件修改:proto版本从3.21.5改为3.11.4

<!--    <proto.version>3.21.5</proto.version>-->
<!--    <protoc.version>3.21.5</protoc.version>-->
    <proto.version>3.11.4</proto.version>
    <protoc.version>3.11.4</protoc.version>

方式二:

修改hudi-kafka-connect 中 pom文件,

添加:<protocArtifact>com.google.protobuf:protoc:3.21.5</protocArtifact>

  1. 打包

mvn clean install -DskipTests -Dspark3.2 -Dscala-2.12

  • 编译产物在packaging下的hudi-spark-bundle目录

hudi0.12.1+flink1.14.0

  1. pom配置修改

方式一:

父pom文件修改:proto版本从3.21.5改为3.11.4

<!--    <proto.version>3.21.5</proto.version>-->
<!--    <protoc.version>3.21.5</protoc.version>-->
    <proto.version>3.11.4</proto.version>
    <protoc.version>3.11.4</protoc.version>

方式二:

修改hudi-kafka-connect 中 pom文件,

添加:<protocArtifact>com.google.protobuf:protoc:3.21.5</protocArtifact>

  1. 打包

mvn clean install -DskipTests -Dflink1.14

  • 编译产物在packaging下的hudi-flink-bundle目录

包含hive jar

mvn clean install -DskipTests -Drat.skip=true -Pflink-bundle-shade-hive2 -Dflink1.14

注:使用hudi hms catalog时,需按如上方式打jar包,否则会缺少hive相关类

参考

  1. https://github.com/apache/hudi/issues/6724
  2. [HUDI-4193] Upgrade Protobuf to 3.21.5 by slachiewicz · Pull Request #5784 · apache/hudi
  3. Hudi master 0.13.0-SNAPSHOT Win10 打包异常解决
  4. Error extracting protoc for version 3.5.1 · Issue #68 · os72/protoc-jar-maven-plugin
  5. [SUPPORT] flink hudi some class not found · Issue #4825 · apache/hudi
TRANSLATE with x English
Arabic Hebrew Polish
Bulgarian Hindi Portuguese
Catalan Hmong Daw Romanian
Chinese Simplified Hungarian Russian
Chinese Traditional Indonesian Slovak
Czech Italian Slovenian
Danish Japanese Spanish
Dutch Klingon Swedish
English Korean Thai
Estonian Latvian Turkish
Finnish Lithuanian Ukrainian
French Malay Urdu
German Maltese Vietnamese
Greek Norwegian Welsh
Haitian Creole Persian  
  TRANSLATE with COPY THE URL BELOW Back EMBED THE SNIPPET BELOW IN YOUR SITE Enable collaborative features and customize widget: Bing Webmaster Portal Back     此页面的语言为中文(简体)   翻译为        
  • 中文(简体)
  • 中文(繁体)
  • 丹麦语
  • 乌克兰语
  • 乌尔都语
  • 亚美尼亚语
  • 俄语
  • 保加利亚语
  • 克罗地亚语
  • 冰岛语
  • 加泰罗尼亚语
  • 匈牙利语
  • 卡纳达语
  • 印地语
  • 印尼语
  • 古吉拉特语
  • 哈萨克语
  • 土耳其语
  • 威尔士语
  • 孟加拉语
  • 尼泊尔语
  • 布尔语(南非荷兰语)
  • 希伯来语
  • 希腊语
  • 库尔德语
  • 德语
  • 意大利语
  • 拉脱维亚语
  • 挪威语
  • 捷克语
  • 斯洛伐克语
  • 斯洛文尼亚语
  • 旁遮普语
  • 日语
  • 普什图语
  • 毛利语
  • 法语
  • 波兰语
  • 波斯语
  • 泰卢固语
  • 泰米尔语
  • 泰语
  • 海地克里奥尔语
  • 爱沙尼亚语
  • 瑞典语
  • 立陶宛语
  • 缅甸语
  • 罗马尼亚语
  • 老挝语
  • 芬兰语
  • 英语
  • 荷兰语
  • 萨摩亚语
  • 葡萄牙语
  • 西班牙语
  • 越南语
  • 阿塞拜疆语
  • 阿姆哈拉语
  • 阿尔巴尼亚语
  • 阿拉伯语
  • 韩语
  • 马尔加什语
  • 马拉地语
  • 马拉雅拉姆语
  • 马来语
  • 马耳他语
  • 高棉语
 

标签:hudi,简体,3.11,3.21,编译,pom,com
From: https://www.cnblogs.com/just-JL/p/16915883.html

相关文章

  • Linux程序编译过程详解
    大家肯定都知道计算机程序设计语言通常分为机器语言、汇编语言和高级语言三类。高级语言需要通过翻译成机器语言才能执行,而翻译的方式分为两种,一种是编译型,另一种是解释型,因......
  • Qt编译出错原因----项目保存路径中有中文!!!
    为项目MotorCtrlDemo执行步骤…19:11:50:正在启动“C:\Qt\Qt5.9.0\5.9\msvc2013_64\bin\qmake.exe”E:\参考程序\MotorCtrlDemo\MotorCtrlDemo.pro-specwin32-msvc......
  • MySQL的概念、编译安装
    一.数据库的基本概念1、数据(Data)•描述事物的符号记录•包括数字,文字,图形,图像,声音,档案记录等•以“记录”形式按统一的格式进行存储2、表•将不同的记录组织在一......
  • Golang编译缓存与实际项目不一致时报错has no field or method
    go1.9不明确是不是只在这个版本有小bug,有时候对最新进度的项目编译,会报上一个版本的错误,甚至改动无法编译,报出类似下面的错误:util\common\tools.go:2217:19:dtp.ClearWhe......
  • 3A5000 编译ceed 0.8.0 PyCEGUI版
    下载ceed-0.8.0https://sourceforge.net/projects/crayzedsgui/files/CEED/0.8/解压后打开README看到,###Dependencies1.Python2.7+(butnotPython3)>Ifyou......
  • Javac编译器
    Javac编译器Java技术下的编译期在不同的语境下会有不同的编译器实现产品:1、前端编译器:jdk的javac、EclipseJDT中的增量式编译器2、即时编译器:hotspot虚拟机中的c1、c2......
  • 编译原理第二章习题存档
    教材:《编译原理》西北工业大学出版社主编:蒋立源康慕宁这本书不太说人话,因为概念严谨描述出来看着就很晕,下文主要在意会它到底是个什么东西以及干了什么事。第二......
  • go环境以及编译器安装
    go安装1.win10安装GO去Go官网下载,安装包验证安装cmd输入goversion,能出现版本号即可2.Goland安装Goland官网下载,下载好后直接安装即可3.创建go项目选择第一......
  • 使用cmake编译c++源代码
    构建项目的背景:现在的主流都是编写一个cmakelist.txt,通过cmake去构建一个makefile,再make这个makefile生成可执行文件或者动态库静态库。 法1:1.新建一个CMakeLists.tx......
  • k8s下Jenkins分部署部署:jenkinfiles--maven编译+镜像推送+sonar代码扫描+部署+企业微
    k8s下Jenkins分部署部署:jenkinfiles--maven编译+镜像推送+sonar代码扫描+部署+企业微信通知准备好k8s集群、安装好Jenkins、准备gitlab的ssh密钥、准备k8s的config、安装......