hudi0.11.0+spark3.2
mvn clean install -DskipTests -Dspark3.2 -Dscala-2.12
- 编译产物在packaging下的hudi-spark-bundle目录
hudi0.12.1+spark3.2
- pom配置修改
方式一:
父pom文件修改:proto版本从3.21.5改为3.11.4
<!-- <proto.version>3.21.5</proto.version>--> <!-- <protoc.version>3.21.5</protoc.version>--> <proto.version>3.11.4</proto.version> <protoc.version>3.11.4</protoc.version>
方式二:
修改hudi-kafka-connect 中 pom文件,
添加:<protocArtifact>com.google.protobuf:protoc:3.21.5</protocArtifact>
- 打包
mvn clean install -DskipTests -Dspark3.2 -Dscala-2.12
- 编译产物在packaging下的hudi-spark-bundle目录
hudi0.12.1+flink1.14.0
- pom配置修改
方式一:
父pom文件修改:proto版本从3.21.5改为3.11.4
<!-- <proto.version>3.21.5</proto.version>--> <!-- <protoc.version>3.21.5</protoc.version>--> <proto.version>3.11.4</proto.version> <protoc.version>3.11.4</protoc.version>
方式二:
修改hudi-kafka-connect 中 pom文件,
添加:<protocArtifact>com.google.protobuf:protoc:3.21.5</protocArtifact>
- 打包
mvn clean install -DskipTests -Dflink1.14
- 编译产物在packaging下的hudi-flink-bundle目录
包含hive jar
mvn clean install -DskipTests -Drat.skip=true -Pflink-bundle-shade-hive2 -Dflink1.14
注:使用hudi hms catalog时,需按如上方式打jar包,否则会缺少hive相关类
参考
- https://github.com/apache/hudi/issues/6724
- [HUDI-4193] Upgrade Protobuf to 3.21.5 by slachiewicz · Pull Request #5784 · apache/hudi
- Hudi master 0.13.0-SNAPSHOT Win10 打包异常解决
- Error extracting protoc for version 3.5.1 · Issue #68 · os72/protoc-jar-maven-plugin
- [SUPPORT] flink hudi some class not found · Issue #4825 · apache/hudi
- 中文(简体)
- 中文(繁体)
- 丹麦语
- 乌克兰语
- 乌尔都语
- 亚美尼亚语
- 俄语
- 保加利亚语
- 克罗地亚语
- 冰岛语
- 加泰罗尼亚语
- 匈牙利语
- 卡纳达语
- 印地语
- 印尼语
- 古吉拉特语
- 哈萨克语
- 土耳其语
- 威尔士语
- 孟加拉语
- 尼泊尔语
- 布尔语(南非荷兰语)
- 希伯来语
- 希腊语
- 库尔德语
- 德语
- 意大利语
- 拉脱维亚语
- 挪威语
- 捷克语
- 斯洛伐克语
- 斯洛文尼亚语
- 旁遮普语
- 日语
- 普什图语
- 毛利语
- 法语
- 波兰语
- 波斯语
- 泰卢固语
- 泰米尔语
- 泰语
- 海地克里奥尔语
- 爱沙尼亚语
- 瑞典语
- 立陶宛语
- 缅甸语
- 罗马尼亚语
- 老挝语
- 芬兰语
- 英语
- 荷兰语
- 萨摩亚语
- 葡萄牙语
- 西班牙语
- 越南语
- 阿塞拜疆语
- 阿姆哈拉语
- 阿尔巴尼亚语
- 阿拉伯语
- 韩语
- 马尔加什语
- 马拉地语
- 马拉雅拉姆语
- 马来语
- 马耳他语
- 高棉语