• 2024-08-31spark的SparkSubmit类关于Configuration的资源文件加载
    在阅读 SparkSubmit 源代码时,重点关注 Configuration 的资源文件的加载情况,默认通过 newConfiguration() 构造方法创建时,只会加载 core-default.xml 和core-site.xml文件,但是 SparkSubmit 中打印 Configuration 时,发现还会加载 yarn-site.xml,SparkSubmit 代码中没有
  • 2024-08-31spark的SparkSubmit类关于Configuration的资源文件加载
    在阅读 SparkSubmit 源代码时,重点关注 Configuration 的资源文件的加载情况,默认通过 newConfiguration() 构造方法创建时,只会加载 core-default.xml 和core-site.xml文件,但是 SparkSubmit 中打印 Configuration 时,发现还会加载 yarn-site.xml,SparkSubmit 代码中没
  • 2024-07-22Hudi测试
    实验环境minio-8.0.10http://192.168.137.100:32000/minio/bigdata/spark-operator-1.1.26spark-history-server3.2.2http://192.168.137.100:32627/测试案例案例hudi-spark-test001apiVersion:"sparkoperator.k8s.io/v1beta2"kind:SparkApplicationmetadata: