1 . spark广播加入错误,即使spark.sql.autoBroadcastJoinThreshold=-1
任务设置spark.sql.autoBroadcastJoinThreshold=-1 但是在实际执行中设置未生效 即使我把它指定为-1,它也要尝试在做一个广播加入
设置spark.sql.adaptive.enabled=false
Spark的自适应查询执行在某些情况下会自动将连接类型切换为广播,即使没有通过连接阈值指定广播连接。默认情况下,spark.sql.adaptive.enables为true
标签:autoBroadcastJoinThreshold,连接,广播,日常,sql,集合,spark,adaptive From: https://www.cnblogs.com/luckyfruit/p/16653333.html