SparkSQL参数

SparkSQL参数

<1>表分区类参数
--是否允许动态生成分区
set hive.exec.dynamic.partition=true;
--是否容忍指定分区全部动态生成
set hive.exec.dynamic.partition.mode=nonstrict; 
--动态生成的最多分区数
set hive.exec.max.dynamic.partitions = 100;  
--读子目录
set mapred.input.dir.recursive = true;
set hive.mapred.supports.subdirectories=true; 
set mapreduce.input.fileinputformat.input.dir.recursive = true;


<3>序列化类参数
--将hive转化为spark自有序列化类，建议关闭
set spark.sql.hive.convertMetastoreParquet = false;

<4>运行优化类参数
--sql并行化
set hive.exec.parallel=true;
--在有JOIN或聚合等需要shuffle的操作时，从mapper端写出的partition个数
set spark.sql.shuffle.partitions=1000;