HIVE 优化:
场景1. 分组聚合group by 导致数据倾斜 -- map端聚合 :
aggr=true
- 会在mapper端先group by一次,最后再把结果merge起来,为了减少reducer处理的数据量
- 指令: Set hive.groupby.mapaggr.checkinterval=1000000
Set hive.map.aggr = true
set hive.groupby.skewindata=true; --启用分组聚合数据倾斜优化
场景2. 大表和小表join 导致的数据倾斜. 将小表广播到内存中不进行shuffle
--启用map join自动转换
set hive.auto.convert.join=true;
场景3. 两张大表 join 发生数据倾斜[SMB JOIN]
使用分桶表,并且开启SMB Join (Sort Merge Bucket Join)
set hive.optimize.bucketmapjoin = true;
set hive.optimize.bucketmapjoin.sortedmerge = true;
set hive.input.format=org.apache.hadoop.hive.ql.io.BucketizedHiveInputFormat;
关联键空值很多情况
SELECT ...
FROM (
SELECT *
FROM tbl1
WHERE ds = '${cur_date}'
) a
LEFT OUTER JOIN (
SELECT *
FROM tbl1
WHERE ds = '${cur_date}'
) b
ON coalesce(a.id,rand() * 9999) = b.id -- 通过coalesce对空值进行随机分发,避免聚集
场景4. 小文件合并优化
合并Map端输入的小文件,是指将多个小文件划分到一个切片中,进而由一个Map Task去处理。目的是防止为单个小文件启动一个Map Task,浪费计算资源。
--可将多个小文件切片,合并为一个切片,进而由一个map任务处理
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
标签:map,面试题,set,join,--,hive,HIVE,true
From: https://www.cnblogs.com/mengbin0546/p/18293761