目录
其他优化
CBO优化
优化说明
CBO(Cost Based Optimizer),即基于成本的优化。在Hive中,成本模型考虑到了数据的行数、CPU、本地IO、HDFS IO、网络IO等因素。Hive会计算同一SQL语句的不同执行计划的成本,并选择成本最低的执行计划。目前,CBO在Hive的MR引擎下主要用于join的优化,如多表join的join顺序。
相关参数:
-- 是否启用CBO优化
set hive.cbo.enable=true;
优化案例
1)示例SQL语句
hive (default)> select
> *
> from order_detail od
> join product_info product on od.product_id=product.id
> join province_info province on od.province_id=province.id;
2)关闭CBO优化
-- 关闭CBO优化
set hive.cbo.enable=false;
-- 为了测试效果更加直观,关闭Map Join自动转换
set hive.auto.convert.join=false;
3)开启CBO优化
-- 开启CBO优化
set hive.cbo.enable=true;
-- 为了测试效果更加直观,关闭Map Join自动转换
set hive.auto.convert.join=false;
4)总结
根据上述案例可以看出,CBO优化对于执行计划中join顺序有显著影响。它将province_info
的join顺序提前,因为province_info
的数据量较小,这样做可以使中间结果的数据量减小,从而降低整体计算任务的数据量,即减小计算成本。
谓词下推
优化说明
谓词下推(Predicate Pushdown)是指尽量将过滤操作前移,以减少后续计算步骤的数据量。
相关参数:
-- 是否启动谓词下推优化
set hive.optimize.ppd = true;
需要注意的是,CBO优化也会完成一部分的谓词下推优化工作,因为在执行计划中,谓词越靠前,整个计划的计算成本就越低。
优化案例
1)示例SQL语句
hive (default)> select
> *
> from order_detail
> join province_info
> where order_detail.province_id='2';
2)关闭谓词下推优化
-- 是否启动谓词下推优化
set hive.optimize.ppd = false;
-- 为了测试效果更加直观,关闭CBO优化
set hive.cbo.enable=false;
3)开启谓词下推优化
-- 是否启动谓词下推优化
set hive.optimize.ppd = true;
-- 为了测试效果更加直观,关闭CBO优化
set hive.cbo.enable=false;
矢量化查询
Hive的矢量化查询优化依赖于CPU的矢量化计算能力,可以极大地提高某些典型查询场景(如scans, filters, aggregates, and joins)下的CPU使用效率。
相关参数:
set hive.vectorized.execution.enabled=true;
若执行计划中出现“Execution mode: vectorized”字样,则表明使用了矢量化计算。
官网参考链接: Vectorized Query Execution - Apache Hive - Apache Software Foundation
Fetch抓取
Fetch抓取是指,在某些情况下,Hive可以不必使用MapReduce计算。例如:select * from emp;
在这种情况下,Hive可以简单地读取emp
对应的存储目录下的文件,然后输出查询结果到控制台。
相关参数:
-- 是否在特定场景转换为Fetch任务
-- 设置为none表示不转换
-- 设置为minimal表示支持select *,分区字段过滤,Limit等
-- 设置为more表示支持select 任意字段, 包括函数,过滤,和limit等
set hive.fetch.task.conversion=more;
本地模式
优化说明
大多数的Hadoop Job需要Hadoop提供的完整可扩展性来处理大数据集。然而,有时Hive的输入数据量很小。在这种情况下,为查询触发执行任务消耗的时间可能比实际Job的执行时间更长。对于这种情况,Hive可以通过本地模式在单台机器上处理所有任务,从而缩短执行时间。
相关参数:
-- 开启自动转换为本地模式
set hive.exec.mode.local.auto=true;
-- 设置Local MapReduce的最大输入数据量,当输入数据量小于这个值时采用Local MapReduce的方式,默认为134217728(即128MB)
set hive.exec.mode.local.auto.inputbytes.max=50000000;
-- 设置Local MapReduce的最大输入文件个数,当输入文件个数小于这个值时采用Local MapReduce的方式,默认为4
set hive.exec.mode.local.auto.input.files.max=10;
优化案例
1)示例SQL语句
hive (default)> select
> count(*)
> from product_info
> group by category_id;
2)关闭本地模式
set hive.exec.mode.local.auto=false;
3)开启本地模式
set hive.exec.mode.local.auto=true;
并行执行
Hive会将一个SQL语句转化为一个或多个Stage,每个Stage对应一个MR Job。默认情况下,Hive同时只会执行一个Stage。但是,某些SQL语句可能包含多个Stage,而这些Stage之间并非完全依赖,因此可以并行执行。
相关参数:
-- 启用并行执行优化
set hive.exec.parallel=true;
-- 同一个SQL允许的最大并行度,默认为8
set hive.exec.parallel.thread.number=8;
严格模式
Hive可以通过设置某些参数来防止危险的操作:
-
分区表不使用分区过滤
将
hive.strict.checks.no.partition.filter
设置为true
时,对于分区表,除非WHERE
语句中含有分区字段过滤条件来限制范围,否则不允许执行。这样可以防止扫描所有分区,因为分区表通常数据量很大且增长迅速。 -
使用ORDER BY没有LIMIT过滤
将
hive.strict.checks.orderby.no.limit
设置为true
时,对于使用了ORDER BY
语句的查询,要求必须使用LIMIT
语句。这是因为ORDER BY
为了执行排序过程会将所有结果数据发送到同一个Reduce中处理,使用LIMIT
可以在数据进入Reduce之前减少部分数据。 -
笛卡尔积
将
hive.strict.checks.cartesian.product
设置为true
时,会限制笛卡尔积的查询。对于关系型数据库熟悉的用户可能期望在执行JOIN查询时不使用ON
语句而是使用WHERE
语句,这样关系数据库的执行优化器可以高效地将WHERE
语句转化为ON
语句。然而,Hive不会执行这种优化,如果表足够大,查询可能会变得不可控。