--HiveSQL优化
1.查看执行计划
--基本信息
explain select * from part1 where id<10;
--显示输入属性
explain dependency
--查看SQL相关权限信息
explain authorization
--查看SQL向量化描述信息,显示为什么未对Map和Reduce进行矢量化
explain vectorization
--用实际的行数注释计划
explain analyze
--了解系统获得那哪些锁以运行指定查询
explain locks
2.执行计划详解
--一个Hive查询被转换成一个由一个或多个stage组成的序列(有项无环图DAG)。这些stage可以是MapReduce stage ,也可以是负责元数据存储的stage,也可以是负责文件系统的操作(比如移动和重命名)的stage
--eg:select sun(id) from test1;
(1)stage dependencies:各个stage之间的依赖
stage-1是根stage,是开始的stage,stage-0依赖Stage-1,stage-1执行完执行stage-0.
(2)stage plan;各个stage之间的执行计划
(2.1)Map Operator Tree:MAP端的计划执行树
TableScan:表扫描操作,map端第一个操作是加载表
--alia:表名称
--Statistics:表统计信息,包括表中数据条数,数据大小等
Select Operator:选取操作
--expressions:需要的字段名称及字段类型
--outputColumnNames;输出的列的名称
--Statistics:表统计信息,包含表中数据条数,数据大小等
Group By Operator:分组聚合操作
--aggregations:显示聚合函数信息
--mode:聚合模式,值由hash:随机聚合,就是hash partition;partial:局部聚合;final;最终聚合。
--keys:分组字段,没有分组没有这个字段
--outputColumnNames:聚合后输出的列名
--Statistics:表统计信息,包含分组聚合之后的数据条数,数据大小等
Reduce Output Operator:输出到reduce操作
--sort order:值为空 不排序;值为+ 正序排序,值为- 倒序排序;值为+-排列的为两列,第一列为正序,第二列为倒序
Filter Operator:过滤操作
--predicate;过滤条件,如sql中where id>1,则显示(id>1)
Map Join Operator:join操作
--condition map:join方式,如Inner Join 0 to 1 Left Outer Join 0 to 2
--keys:join的条件字段
--outputColumnNames:join完成后输出的字段
--Statistics:join完成后生成的数据条数,大小等
File Output Operator;文件输出操作
--compressed:是否压缩
--table:表信息,包含输入输出文件格式化方式,序列化方式
Fetch Opertor:客户端获取数据操作
--limit:值为-1表示不限制条数,其他值为限制条数
(2.2)Reduce Operator Tree:Reduce端的执行计划树
3.explain dependency的用法
--用于描述一段SQL需要的数据来源,输出是个json格式的数据,里面包含以下内容:
input_partitions:描述一段SQL依赖的数据来源表分区,里面存储的是分区名的列表,如果整段SQL中包含的表都是非分区表,则显示为空
input_tables:描述一段SQL依赖的数据来源表,里面存储的是Hive表名的列表
--使用场景
(1)快速排除:快速排除因为读取不到相应分区的数据而导致任务数据出现异常。
(2)理清表输入:帮助程序运行,特别有助于理解多重子查询,多表连接的依赖输出。
4.explain authorization
--可以知道SQL访问的数据来源(INPUTS)和数据输出(OUTPUTS),以及当前Hive的访问用户(CURRENT_USER)和操作(OPERATION)
标签:--,数据,explain,Hive,SQL,Operator,优化,stage From: https://www.cnblogs.com/hole/p/17306924.html