Hive的SQL优化

--HiveSQL优化

1.查看执行计划

  --基本信息

  explain select * from part1 where id<10;

  --显示输入属性

  explain dependency

  --查看SQL相关权限信息

  explain authorization

  --查看SQL向量化描述信息，显示为什么未对Map和Reduce进行矢量化

  explain vectorization

  --用实际的行数注释计划

  explain analyze

  --了解系统获得那哪些锁以运行指定查询

  explain locks

2.执行计划详解

--一个Hive查询被转换成一个由一个或多个stage组成的序列（有项无环图DAG）。这些stage可以是MapReduce stage ,也可以是负责元数据存储的stage，也可以是负责文件系统的操作（比如移动和重命名）的stage

--eg:select sun(id) from test1;

  (1)stage dependencies:各个stage之间的依赖

    stage-1是根stage，是开始的stage,stage-0依赖Stage-1,stage-1执行完执行stage-0.

  (2)stage plan；各个stage之间的执行计划

   (2.1)Map Operator Tree:MAP端的计划执行树

        TableScan:表扫描操作，map端第一个操作是加载表

        --alia:表名称

        --Statistics:表统计信息，包括表中数据条数，数据大小等

        Select Operator:选取操作

        --expressions：需要的字段名称及字段类型

        --outputColumnNames；输出的列的名称

        --Statistics:表统计信息，包含表中数据条数，数据大小等

        Group By Operator:分组聚合操作

        --aggregations:显示聚合函数信息

        --mode:聚合模式，值由hash:随机聚合，就是hash partition;partial:局部聚合；final；最终聚合。

        --keys:分组字段，没有分组没有这个字段

        --outputColumnNames:聚合后输出的列名

        --Statistics:表统计信息，包含分组聚合之后的数据条数，数据大小等

        Reduce Output Operator:输出到reduce操作

        --sort order:值为空 不排序；值为+ 正序排序，值为- 倒序排序；值为+-排列的为两列，第一列为正序，第二列为倒序

        Filter Operator:过滤操作

        --predicate；过滤条件，如sql中where id>1,则显示(id>1)

        Map Join Operator:join操作

        --condition map:join方式，如Inner Join 0 to 1 Left Outer Join 0 to 2

        --keys:join的条件字段

        --outputColumnNames:join完成后输出的字段

        --Statistics:join完成后生成的数据条数，大小等

        File Output Operator；文件输出操作

        --compressed：是否压缩

        --table:表信息，包含输入输出文件格式化方式，序列化方式

        Fetch Opertor:客户端获取数据操作

        --limit：值为-1表示不限制条数，其他值为限制条数

   (2.2)Reduce Operator Tree:Reduce端的执行计划树

3.explain dependency的用法

--用于描述一段SQL需要的数据来源，输出是个json格式的数据，里面包含以下内容：

  input_partitions:描述一段SQL依赖的数据来源表分区，里面存储的是分区名的列表，如果整段SQL中包含的表都是非分区表，则显示为空

  input_tables:描述一段SQL依赖的数据来源表，里面存储的是Hive表名的列表

  --使用场景

  (1)快速排除：快速排除因为读取不到相应分区的数据而导致任务数据出现异常。

  (2)理清表输入：帮助程序运行，特别有助于理解多重子查询，多表连接的依赖输出。

4.explain authorization

--可以知道SQL访问的数据来源(INPUTS)和数据输出(OUTPUTS),以及当前Hive的访问用户(CURRENT_USER)和操作(OPERATION)