首页 > 其他分享 >Hive怎么调整优化Tez引擎的查询？在Tez上优化Hive查询的指南

Hive怎么调整优化Tez引擎的查询？在Tez上优化Hive查询的指南

时间：2024-06-20 19:55:17浏览次数：24  
标签：reducer tez hive 查询 Tez Hive

目录

在Tez上优化Hive查询的指南

在Tez上优化Hive查询无法采用一刀切的方法。查询性能取决于数据的大小、文件类型、查询设计和查询模式。在性能测试过程中，应评估和验证配置参数及任何SQL修改。建议在工作负载的性能测试过程中一次只进行一项更改，并最好在开发环境中评估调优更改的影响，然后再在生产环境中使用。

这里分享一些关于Tez上Hive查询的基本故障排除和调优指南。

调优指南

不同的hive版本，不同执行引擎之间的调优行为有所差异，所以同一条sql可能会有不一样的速度。

一般情况下，我们可以通过以下步骤有助于识别可能导致性能下降的地方。

  1. 验证和确认YARN容量调度器配置

队列配置错误可能会由于对用户可用资源的任意限制而影响查询性能。验证用户限制因子、最小用户限制百分比和最大容量。

  1. 检查Hive和HiveServer2配置中的任何安全阀（非默认值）是否相关

移除任何遗留的和过时的属性。

  1. 识别缓慢的区域，例如mapper任务、reducer任务和连接操作
  • 审查Tez引擎和平台的通用调优属性。
  • 审查mapper任务并根据需要增加/减少任务数。
  • 审查reducer任务并根据需要增加/减少任务数。
  • 审查任何并发相关的问题——并发问题分为两种，如下所述：
    • 队列内用户间的并发。这可以通过调整YARN队列的用户限制因子进行调优（详细信息参考容量调度器博客）。
    • Hive on Tez会话的预热容器之间的并发，详见下文。

理解Tez中的并行化

在更改任何配置之前，必须了解Tez内部的工作机制。例如，这包括了解Tez如何确定正确的mapper和reducer数量。审查Tez架构设计以及有关初始任务并行性和自动reducer并行性的详细信息将有助于优化查询性能。

理解mapper数量

Tez使用作业的初始输入数据确定mapper任务的数量。在Tez中，任务数量由分组拆分决定，这相当于MapReduce作业中输入拆分确定的mapper数量。

  • tez.grouping.min-size 和 tez.grouping.max-size 决定mapper的数量。min-size的默认值为16 MB，max-size为1 GB。
  • Tez确定任务数量，使每个任务的数据量符合最大/最小分组大小。
  • 减少 tez.grouping.max-size 会增加任务/mapper数量。
  • 增加 tez.grouping.max-size 会减少任务数量。

例如：

  • 输入数据（输入碎片/拆分） – 1000个文件（约1.5 MB大小）
  • 总数据量约为 – 1000*1.5 MB = ~1.5 GB
  • Tez可能尝试使用至少两个任务处理这些数据，因为每个任务的最大数据量可能为1 GB。最终，Tez可能强制将1000个文件（拆分）组合到两个任务中，导致执行时间变慢。
  • 如果将 tez.grouping.max-size 从1 GB减少到100 MB，mapper数量可能增加到15，从而提供更好的并行性。性能因此提高，因为改进的并行性将工作分散到15个并发任务中。

以上是一个示例场景，然而在生产环境中使用ORC或Parquet等二进制文件格式时，根据存储类型、拆分策略文件或HDFS块边界确定mapper数量可能会变得复杂。

注意：更高程度的并行性（如mapper/reducer数量多）并不总是意味着更好的性能，因为它可能导致每个任务的资源减少以及由于任务开销而导致的资源浪费。

理解reducer数量

Tez使用多种机制和设置确定完成查询所需的reducer数量。

  • Tez根据要处理的数据（字节数）自动确定reducer。
  • 如果 hive.tez.auto.reducer.parallelism 设置为true，Hive会估算数据大小并设置并行性估算值。Tez将在运行时采样源顶点的输出大小并根据需要调整估算值。
  • 默认情况下，最大reducer数量设置为1009（hive.exec.reducers.max）。
  • Hive/Tez使用以下公式估算reducer数量，然后调度Tez DAG：
Max(1, Min(hive.exec.reducers.max [1009], ReducerStage estimate/hive.exec.reducers.bytes.per.reducer)) x hive.tez.max.partition.factor [2]

以下三个参数可以调整以增加或减少mapper数量：

  • hive.exec.reducers.bytes.per.reducer：每个reducer的大小。更改为较小值以增加并行性，或更改为较大值以减少并行性。默认值为256 MB（即如果输入大小为1 GB，则使用4个reducer）。
  • tez.min.partition.factor：默认值为0.25。
  • tez.max.partition.factor：默认值为2.0。增加以增加reducer数量，减少以减少reducer数量。

用户可以使用 mapred.reduce.tasks 手动设置reducer数量。这不推荐使用，应避免使用。

建议：

  • 避免手动设置reducer数量。
  • 增加reducer数量并不总是能保证更好的性能。
  • 根据reducer阶段估算，如果要增加或减少reducer数量，可以调整 hive.exec.reducers.bytes.per.reducer 参数到较小或较大值。

并发

我们需要理解和调整Tez上的Hive并发会话，如运行多个Tez AM容器。以下属性有助于理解默认队列和会话数量行为。

  • hive.server2.tez.default.queues：与YARN队列对应的以逗号分隔的值列表，用于维护Tez会话池。
  • hive.server2.tez.sessions.per.default.queue：每个YARN队列中保持在池中的Tez会话（DAGAppMaster）数量。
  • hive.server2.tez.initialize.default.sessions：如果启用，HiveServer2（HS2）在启动时将启动所有必要的Tez会话以满足 sessions.per.default.queue 要求。

当定义以下属性时，HiveServer2将为每个默认队列创建一个Tez Application Master（AM），乘以HiveServer2服务启动时的会话数量。因此：

(Tez Sessions)total = HiveServer2instances x (default.queues) x (sessions.per.default.queue)

示例说明：

  • hive.server2.tez.default.queues= “queue1, queue2”
  • hive.server2.tez.sessions.per.default.queue=2
    =>HiveServer2将创建4个Tez AM（queue1两个，queue2两个）。

注意：池中的Tez会话总是运行，即使在空闲集群上。

如果HiveServer2连续使用，这些Tez AM将继续运行，但如果HS2空闲，这些Tez AM将根据 tez.session.am.dag.submit.timeout.secs 定义的超时被终止。

案例1：未指定队列名称

如果查询未指定队列名称（tez.queue.name），则只会使用池中的Tez AM（如上所述初始化）。在这种情况下，HiveServer2将选择一个空闲/可用的Tez AM（队列名称可能是随机选择的）。如果未指定队列名称，则查询将保持在HiveServer2中的挂起状态，直到池中有一个可用的默认Tez AM来处理查询。在JDBC/ODBC客户端或HiveServer2日志文件中不会有任何消息。由于没有消息生成，当查询挂起时，用户可能会认为JDBC/ODBC连接或HiveServer2已断开，但实际上它在等待一个Tez AM执行查询。

案例2：指定队列名称

如果查询指定了队列名称，无论有多少初始化的Tez AM正在使用或空闲，HiveServer2都会为此连接创建一个新的Tez AM，并且查询可以执行（如果队列有可用资源）。

并发的指南/建议

  • 对于不希望用户限制在同一个Tez AM池中的用例或查询，将 hive.server2.tez.initialize.default.sessions 设置为false。禁用此选项可以减少HiveServer2上的争用并提高查询性能。
  • 此外，增加 hive.server2.tez.sessions.per.default.queue 的会话数量。
  • 如果有需要为每组用户提供单独或专用Tez AM池的用例，需要为每组用户提供专用的HiveServer2服务，每个服务具有相应的默认队列名称和会话数量，并要求每组用户使用各自的HiveServer2。

容器复用和预热容器

容器复用

这是一个优化，可以减少容器的启动时间影响。通过设置 tez.am.container.reuse.enabled 为true来启用此功能。这节省了与YARN交互的时间。还可以保持容器组活跃，快速旋转容器，并跳过YARN队列。

预热容器

容器数量与将附加到每个Tez AM的YARN执行容器数量相关。即使Tez AM空闲（未执行查询），每个AM也会保留相同数量的容器。在某些情况下，这可能会导致太多容器空闲且未释放，因为这里定义的容器将被Tez AM保留，即使它是空闲的。这些空闲容器将继续占用YARN中的资源，其他应用程序可能会利用这些资源。

以下属性用于配置预热容器：

  • hive.prewarm.enabled
  • hive.prewarm.numcontainers

一般Tez调优参数

在处理Tez上Hive查询的性能下降时，审查以下属性作为一级检查。您可能需要根据查询和数据属性设置或调整其中一些属性。最好在开发和QA环境中评估配置属性，然后根据结果将其推送到生产环境。

  • hive.cbo.enable
    将此属性设置为true启用基于成本的优化（CBO）。CBO是Hive查询处理引擎的一部分，由Apache Calcite提供支持。CBO通过检查查询中指定的表和条件生成有效的查询计划，最终减少查询执行时间并提高资源利用率。

  • hive.auto.convert.join
    将此属性设置为true允许Hive根据输入文件大小启用将常见连接转换为mapjoin的优化。

  • hive.auto.convert.join.noconditionaltask.size
    您将希望在查询中尽可能多地执行mapjoin。此大小配置使用户可以控制表的大小以适应内存。该值表示可以转换为适合内存的哈希表的表的大小总和。建议将其设置为 hive.tez.container.size 的1/3。

  • tez.runtime.io.sort.mb
    输出排序时的排序缓冲区大小。建议将其设置为 hive.tez.container.size 的40%，最大值为2 GB。通常不需要超过此最大值。

  • tez.runtime.unordered.output.buffer.size-mb
    当输出不需要排序时的内存。这是缓冲区的大小，如果不直接写入磁盘。建议将其设置为 hive.tez.container.size 的10%。

  • hive.exec.parallel
    此属性启用Hive查询阶段的并行执行。默认情况下，此属性设置为false。将此属性设置为true有助于并行化独立的查询阶段，从而整体提高性能。

  • hive.vectorized.execution.enabled
    矢量化查询执行是Hive的一个功能，它大大减少了典型查询操作（如扫描、过滤、聚合和连接）的CPU使用量。默认情况下，此属性设置为false。将其设置为true。

  • hive.merge.tezfiles
    默认情况下，此属性设置为false。将此属性设置为true会合并Tez文件。使用此属性可能会根据数据大小或要合并的文件数量增加或减少查询的执行时间。在使用此属性之前，请在较低环境中评估查询性能。

  • hive.merge.size.per.task
    此属性描述作业结束时合并文件的大小。

  • hive.merge.smallfiles.avgsize
    当作业的平均输出文件大小小于此数字时，Hive将启动一个额外的map-reduce作业将输出文件合并为更大的文件。默认情况下，此属性设置为16 MB。

文章来源：Hive怎么调整优化Tez引擎的查询？在Tez上优化Hive查询的指南

标签：reducer,tez,hive,查询,Tez,Hive
From： https://www.cnblogs.com/the-pig-of-zf/p/18259403

相关文章

  • 数据处理技术-Hive的表与数据类型
    Hive数据模型Hive的数据模型主要由表构成，包括内部表，外部表，分区表和桶表。我也将从这四个方面介绍。在这之前先介绍另外一个概念：DDL，DataDefinitionLanguage数据定义语言，是SQL语言集中对数据库内部的对象结构进行创建，删除，修改等的操作语言。核心语法由CREATE,ALTER,DROP......
  • Excel中万能的查询函数——VLOOKUP(使用方法+实操)
    1、Vlookup被誉为查询三剑客之一，在excel里查询有着举足轻重的作用。   基本语法：=VLOOKUP(lookup_value,table_array,col_index_num,[range-lookup])，也就是说有4个参数，参数一：要查找的值，参数二：要查找的区域，参数三：返回数据在查找区域的第几列数，参数四：精确匹配/近似匹配，通俗一点......
  • 手机空号过滤查询-手机空号过滤接口-手机空号检测接口
    在线检测手机号状态，与运营商平台联动大数据分析判断手机号状态。可划分出实号、空号、停机、流量卡、沉默号。更新周期：两周接口地址：https://www.wapi.cn/api_detail/85/203.html在线查询：https://www.wapi.cn/emptymobile.html网站地址：https://www.wapi.cn返回格式：json,......
  • 分班查询系统怎样制作？
    期末即将来临，新学期也即将开始，今天给各位老师带来一个超级实用的小技巧。每年开学季，老师们都要面对一个既重要又繁琐的任务——分班。但你知道吗？现在有了易查分这个神奇的小程序，家长们可以自己轻松查询孩子的分班情况。接下来，就让我来教给各位如何利用易查分快速搭建一个分班......
  • JDBC实例：执行遍历查询操作，并打印查询结果
     //导入了Java的SQL包importjava.sql.*;publicclassMain{publicstaticvoidmain(String[]args)throwsException{//注册MySQL的JDBC驱动Class.forName("com.mysql.jdbc.Driver");//连接自己的数据库，我连接了数据库“pinta”St......
  • 分享：大数据信用查询选择什么样的平台好？
     在当今信息时代，大数据技术已经深刻改变了各行各业的运作方式，尤其在信用查询领域，大数据的应用更是显得尤为重要。面对众多大数据信用查询平台，如何选择一个合适的平台，成为许多企业和个人所关心的问题。本文将从几个关键角度分析，帮助您更好地选择适合自己的大数据信用查询平......
  • MySQL入门学习-连接查询.INNER JOIN
        表的连接在数据库中扮演着至关重要的角色。当我们处理多个表之间的关联数据时，连接查询是必不可少的。    假设我们有两个表A和B，它们有一个共同的字段。现在，我们想从A和B中选择出所有匹配的数据。这就是连接查询的作用。    以下是一个基本的......
  • MySQL入门学习-子查询.列子查询
        列子查询是MySQL中一种常用的子查询类型，它返回一个单列的结果集，该结果集可以在主查询中作为一个列使用。一、以下是一些列子查询的例子：1.简单的列子查询```sqlSELECTcolumn1,    (SELECTcolumn2FROMtable2WHEREtable1.column1=table2.column......
  • 连接查询
    在数据库查询中，内连接（INNERJOIN）、左连接（LEFTJOIN）、右连接（RIGHTJOIN）是不同类型的连接操作，用于在两个表之间根据某些条件组合它们的行。下面是每种连接的简要说明：内连接（INNERJOIN）：内连接返回两个表中满足连接条件的行。如果连接条件不满足，那么相关的行将不会被包括在结果集......
  • 科技查询政策实现模糊查询
    packagecom.example.ke;importandroid.annotation.SuppressLint;importandroid.content.DialogInterface;importandroid.os.Bundle;importandroid.os.Handler;importandroid.view.View;importandroid.widget.AdapterView;importandroid.widget.ArrayAdapter;importan......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99