首页 > 数据库 >HiveSql调优系列之Hive严格模式,如何合理使用Hive严格模式

HiveSql调优系列之Hive严格模式,如何合理使用Hive严格模式

时间:2022-09-02 19:00:39浏览次数:84  
标签:set strict mapred hive 严格 模式 Hive true checks

目录

综述

在同样的集群运行环境中,hive调优有两种方式,即参数调优和sql调优

本篇讲涉及到的Hive严格模式。

前两天在优化一个前人遗留下的sql,发现关于严格模式参数是这样使用的,严重错误。

set hive.strict.checks.cartesian.product=flase;
set hive.mapred.mode=nonstrict;

而且我发现在使用参数上,无论sql大小直接贴一堆参数,类似这样。

set hive.exec.parallel=true;
set hive.exec.parallel.thread.number=16;
set hive.merge.mapfiles = true; 
set hive.merge.mapredfiles = true; 
set hive.merge.size.per.task=256000000;
set hive.merge.smallfiles.avgsize = 256000000;
set mapred.max.split.size=1024000000;
set mapred.min.split.size.per.node=1024000000;
set mapred.min.split.size.per.rack=1024000000; 
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
set hive.join.emit.interval = 2000;
set hive.mapjoin.size.key = 20000;
set hive.mapjoin.cache.numrows = 20000;
set hive.exec.reducers.bytes.per.reducer=2000000000;
set hive.exec.reducers.max=999;
set hive.map.aggr=true;
set hive.groupby.mapaggr.checkinterval=100000;
set hive.auto.convert.join = true;
set hive.exec.dynamic.partition.mode = nonstrict;
set hive.exec.dynamic.partition = true;
set hive.cli.print.header=true;
set hive.resultset.use.unique.column.names=false;
set mapreduce.reduce.memory.mb=4096;
set mapreduce.reduce.java.opts=-Xmx4096m;
set mapred.max.split.size=1024000000;
set mapred.min.split.size.per.node=1024000000;
set mapred.min.split.size.per.rack=1024000000; 

优化是优化了,但是我看到了优化的无目标性,反而在一定程度上多消耗了计算资源。

于是打算开一个系列文章,Hive SQL调优系列,如何合理的使用参数进行SQL优化,针对什么情况使用哪些参数优化。

本篇先说说严格模式相关参数怎么使用。

正文如下。

1.严格模式

所谓Hive的严格模式,就是为了避免用户提交一些恶意SQL,消耗大量资源进而使得运行环境崩溃做出的一些安全性的限制。

或多或少我们都提交过一些执行很久,集群资源不足的SQL。应该能理解。

前文Hive动态分区详解中有提到过

1.1 参数设置

-- strict 为开启严格模式  nostrict 关闭严格模式
set hive.mapred.mode=strict

1.2 查看参数

通过hive的set 查看指定参数

-- 黑窗口查看Hive模式,以下结果为未开启严格模式
hive> set hive.mapred.mode;
hive.mapred.mode is undefined

1.3 严格模式限制内容及对应参数设置

如果Hive开启严格模式,将会阻止一下三种查询:

a.对分区表查询,where条件中过滤字段没有分区字段;

b.对order by查询,order by的查询不带limit语句。

c.笛卡尔积join查询,join查询语句中不带on条件或者where条件;

以上三种查询情况也有自己单独的参数可以进行控制。

  • 分区表查询必须指定分区
-- 开启限制(默认为 false)
set hive.strict.checks.no.partition.filter=true;
  • orderby排序必须指定limit
-- 开启限制(默认为false)
set hive.strict.checks.orderby.no.limit=true;
  • 限制笛卡尔积运算
-- 开启限制(默认为false)
set hive.strict.checks.cartesian.product=true;

2.实际操作

2.1 分区表查询时必须指定分区

分区表查询必须指定分区的原因:如果该表有大量分区,如果不加限制,在读取时会读取到超出预估的数据量。

-- 测试
create table `lubian` (
`id` string comment 'id',
`name` string comment '姓名'
)
comment 'lubian' 
PARTITIONED BY (ymd string)
row format delimited fields terminated by '\t' lines terminated by '\n' 
stored as orc;

set hive.strict.checks.no.partition.filter=true;
select * from lubian limit 111;

执行结果

FAILED: SemanticException [Error 10056]:
    Queries against partitioned tables without a partition filter are disabled for safety reasons.
    If you know what you are doing, please set hive.strict.checks.no.partition.
    filter to false and make sure that hive.mapred.mode is not set to 'strict' to proceed.
    Note that you may get errors or incorrect results if you make a mistake while using some of the unsafe features.
    No partition predicate for Alias "lubian" Table "lubian"

select * from partab where dt='11' limit 111;
Time taken: 0.77 seconds

2.2 order by必须指定limit

order by必须指定limit的主要原因: order by 为全局排序,所有数据只有一个reduceTask来处理,防止单个reduce运行时间过长,而导致任务阻塞

-- 测试
set hive.strict.checks.orderby.no.limit=true;
select * from lubian order by name;

执行结果

FAILED: SemanticException 1:36
    Order by-s without limit are disabled for safety reasons.
    If you know what you are doing, please set hive.strict.checks.orderby.no.limit to false
    and make sure that hive.mapred.mode is not set to 'strict' to proceed.
    Note that you may get errors or incorrect results if you make a mistake while using some of the unsafe features..
    Error encountered near token 'name'

2.3 限制笛卡尔积

限制笛卡尔积运算原因:笛卡尔积可能会造成数据急速膨胀,例如两个1000条数据表关联,会产生100W条数据。n的平方增长。触发笛卡尔积时,join操作会在一个reduceTask中执行

-- 测试
set hive.strict.checks.cartesian.product=true;
select t1.*,t2.* from lubian as t1
inner join lubian as t2;

执行结果

FAILED: SemanticException Cartesian products are disabled for safety reasons.
    If you know what you are doing, please set hive.strict.checks.cartesian.product to false
    and make sure that hive.mapred.mode is not set to 'strict' to proceed.
    Note that you may get errors or incorrect results
    if you make a mistake while using some of the unsafe features.

3.搭配使用

3.1 参数

设置hive严格模式参数如下

set hive.mapred.mode=strict;
set hive.strict.checks.no.partition.filter=true;
set hive.strict.checks.orderby.no.limit=true;
set hive.strict.checks.cartesian.product=true;

以上参数可以使用 set hive.mapred.mode=strict; 默认开启三种情况的严格模式。也可以使用每个限制内容参数开启指定严格校验。

3.2 搭配使用案例

也可以搭配使用,但是使用以下方式就有些问题了:

-- 关闭笛卡尔积运算校验
set hive.strict.checks.cartesian.product=flase;
-- 关闭严格模式
set hive.mapred.mode=nonstrict;

应该是严格模式默认关闭,但仍想对其中一种情况做校验。如下

set hive.mapred.mode=nonstrict;
set hive.strict.checks.cartesian.product=true;

或者严格模式默认开启,但对其中一种不想做校验:

set hive.mapred.mode=strict;
set hive.strict.checks.cartesian.product=false;

以上内容。

按例,欢迎点击此处关注我的个人公众号,交流更多知识。

后台回复关键字 hive,随机赠送一本鲁边备注版珍藏大数据书籍。

标签:set,strict,mapred,hive,严格,模式,Hive,true,checks
From: https://www.cnblogs.com/lubians/p/16650960.html

相关文章

  • 2.状态模式
    一、状态模式状态模式的定义如下:当一个对象内在状态改变时允许其改变行为,这个对象看起来像改变了其类。二、状态模式的优点和应用场景优点:1、状态模式的优点是结构清......
  • 【计算讲谈社】第十一讲|商用车智能驾驶商业化实践:“科技+保险”模式探索
    自动驾驶的“玩家”们持续在探索技术的应用场景和商业化落地。商用车智能驾驶企业所托瑞安从“科技+保险”切入,探索出一条自动驾驶商业化的道路。【计算讲谈社】第十一讲......
  • Redis集群模式哈希槽rename问题
    (error)ERR'RENAME'commandkeysmustinsameslot一、介绍我们先来看基本的介绍RedisRename命令用于修改key的名称。1、语法redisrename命令的基本用法如......
  • java Builder模式
    Builder 模式也叫建造者模式,builder模式的作用将一个复杂对象的构建与他的表示分离,一步一步创建一个复杂对象的创建型模式。在不知道内部建造细节的情况下,可以更精细的控......
  • php webman对接Luckysheet share多人协作模式项目
    2022年9月2日10:05:03gitee地址https://gitee.com/zxadmin/luckysheet-phpserver此项目目前定义为对接失败,当然Luckysheet也可以去除掉加密的部分,直接json通信就没问题......
  • PCIe的RC模式和EP模式有什么区别?
    1、RC:RootComplexRC设备用于连接CPU/内存子系统和I/O设备;RC模式下,PCIE配置头中的类型值为1;RC模式下,支持配置和I/O事务2、EP:EndPointEP设备通常表示一个串行或I/......
  • 设计模式之(7)——装饰设计模式
    定义:装饰设计模式允许向一个现有的对象添加功能,而不改变其结构(这就很符合程序设计的“开闭原则”),重点突出类功能的增强,属于结构型创建模式,这种模式创建了一个装饰类,用......
  • 拼多多的电子商务盈利模式分析
    拼多多是一家基于 C2B 拼团营销方式主营团购的电商平台,其盈利模式由利润源、利润点、利润杠杆、利润通道和利润屏障五个要素组成的。通过锁定目标客户、关注客户价值、举......
  • android原生观察者和被观察者模式java.util.Observable
    项目中用到这个,所以记录一下https://blog.csdn.net/iteye_5649/article/details/82636534?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidula......
  • 2. 对比redis的RDB、AOF模式的优缺点
    2. 对比redis的RDB、AOF模式的优缺点 2.1 redis的RDB模式2.1.1RDB模式工作原理  RDB(RedisDataBase):基于时间的快照,其默认只保留当前最新的一次快照,特点......