首页 > 其他分享 >Hive 禁止提交 大范围磁盘扫描任务(禁止提交where条件包含未分区过滤)

Hive 禁止提交 大范围磁盘扫描任务(禁止提交where条件包含未分区过滤)

时间:2023-05-06 15:03:41浏览次数:37  
标签:US 禁止 country 分区 hive state Hive 提交


 参考书籍:Hive编程指南

 如果用户需要做一个查询,查询条件是全盘扫描。Hive会不得不读取每个文件目录,但这种宽范围的磁盘扫描还是比较少见的。
  但是,如果表中的数据以及分区个数都非常大的话,执行这样一个包含有所有分区的查询可能会触发一个巨大的MapReduce任务。一个高度建议的安全措施就是将Hive设置为“strict(严格)”模式,这样如果对分区表进行查询而WHERE子句没有加分区过滤的话,将会禁止提交这个任务。用户也可以按照下面的语句将属性值设置为“nostrict(非严格)”:

严格:
hive> set hive.mapred.mode=strict;
非严格:
hive> set hive.mapred.mode=nonstrict

     查看表存在的所有分区

hive> SHOW PARTITIONS tableName

       如果表中现在存在很多的分区,而用户只想查看是否存储某个特定分区键的分区的话,用户还可以在这个命令上增加一个指定了一个或者多个特定分区字段值的PARTITION子句,进行过滤查询

hive> SHOW PARTITIONS employees PARTITION(country='US');
country=US/state=AL
country=US/state=AK
...

hive> SHOW PARTITIONS employees PARTITION(country='US', state='AK');
country=US/state=AK

 

标签:US,禁止,country,分区,hive,state,Hive,提交
From: https://blog.51cto.com/u_13721902/6249927

相关文章

  • IDEA修改git提交者的信息
    在IDEA中打开Terminal终端查看当前提交者的名称及邮箱gitconfiguser.namegitconfiguser.email修改成你自己的用户名及邮箱gitconfig--globaluser.name"xxxxx"gitconfig--globaluser.email"[email protected]"......
  • E8退回与提交接口
    /**当且仅当userid为当前节点审批人时才可以退回(注:系统管理员ID都不行)*另:退回必须是有设置退回节点"线"的才可以退回*/publicvoidflowReject(intrequestid,intuserid,StringrejectMes){RequestServicerqs......
  • 【大数据】Hive DDL 操作与视图讲解
    目录一、概述1)表和视图关系2)表与视图的区别二、环境准备三、Hive数据类型四、DDL操作1)表的基本语法2)列分隔符和行分隔符3)添加表数据方式1、INSERT方式2、LOADDATA方式3、外部表方式4)DDL常见操作1、创建表2、修改表3、删除表4、创建分区表5、创建外部表五、视图操作1)创建视图2......
  • 【大数据】Hive 内置函数和 UDF 讲解
    目录一、概述1)内置函数2)自定义函数(UDF)二、环境准备三、Hive内置函数1)条件判断函数1、If函数:if3、条件判断函数:CASE4、非空查找函数:COALESCE2)字符串函数1、字符串长度函数:length2、字符串截取函数:substr,substring3、字符串连接函数:concat4、去空格函数:trim5、字符串转小写函......
  • 解决TestFlight提交时出现的ITMS-90426错误问题
    转载:http://kxdang.com/topic/appuploader/iosdev008.html在iOS应用开发中,我们经常使用TestFlight进行内测和分发应用程序。然而,有时候我们会遇到一个名叫“ITMS-90426错误”的问题,这会导致我们无法将应用程序提交到TestFlight进行审核。这种情况通常发生在我们的应用程序包含了一......
  • Linux定时提交网站url到百度站长脚本
    以下是一个使用Shell编写的示例脚本,用于在Linux下定时提交URL到百度搜索引擎:#!/bin/bash#要提交的URL列表urls=('http://www.example.com/page1.html''http://www.example.com/page2.html''http://www.example.com/page3.html')#百度站长平台API地址api......
  • yarn : 无法加载文件 在此系统上禁止运行脚本
    yarn:无法加载文件C:\Users\Administrator\AppData\Roaming\npm\yarn.ps1,因为在此系统上禁止运行脚本。有关详细信息,请参阅https:/go.microsoft.com/fwlink/?LinkID=135170中的about_Execution_Policies。所在位置行:1字符:1+yarn--registry=https://registry.npmmirro......
  • 【大数据】Hive 分区和分桶的区别及示例讲解
    目录一、概述1)分区概述2)分桶概述二、环境准备三、外部表和管理表1)外部表1、外部表介绍2、示例讲解2)管理表(内部表)1、管理表(内部表)介绍2、示例讲解四、分区表之静态分区和动态分区五、hive分区表严格模式和非严格模式1)严格模式2)非严格模式六、分区表和分桶表示例讲解1)分区表示例讲解......
  • 一项研究表明,禁止 ChatGPT 的大学可能会影响自己的录取
    ChatGPT正在成为未来学生选择大学的一个越来越重要的因素。   盖蒂图片社/МихаилРуденко当学生在寻找大学时,他们考虑的因素通常包括地点、费用、校风和学术,仅举几例。现在有一个新的因素需要考虑,那就是ChatGPT。 自ChatGPT首次出现......
  • HashiCorp官宣:禁止国内使用其旗下Consul等开源软件?
    近日,HashiCorp官网发布了一条软件评估条款:请注意,中国出口管控条例禁止HASHICORP在中华人民共和国境内销售或以其他方式提供企业版VAULT。鉴于此原因,未经HASHICORP的书面同意,不得在中华人民共和国境内使用、部署或安装HASHICORP的VAULT企业版本软件。(条款链接:https://www.hashic......