首页 > 其他分享 >【HIVE】动态分区插入数据

【HIVE】动态分区插入数据

时间:2022-10-08 15:25:38浏览次数:74  
标签:set 分区 partition dynamic hive 插入 HIVE

如果需要插入数据到同一分区表的多个分区,除了可以手动指定分区,还可以使用动态分区的方法进行插入。

需要在插入语句前加上:

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nostrict;

注意:
使用动态分区方法插入数据时,需要将分区字段置于select语句的最后一个字段。

示例:

点击查看代码
-- 正常的插入分区
insert overwrite table table1 (partition date=20221008)
select month
from table2;

-- 动态分区插入
set hive.exec.dynamic.partition = true;
set hive.exec.dynamic.partition.mode = nostrict;
insert overwrite table table1 (partition date)
select month
      ,date
from table2;

参考链接:

  1. hive使用动态分区插入数据详解
  2. Hive 插入动态分区表时遇到的一些坑

标签:set,分区,partition,dynamic,hive,插入,HIVE
From: https://www.cnblogs.com/xingyucn/p/16769015.html

相关文章

  • flink-cdc同步mysql数据到hive
    什么是CDC?CDC是(ChangeDataCapture变更数据获取)的简称。核心思想是,监测并捕获数据库的变动(包括数据或数据表的插入INSERT、更新UPDATE、删除DELETE等),将这些变更按发生的......
  • druid-spring-boot-starter整合hive与hadoop的排除类
    hive-jdbc和jetty冲突,所以在hive-jdbc中对jetty进行排除就OK<exclusions> <exclusion> <groupId>org.eclipse.jetty.aggregate</groupId> <artifactId>*</artifactI......
  • hive使用
    在一个有138MB的csv文件(580万行数据)里统计每天每家公司的利润等等信息。。。。。用mysql多半会爆掉,mysql一张表最多可处理的数据量为千万级的(每秒数据库并发量在几千,也......
  • hive测试——HIVE数据分析02
    题目:4、处理结果入库:(在虚拟机安装mysql)  将上述统计分析的结果数据保存到mySQL数据库中。 #text3_1入库#1.添加驱动,在hive的lib目录下,如果有则不需要添加add......
  • hive(2/4)
    Hive1.2.1学习(二) 1、Hive分区在大数据中,最常见的一种思想就是分治,我们可以把大的文件切割划分成一个个的小的文件,这样每次操作一个个小的文件就会很容易了,同样的道理,在......
  • hive优化(4/4)
    Hive学习(四)Hive优化1.1hive的随机抓取策略理论上来说,Hive中的所有sql都需要进行mapreduce,但是hive的抓取策略帮我们省略掉了这个过程,把切片split的过程提前帮我们做......
  • hive初步学习
    hive初步学习 hive语法其实跟mysql差不多开启程序以后输入hive就可以进去了showdatabases;//查看所有的数据库use数据库名showtable//查看对应数据库的表......
  • hive元起动报错:Exception in thread "main" java.lang.NoSuchMethodError: com.google
    错误原因:1.系统找不到这个类所在的jar包2.jar包的版本不一样系统不知道使用哪个。 hive启动报错的原因是后者解决办法:1、com.google.common.base.Preconditions.che......
  • Red Hat Enterprise Linux release 8.0 (Ootpa)-使用fdisk管理分区
    一、Linux磁盘设备的命名规则    Linux中的一切都是文件,硬件设备也不例外。既然是文件,就必须有文件名称。     Udev设备管理器在引导时动态创建或删除......
  • mybatis-plus 批量插入修改操作
    mybaits-plus的学习成本相对较低,当学会了mybatis之后,mybaits-plus很有友好的对mybaits仅仅是增强,没有任何改变,学习难度较低;其中有个小小的问题,即IService中自带的......