首页 > 其他分享 >把数据直接上传到分区目录上,让分区表和数据产生关联的三种方式

把数据直接上传到分区目录上,让分区表和数据产生关联的三种方式

时间:2022-11-05 19:57:05浏览次数:89  
标签:hour 分区 hive day dept 分区表 数据 20200401 partition2

方式一:上传数据后修复

上传数据

-- 创建文件
hive (default)> dfs -mkdir -p/user/hive/warehouse/mydb.db/dept_partition2/day=20200401/hour=13;

-- 上传数据
hive (default)> dfs -put /opt/module/datas/dept_20200401.log /user/hive/warehouse/mydb.db/dept_partition2/day=20200401/hour=13;

查询数据(查询不到数据)

hive (default)> select * from dept_partition2 where day='20200401' and hour='13';

执行修复命令

hive> msck repair table dept_partition2;

之后再次查询就可以了

方式二:上传数据后添加分区

上传数据(同上)

执行添加分区

hive (default)> alter table dept_partition2 add partition(day='201709',hour='14');

再次查询数据

方式三:创建文件夹后 load 数据到分区

上传目录

hive (default)> dfs -mkdir -p
/user/hive/warehouse/mydb.db/dept_partition2/day=20200401/hour=15;

再次查询即可
上传数据

hive (default)> load data local inpath '/opt/module/hive/datas/dept_20200401.log' into tabledept_partition2partition(day='20200401',hour='15');

标签:hour,分区,hive,day,dept,分区表,数据,20200401,partition2
From: https://www.cnblogs.com/catch-autumn/p/16860941.html

相关文章

  • vue如何过滤出一个数组中不包含另一个数组的数据
    data里面定义测试数组arr1:[1,3,5,7,11,0],arr2:[1,11],arrres:[]然后过滤一下for(letoneofthis.arr1){if(this.arr2.indexOf(one)==-1)......
  • 20、读取成绩文件排序数据
    题目:  输入文件:三列:学号、姓名、成绩列之间用逗号分割,比如”101,小张,88“行之间用\n换行分割待处理文件名:  内容如下:    思路:  1、先把读取文件函数......
  • MySql如何不插入重复数据
    向数据库的插入值时,需要判断插入是否重复,然后插入。这种操作怎么提高效率下面说说一些解决方案1、insertignoreinto当插入数据时,如出现错误时,如重复数据,将不返回错......
  • robotframework自动化测试框架实战教程:测试数据整理工具(Robottiy)
    *内置的Tidy工具在RobotFramework4.1中被弃用,取而代之的是新的增强型外部Robottiy工具。它在RobotFramework5.0中被完全删除。安装pipinstallrobotframework-tidy......
  • Hive 动态分区 3.0新特征
    下面两者同理,也就是说在动态分区中可以不用继续写parititon,因为最后是按照select最后一个字段(deptno)去进行分区的insertintotabledeptpartition(deptno='10')selec......
  • solidity数据存储位置以及存储报错
    solidity数据存储位置solidity文档在0.5.0之后发生大变动,复杂的数据类型必须给出明确的数据存储位置:memory、storage和calldate三个存储位置的区别storage存储永......
  • RabbitMQ可能存在的数据丢失问题
    RabbitMQ使用过程中,可能存在数据丢失的情况,在生产者、RabbitMQ、消费者之间进行数据传输及逻辑处理过程中均有可能会出现数据丢失问题。1.生产者弄丢了数据生产者将数据......
  • 筛选出带字母和数据
     问题:一列数据中,一部分内容是数字,另一部分内容是数字和字母混合,要筛选出其中之一解决:添加辅助列,使用以下公式=ISNUMBER(-CLEAN(A2))再根据辅助列筛选 思路:A......
  • 常用数据数据类型
    数据类型原始数据类型(6种)Undefinedundefined值是由null的值派生过来的,因此表面上是相等的Null(在逻辑上可以表示一个空指针对象)BooleanStringNumberNaN(......
  • golang-gin-gorm-viper实现数据简单的增删改查
    目录结构:配置文件:app:addr:127.0.0.1:8888mysql:host:172.xx.xx.xxport:3306user:rootpassword:rootdatabase:ginenable:truegorm:......