首页 > 其他分享 >Hive数据仓库的学习——DML学习

Hive数据仓库的学习——DML学习

时间:2023-09-26 21:24:54浏览次数:53  
标签:load insert DML 数据仓库 Hive overwrite 表名 table select

1、load加载

load语法:

2、Hive3.X新特性

能够使用load将文件数据存储到分区中,将分区默认作为表格数据的最后一列;

3、insert+select向表插入数据

这个语法就是在上次测试的时候遇到过的问题嘞!

insert+values这个语法执行效率就很慢,而换用insert+select之后效率就提升很多啦!

4、insert多重插入————multiple-insert

就举例说,原来是这样的:

insert table s1
select num from student;

insert table s2
select name from student;

现在改良成这样(使用多重插入):

from student
insert overerite table s1
select num
insert overwrite table s2
select name;

5、insert插入动态分区

开启动态分区,指定为非严格模式:

6、insert————实现导出数据

导出到文件:

insert overwrite directory '文件路径' select 字段名 from 基础表名;

//(指定分隔符————row format delimited fields terminated by ',')

导出到表:

insert overwrite table 表名 select 字段名 from 基础表名;

标签:load,insert,DML,数据仓库,Hive,overwrite,表名,table,select
From: https://www.cnblogs.com/liuzijin/p/17731015.html

相关文章

  • Hive数据仓库的学习——DDL之内部表、外部表、分区表、分桶表
    1、内部表和外部表没有指定建表的类型的话,默认为内部表(InternalTable或者是ManagedTable)可以通过这行代码查看表的类型:describeformatted表名;内部表和外部表的区别以及适合使用的范围:2、分区表--避免全表扫描,提高查询效率需要注意的是,在创建分区表时,分区字段不能再作......
  • Hive数据仓库的学习--DDL部分
    1、建表语法2、数据类型转换函数CAST--也就是强制转换例如,CAST('100'ASINT)3、有关于SerDe的描述序列化和反序列化————用于从文件中读取和数据写入文件的操作(通俗来说,就是分辨分隔符,读取有效数据存储到数据库中);4、rowformat指定具体的分隔符是什么样子的;默认分隔......
  • hive架构
    Hive的架构原理及组成_hive架构_hunter95671的博客-CSDN博客......
  • hive string, map, struct类型的建表和导入数据语句
    本文转载于 https://blog.51cto.com/u_14405/6419362,https://blog.csdn.net/tototuzuoquan/article/details/115493697和 https://blog.csdn.net/weixin_43597208/article/details/117450579。今天要用到hive的string相关的数据类型和数据,直接附链接和sql语句Hive的String类......
  • hive数据分析
    HIVE数据分析实验报告信2105-320213728杨申龙数据导入 将csv文件导入到虚拟机的hive数据库中,并通过datagrip软件实现对数据库的可视化操作 数据清洗在datagrip中进行如下操作,将数值清洗为真实日期insert overwrite table test2 select date_add('2021-09-00',c......
  • hive
    hive测试步骤1.在hive中建表,一个表存放原始数据,一个表存放清洗后的数据create table sales_initial (    day_idvarchar(30),    sale_nbrvarchar(30),    buy_nbrvarchar(30),    cntvarchar(30),    roundvarchar(30))rowformatdelimite......
  • 软件工程测试--hive数据分析,步骤
    下面这里的语句在上一个博客里有需要的伙伴可以去找......
  • hive测试
    这次的hive测试的流程主要分为以下几个步骤1、数据导入到hive数据库里2、对数据清洗3、数据分析处理4、将处理后的数据导出到MySQL5、通过网页进行数据可视化   一.数据导入到hive数据库里1)建立初始表createtablesales_sample_20214044(`day_id`stringcomme......
  • hive极限测试2
        ......
  • hadoop和hive的兼容问题
    本人之前搭建的集群是hadoop3.3.5+hive3.1.3版本,后来发现这两个版本不兼容,虽然官方文档里面说hive3.1.3版本兼容hadoop3.x.y版本,但是当我在使用hive执行插入语句时发现一直报同一个错误java.lang.ClassCastException:org.apache.hadoop.hdfs.protocol.proto.ClientNamenodePro......