在我们将csv文件或者txt文件导入到虚拟机本地时,要是不提前将首行的数据指引删除,就会跟随着我们的期望数据显示在hive的数据库里面,
上次测试,我就是直接在csv文件里面删除了,但是运行起来确实稍微慢了一点,要是数据条数再多一些,就很难直接在根文件里面进行删除,所以,我找到了一个新的方法,
来排除掉这个冗余的数据————在hive数据库里面利用hive语句删除;
要么就是在建表时进行排除:
create table student
(
id int,
name string
) row format delimited fields terminated by ','
TBLPROPERTIES('skip.header.line.count'='1');
或者在建表和导入数据均完成之后再执行:
alter table student set TBLPROPERTIES('skip.header.line.count'='1');
这样就ok啦~~
标签:文件,删除,数据库,hive,student,数据 From: https://www.cnblogs.com/liuzijin/p/17757910.html