行转列
CONCAT(string A/col, string B/col…):
返回输入字符串连接后的结果,支持任意个输入字符串;
CONCAT_WS(separator, str1, str2,...):
它是一个特殊形式的 CONCAT()。第一个参数剩余参
数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL,返回值也将为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接的字符串之间;
注意: CONCAT_WS must be "string or array<string>
COLLECT_SET(col):
函数只接受基本数据类型,它的主要作用是将某字段的值进行去重汇总,产生 Array 类型字段。
创建本地 constellation.txt,导入数据
[atguigu@hadoop102 datas]$ vim person_info.txt
孙悟空 白羊座 A
大海 射手座 A
宋宋 白羊座 B
猪八戒 白羊座 A
凤姐 射手座 A
苍老师 白羊座 B
创建 hive 表并导入数据
create table person_info(
name string,
constellation string,
blood_type string)
row format delimited fields terminated by "\t";
load data local inpath "/opt/module/hive/data/person_info.txt" into table person_info;
按需求查询数据
select
t1.c_b,
concat_ws('|',collect_set(t1.name))
from(
select
name,
concat_ws(',',constellation,blood_type) c_b
from
person_info
)t1
group by t1.c_b
列转行
EXPLODE(col):将 hive 一列中复杂的 Array 或者 Map 结构拆分成多行。
LATERAL VIEW
用法:LATERAL VIEW udtf(expression) tableAlias AS columnAlias
解释:用于和 split, explode 等 UDTF(一进多出 炸裂函数 一行函数变成多行函数) 一起使用,它能够将一列数据拆成多行数据,在此
基础上可以对拆分后的数据进行聚合
创建本地movies文件
[atguigu@hadoop102 datas]$ vi movie_info.txt
《疑犯追踪》 悬疑,动作,科幻,剧情
《Lie to me》悬疑,警匪,动作,心理,剧情
《战狼 2》 战争,动作,灾难
创建 hive 表并导入数据
create table movie_info(
movie string,
category string)
row format delimited fields terminated by "\t";
load data local inpath "/opt/module/data/movie.txt" into table
movie_info;
按需求查询数据
select
movie,
category_name
from
movie_info
lateral view
explode(split(category,',')) movie_info_tmp as category_name;
PS:如果不是于原表关联的话
SELECT explode(split(category,",")) from movie_info;
标签:info,category,string,movie,转行,Hive,转列,txt,name
From: https://www.cnblogs.com/catch-autumn/p/16863930.html