首页 > 其他分享 >HIVE优化之记录的分离与聚合

HIVE优化之记录的分离与聚合

时间:2022-08-14 16:38:10浏览次数:52  
标签:聚合 string HIVE 分隔符 字符串 array 优化 col CONCAT

行转列

CONCAT(string A/col, string B/col)返回输入字符串连接后的结果,支持任意个输入字符串;

CONCAT_WS(separator, str1, str2,...)

  ·它是一个特殊形式的 CONCAT()。第一个参数剩余参数间的分隔符。

  ·分隔符可以是与剩余参数一样的字符串。

  ·如果分隔符是 NULL,返回值也将为 NULL。

  ·这个函数会跳过分隔符参数后的任何 NULL 和空字符串。

  ·分隔符将被加到被连接的字符串之间;

  ·注意: CONCAT_WS must be "string or array<string>

COLLECT_SET(col)

  ·函数只接受基本数据类型

  ·它的主要作用是将某字段的值进行去重汇总,产生array类型字段。

COLLECT_LIST(col):

  ·函数指接收基本数据类型

  ·它的主要作用是将某字段的值进行不去重汇总,产生array类型字段。

列转行

EXPLODE(collection)将hive表的一列中复杂的array或者map结构拆分成多行。

SPLIT(string str, string regex): 按照regex字符串分割str,会返回分割后的字符串数组

LATERAL VIEW

  用法LATERAL VIEW udtf(expression) tableAlias AS columnAlias

  解释用于和split, explode等UDTF一起使用,它能够将一列数据拆成多行数据,在此基础上可以对拆分后的数据进行聚合。lateral view首先为原始表的每行调用UDTF,UDTF会将一字段拆分成一行               或者多行,lateral view再把结果组合,产生一个支持别名表的虚拟表。

标签:聚合,string,HIVE,分隔符,字符串,array,优化,col,CONCAT
From: https://www.cnblogs.com/averyve/p/16585648.html

相关文章

  • hive function汇总
    showfunctions查看了所有的方法把所有的方法记录下来,下次免得去翻别人的博客了数学函数数学常规函数函数简介用法abs绝对值selectabs(-13);13negati......
  • Hive Explain 详解
    导读前文《一文读懂SQLServer执行计划》中介绍过关系型数据库SQLServer的执行计划执行计划在数据开发过程中的重要性,以及如何阅读执行计划,根据执行计划分析SQL......
  • JavaWeb阶段性项目1:系统的servlet优化5
    前置知识前置准备知识准备已掌握JavaSE/MySQL/JDBC+HTML/CSS/JavaScript基础并已完成了Javaweb前置知识的学习01-JavaWeb-HTML初识02-JavaWeb-CSS初识03-JavaWeb-Ja......
  • vue+openlayer实现地图聚合效果和撒点效果
    前言:openlayer是目前我们gis常用的一款开源的,并且反馈都特别好的软件了,像之前的ol3,风靡一时,地图实现也很简单,很实用,目前vue中使用地图也是非常多的,那么如果在......
  • UOJ #217 -【UNR #1】奇怪的线段树(路径覆盖+简单优化建图)
    UOJ题面传送门orz卷王aaabcd/bx随便开了道aaabcd卷过的题然后完全想偏了,想成奇怪的DP了(果然aaabcd全方位六边形我啊)首先,如果一个点是白的但它子树内有黑点,那......