首页 > 其他分享 >Hive 常用函数入门Apache Hadoop概述

Hive 常用函数入门Apache Hadoop概述

时间:2023-01-25 10:01:50浏览次数:45  
标签:Functions 内置 函数 Defined Hadoop Hive UDF Apache


Hadoop离线是大数据生态圈的核心与基石,是整个大数据开发的入门。本次分享内容让初学者能高效、快捷掌握Hadoop必备知识,大大缩短Hadoop离线阶段学习时间,下面一起开始今天的学习!


一、Hive 函数概述及分类标准

概述

Hive内建了不少函数,  用于满足用户不同使用需求,  提高SQL编写效率:

1.    使用show functions查看当下可用的所有函数;
2.    通过describe function extended funcname来查看函数的使用方式。

Hive 常用函数入门Apache Hadoop概述_大数据

分类标准

Hive的函数分为两大类:  内置函数  (Built-in Functions)、  用户定义函数UDF  ( User-Defined Functions):     内置函数可分为:  数值类型函数、日期类型函数、字符串类型函数、集合函数、条件函数等;

用户定义函数根据输入输出的行数可分为3类:  UDF、  UDAF、  UDTF。

Hive 常用函数入门Apache Hadoop概述_大数据_02

用户定义函数UDF分类标准

根据函数输入输出的行数:

UDF  ( User-Defined-Function)普通函数,一进一出
UDAF  ( User-Defined Aggregation Function)聚合函数,多进一出
UDTF  ( User-Defined Table-Generating Functions)表生成函数,一进多出

Hive 常用函数入门Apache Hadoop概述_Hive_03

UDF分类标准扩大化

  • UDF分类标准本来针对的是用户自己编写开发实现的函数。  UDF分类标准可以扩大到Hive的所有函数中:  包括内置函数和用户自定义函数。

因为不管是什么类型的函数,  一定满足于输入输出的要求,那么从输入几行和输出几行上来划分没有任何问题。

千万不要被UD  ( User-Defined)这两个字母所迷惑,照成视野的狭隘。

  • 比如Hive官方文档中,针对聚合函数的标准就是内置的UDAF类型。

Hive 常用函数入门Apache Hadoop概述_hive_04

二、Hive 常用的内置函数

概述

内置函数(build-in)  指的是Hive开发实现好,  直接可以使用的函数,也叫做内建函数。

官方文档地址:  https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF

内置函数根据应用归类整体可以分为8大种类型,  我们将对其中重要的,使用频率高的函数使用进行详细讲解。

Hive 常用函数入门Apache Hadoop概述_Hive_05

 ( 1)  String Functions 字符串函数

Hive 常用函数入门Apache Hadoop概述_大数据_06

Hive 常用函数入门Apache Hadoop概述_大数据_07

 (2)  Date Functions 日期函数

 

Hive 常用函数入门Apache Hadoop概述_大数据_08

 ( 3)  Mathematical Functions 数学函数

Hive 常用函数入门Apache Hadoop概述_Hive_09

(4)  Conditional Functions 条件函数 

  • 主要用于条件判断、逻辑判断转换这样的场合

Hive 常用函数入门Apache Hadoop概述_Hive_10

标签:Functions,内置,函数,Defined,Hadoop,Hive,UDF,Apache
From: https://blog.51cto.com/u_8238263/6022442

相关文章

  • Hadoop技术之HDFS工作流程与机制Apache Hadoop概述
    一、HDFS集群角色与职责官方架构图 主角色: namenodeNameNode是Hadoop分布式文件系统的核心,架构中的主角色。NameNode维护和管理文件系统元数据,包括名称空间目录树结构、......
  • Hive SQL Join关联查询Apache Hadoop概述Hadoop YARN架构、组件及其交互流程Apache Hi
    Hadoop离线是大数据生态圈的核心与基石,是整个大数据开发的入门。本次分享内容让初学者能高效、快捷掌握Hadoop必备知识,大大缩短Hadoop离线阶段学习时间,下面一起开始今天的学......
  • 大数据必知必会:Hadoop(4)高可用集群安装
    (大数据必知必会:Hadoop(4)高可用集群安装)安装前准备高可用集群环境下,至少需要3台服务器,这里准备5台。IP地址主机名称角色10.0.0.5node1NameNode10.0.0.6n......
  • Hive SQL题库-高级
    第1题同时在线人数问题1.1题目需求现有各直播间的用户访问记录表(live_events)如下,表中每行数据表达的信息为,一个用户何时进入了一个直播间,又在何时离开了该直播间。......
  • Apache IoTDB C# SDK Apache-IoTDB-Client-CSharp
    最近今天写了IoTDB的三篇相关文章,完成了安装部署和客户端连接:WindowsServer上部署IoTDB集群DBeaver连接IoTDBDriver将IoTDB注册为Windows服务TsFile是IoTDB的底层数......
  • Hive SQL题库-中级
    第一章环境准备1.1用户信息表1)表结构user_id(用户id)gender(性别)birthday(生日)101男1990-01-01102女1991-02-01103女1992-03-01104男19......
  • 大数据必知必会:Hadoop(1)单机环境安装
    (大数据必知必会:Hadoop(1)单机环境安装)安装前准备操作系统准备本次安装采用的操作系统是Ubuntu20.04。更新一下软件包列表。sudoapt-getupdate安装Java8+使用命......
  • Doris报Could not initialize class org.apache.doris.catalog.PrimitiveType
    ERROR1105(HY000):errCode=2,detailMessage=NoClassDefFoundError:Couldnotinitializeclassorg.apache.doris.catalog.PrimitiveType这个报错是jar包的问题1.......
  • 单机版hadoop搭建过程记录
    1、添加hadoop1用户组[root@localhost~]#groupaddhadoop12、添加hadoop1用户,并设置密码[root@localhost~]#useradd-ghadoop1hadoop1[root@localhost~]#passw......
  • Apache RocketMQ 5.0 笔记
    RocketMQ5.0:云原生“消息、事件、流”实时数据处理平台,覆盖云边端一体化数据处理场景。核心特性云原生:生与云,长与云,无限弹性扩缩,K8s友好高吞吐:万亿级吞吐保证,同时满足......