首页 > 其他分享 >hive outline

hive outline

时间:2022-12-28 16:05:49浏览次数:36  
标签:函数 lateral work hive 链接 连接 outline


导航

  • ​​hive 简介​​
  • ​​OLTP 和 OLAP 的区别​​
  • ​​hive 安装​​
  • ​​hive 测试是否安装成功​​
  • ​​hive 配置metastore三种方式​​
  • ​​hive 运行日志 数据仓库 数据仓库显示 配置​​
  • ​​hive 建表-复杂数据类型​​
  • ​​hive 内部表 外部表 创建​​
  • ​​hive 分区表 静态 动态分区​​
  • ​​hive 分桶表​​
  • ​​hive 视图​​
  • ​​hive 事务表​​
  • ​​hive 拉链表​​
  • ​​hive 查看文件系统命令​​
  • ​​hive 数据库 表 列(DDL)​​
  • ​​hive 数据导入 导出(DML)​​
  • ​​hive select查询(DQL)​​
  • ​​hive Order By Cluster By Distribute By+Sort By​​
  • ​​hive 内连接 左外连接 右外连接 满外连接 左半开连接 交叉连接 多表连接 隐式连接​​
  • ​​hive 函数分类​​
  • ​​hive 内置函数​​
  • ​​hive 字符串函数​​
  • ​​hive 日期函数​​
  • ​​hive 数学函数​​
  • ​​hive 集合函数​​
  • ​​hive 条件函数​​
  • ​​hive 类型转换函数 cast​​
  • ​​hive 数据脱敏函数​​
  • ​​hive java_method reflect​​
  • ​​hive 用户自定义函数​​
  • ​​hive 高阶函数​​
  • ​​hive explode​​
  • ​​hive lateral view 侧视图​​
  • ​​hive 增强聚合函数 Grouping sets​​
  • ​​hive 增强聚合函数 Cube​​
  • ​​hive 增强聚合函数 with rollup​​
  • ​​hive 窗口函数 窗口表达式 窗口排序函数 窗口分析函数​​
  • ​​hive url 解析函数​​
  • ​​hive json数据处理函数​​
  • ​​hive 调优(work)​​
  • ​​hive 数据倾斜(work)​​
  • ​​hive 小文件产生的原因 危害 解决方案(work)​​
  • ​​hive join 的工作机制(work)​​
  • ​​hive 面试(work)​​

hive 简介

​​链接​​

OLTP 和 OLAP 的区别

​​链接​​

hive 安装

​​链接​​

hive 测试是否安装成功

​​链接​​

hive 配置metastore三种方式

​​链接​​

hive 运行日志 数据仓库 数据仓库显示 配置

​​链接​​

hive 建表-复杂数据类型

​​链接​​

hive 内部表 外部表 创建

​​链接​​

hive 分区表 静态 动态分区

​​链接​​

hive 分桶表

​​链接​​

hive 视图

​​链接​​

hive 事务表

​​链接​​

hive 拉链表

​​hive 拉链表​​

hive 查看文件系统命令

​​链接​​

hive 数据库 表 列(DDL)

​​链接​​

hive 数据导入 导出(DML)

​​链接​​

hive select查询(DQL)

​​链接​​

hive Order By Cluster By Distribute By+Sort By

​​链接​​

hive 内连接 左外连接 右外连接 满外连接 左半开连接 交叉连接 多表连接 隐式连接

​​链接​​

hive 函数分类

​​链接​​

hive 内置函数

hive 字符串函数

​​链接​​

hive 日期函数

​​链接​​

hive 数学函数

​​链接​​

hive 集合函数

​​链接​​

hive 条件函数

​​链接​​

hive 类型转换函数 cast

将int型转换为sting

select cast(12.14 as bigint);
select cast(12.14 as string);

hive 数据脱敏函数

​​链接​​

hive java_method reflect

​​链接​​

hive 用户自定义函数

​​链接​​

hive 高阶函数

hive explode

  1. explode函数​​接收map或者array类型的数据作为参数​​,然后把参数中的每个元素炸开变成一行数据
  2. 一般情况下,explode函数需结合lateral view侧视图使用

hive outline_hive

hive lateral view 侧视图

  1. lateral view 是一种特殊的语法,主要用于搭配UDTF类型功能的函数一起使用
  2. 侧视图的原理是将UDTF的结果构建成一个类似于视图的表,然后将原表中的每一行和UDTF函数输出的每一行进行连接,生成一张新的虚拟表。这样就避免了UDTF的使用限制问题
  3. 使用lateral view时也可以对UDTF产生的记录设置字段名称,产生的字段可以用于group by、order by 、limit等语句中
  4. 一般只要使用UDTF,就会固定搭配lateral view使用

lateral view侧视图​​基本语法如下​

select …… from tabelA lateral view UDTF函数(字段) 别名 as col1,col2 ……;

​​实战演练:hive 列转行​​

hive 增强聚合函数 Grouping sets

hive 增强聚合函数 Cube

hive 增强聚合函数 with rollup

​​链接​​

hive 窗口函数 窗口表达式 窗口排序函数 窗口分析函数

​​链接​​

hive url 解析函数

​​链接​​

hive json数据处理函数

​​链接​​

hive 调优(work)

​​链接​​

hive 数据倾斜(work)

​​链接​​

hive 小文件产生的原因 危害 解决方案(work)

​​链接​​

hive join 的工作机制(work)

​​链接​​

hive 面试(work)

​​链接​​


标签:函数,lateral,work,hive,链接,连接,outline
From: https://blog.51cto.com/u_14009243/5975554

相关文章

  • hive 建表-复杂数据类型
    目录​​hiveoutline​​​​map格式数据​​​​array格式数据​​​​\001格式数据​​​​多字节分隔符​​​​json格式数据​​​​简单json建表​​​​复杂json建......
  • hive 内连接 左外连接 右外连接 满外连接 左半开连接 交叉连接 多表连接 隐式连接
    目录​​hiveoutline​​​​hive内连接innerjoin​​​​hive左外连接leftjoin​​​​hive右外连接rightjoin​​​​hive满外连接fulljoin​​​​hivelef......
  • hive join 的工作机制
    目录​​hivejoin简介​​​​hivejoin的工作机制​​​​CommonJoin工作机制​​​​MapJoin工作机制​​hivejoin简介asweallknow,hive会将HQL语句翻译成为mr......
  • hive 视图
    目录​​hiveoutline​​​​hive视图简介​​​​hive视图优点​​​​hive视图创建​​hiveoutline​​链接​​hive视图简介hive中的视图(view)是一种虚拟表,只保存......
  • Hive 连续登录问题
    需求说明有以下一个表,记录了用户登录数据desctemp_user_login;day_idstringuser_idintif_loginintselect*fromtemp_user_loginorderbyuser_id,da......
  • Hive 自定义函数
    Hive自带了一些函数,比如:max/min等,但是数量有限,自己可以通过自定义UDF来方便的扩展。当Hive提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义函数(UD......
  • 046.hive-数据迁移脚本
     https://www.dandelioncloud.cn/article/details/1525380158727143425--===================hive迁移导出导入数据流程=========================--=============......
  • 045.hive-hive解析json-json_tuple
    get_json_object(stringjson_string,stringpath)无法解析汉字get_json_object('{"movie":"594","rate":"4","timeStamp":"978302268","uid":"1"}','$.movie'); jso......
  • 记录hive一次数据倾斜问题的解决以及思考总结
    解决数据倾斜是大数据开发中比较重要的能力,这个现象指的是分布式集群中,由于数据分发的不当,导致某个节点要处理的错误过多,导致整个计算机任务迟迟结束不了,甚至可能节点出现O......
  • Zeppelin-0.9.0安装并集成Hive、Spark、MySQL、Python
    1、下载安装包http://archive.apache.org/dist/zeppelin/zeppelin-0.9.0/2、上传zeppelin-0.9.0-bin-all.tgz至/opt/soft3、解压tar-zxvf/opt/soft/zeppelin-0.......