首页 > 其他分享 >在idea创建一个maven项目,然后放在hive环境运行

在idea创建一个maven项目,然后放在hive环境运行

时间:2023-03-05 09:13:17浏览次数:62  
标签:自定义 my jar idea hive maven MyUDF com

正常创建一个new maven项目
关于maven生命周期文档:https://www.runoob.com/maven/maven-build-life-cycle.html

打包完毕后在target会出现打包好的jar包

  1. 将jar包上传到Hive所在的服务器上,假设上传到路径为 /path/to/jar/HiveUDF-0.0.1-SNAPSHOT-all.jar

  2. 启动Hive客户端

  3. 在Hive客户端中运行以下命令添加jar包到Hive中:

ADD JAR /path/to/jar/HiveUDF-0.0.1-SNAPSHOT-all.jar;
  1. 注册自定义函数
CREATE TEMPORARY FUNCTION my_func AS 'com.example.MyUDF';

这里假设MyUDF是在HiveUDF-0.0.1-SNAPSHOT-all.jar中的自定义函数类,my_func是自定义函数的别名。注意com.example.MyUDF不能随意更改。'com.example.MyUDF' 是完整的自定义函数类名,需要与实际的类名一致,否则会出现类找不到的错误。而 CREATE TEMPORARY FUNCTION my_func AS 'MyUDF' 则是定义了一个自定义函数的别名为 my_func。可以将别名改成任何你喜欢的名称,但 MyUDF 必须是实际的自定义函数类名。

  1. 运行查询语句:
SELECT my_func(column1) FROM my_table;

这里假设要对my_table表的column1列应用my_func函数。

  1. 如果想查询HiveUDF-0.0.1-SNAPSHOT-all.jar中全部的数据,可以先编写一个包含所有需要查询的函数的HiveQL脚本,然后运行该脚本即可。例如:
ADD JAR /path/to/jar/HiveUDF-0.0.1-SNAPSHOT-all.jar;

CREATE TEMPORARY FUNCTION my_func1 AS 'com.example.MyUDF1';
CREATE TEMPORARY FUNCTION my_func2 AS 'com.example.MyUDF2';
CREATE TEMPORARY FUNCTION my_func3 AS 'com.example.MyUDF3';

SELECT my_func1(column1), my_func2(column2), my_func3(column3) FROM my_table;

标签:自定义,my,jar,idea,hive,maven,MyUDF,com
From: https://www.cnblogs.com/catch-autumn/p/17179723.html

相关文章

  • Java Swing项目使用Idea UI Designer设计插件无法启动问题解决方案
    起因最近整理一下以前写的swing项目,结果发现跑不起来了,具体表现为与视图表绑定的Java类的各属性为NULL(插件没有初始化绑定的类对象),导致项目无法启动。(报空指针异常)问题排......
  • Lenovo 联想-IdeaPad-Y530电脑 Hackintosh 黑苹果efi引导文件
    原文来源于黑果魏叔官网,转载需注明出处。硬件型号驱动情况主板联想-IdeaPad-Y530处理器Intel酷睿2双核T9400已驱动内存2GB已驱动硬盘2TBHPEX950PCI-EGen3x4NVMeSSD......
  • Hive中行列转换具体实现及应用
    1、工作应用场景统计得到每个小时的UV、PV、IP的个数,构建如下表结构:   但是表中数据的存储格式不利于直接查询展示,需要进行调整:(以时间分区,去重、聚合等……对结果......
  • IDEA-docker
    前置动作:安装好docker,拉取了java镜像(java:8u111-jdk或java:latest)开发好jar形式的应用,定义好serverport,假设为8080IDEA配置(参考《丝滑的打包部署,一套带走》):新建Do......
  • Windows安装Maven
    windows安装Maven首先需要去官网下载相应的文件,解压之后将maven\bin路径添加进自己电脑的环境变量中。使用nvm-v命令查看是否安装成功。修改配置信息打开conf/sett......
  • docker搭建maven私服(nexus3),整合springboot上传下载依赖
    一、前言我们在JavaWeb开发中必不可少的就是jar包管理-maven,在没有maven之前,都是自己手动下载jar包导入到项目中,非常的繁琐。maven出现之后,又迎来新的问题,对于仓库里人家......
  • Hive的4种排序
    1、全局排序(Orderby) 功能:全局排序,只有1个reducer(用1个ReduceTask完成全局排序,与设置的ReduceTask个数无关)参数:ASC:升序(默认)DESC:降序使用:orderby放在select语......
  • IDEA常用的插件集合
    一、ChineseLanguagePack介绍:中文语言包将为您的IntelliJIDEA、AppCode、CLion、DataGrip、GoLand、PyCharm、PhpStorm、RubyMine、WebStorm带来完全中文化的界面。......
  • IPIDEA教你怎么选择适合TikTok的代理IP?
    要说到现在最火的自媒体平台,不得不提的就是短视频流量霸主TikTok,无论是国内版的抖音,还是国际版的TikTok,都是新一代年轻人中的流行趋势。不管是个体还是企业,都希望能抓住Ti......
  • IDEA安装教程
    一、IDEAIDEA全称IntelliJIDEA,是java编程语言开发的集成环境。二、IDEA下载下载链接:https://www.jetbrains.com/idea/。两个版本,选左边这个,免费使用30天,可以用插件在到......