首页 > 数据库 >SparkSQL 操作Hive In Java

SparkSQL 操作Hive In Java

时间:2024-01-15 12:34:57浏览次数:38  
标签:Java hive SparkSQL mysql apache Hive

本文的前提条件: SparkSQL in Java

1.增加POM依赖

        <dependency>
            <groupId>com.mysql</groupId>
            <artifactId>mysql-connector-j</artifactId>
            <version>8.0.33</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_2.13</artifactId>
            <version>3.5.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>3.1.3</version>
        </dependency>

2.将Hive的配置文件hive-site.xml放置在项目的资源目录下【略】

3.

标签:Java,hive,SparkSQL,mysql,apache,Hive
From: https://www.cnblogs.com/fanqisoft/p/17965119

相关文章

  • 【JaveWeb教程】(2)Web前端基础:JavaScript入门不再难:一篇文章教你轻松搞定JavaScript的
    目录1介绍2引入方式3基础语法3.1书写语法3.2变量3.3数据类型和运算符4函数4.1第一种定义格式4.2第二种定义格式html完成了架子,css做了美化,但是网页是死的,我们需要给他注入灵魂,所以接下来我们需要学习JavaScript,这门语言会让我们的页面能够和用户进行交互。1介绍通过代......
  • SparkSQL 操作Hive
    Spark中本身内置了Hive,但一般用于测试,生产环境中需要连接外置的Hive1.将Hive的配置文件hive-site.xml拷贝到Spark的配置目录下cp/usr/hive/apache-hive-3.1.3-bin/conf/hive-site.xml/usr/spark/spark-3.5.0-bin-hadoop3/conf2.将MysqlJDBC驱动放置在Spark的jars目录下1.......
  • SpringBoot 2.x 正式停更了。Java 8 就看 Solon 的了!
    最近有好多个新闻说:SpringBoot2.x正式停更了,Java8怎么办?当然用Solon喽!Solon,同时支持jdk8,jdk11,jdk17,jdk21。也支持graalvmnativeimage。既支持java8,也支持java21的:@SolonMainpublicclassApp{publicstaticvoidmain(String[]args){Sol......
  • 安装 Java 开发工具包(JDK)
    在线安装在CentOS上安装JDK打开终端,并使用root或具有管理员权限的用户登录。更新系统软件包列表,确保使用最新的软件包版本:sudoyumupdate安装JDK的依赖包:sudoyuminstalljava-1.8.0-openjdk-devel请注意,此处安装的是OpenJDK8版本的JDK。如果你需要安......
  • Java学习路线
    本套视频教程所有配套资料领取方式如下:方式1:访问黑马官网可下载:www.itheima.com?bz方式2:关注黑马程序员公众号,回复关键词:领取资源02学习+Q群625260577,告别孤单,共同进步!2024黑马程序员Java学习路线图如何下载资料Java最高效学习路线图(依次向下顺序学习即可)Java基础:Java入门基础视......
  • JavaScript采集各大电商平台关于预制菜酸菜鱼销售量
    因为我喜欢吃酸菜鱼,但是自己弄又弄不来,想从网上找找看看,但是种类多,自己逐个选择又太浪费时间。索性利用自己专业爬虫知识,一边检验我最近代码水平,另一方面还能选择到满意的年货。过去写个各大平台预制菜酸菜鱼销量的爬虫代码,自动化分析各大平台消费情况,选择最畅销的,准备年货。首先,我......
  • java8并行处理能力
    java8并行处理能力当使用Java8的StreamAPI进行并行处理时,可以通过调用parallel()方法将流转换为并行流。下面是一些示例代码,展示了如何使用Java8的并行处理能力:并行处理集合元素求和:List<Integer>numbers=Arrays.asList(1,2,3,4,5,6,7,8,9,10);intsu......
  • Java 使用 数组实现 动态数组
    前述数组是各编程语言中最为基础的一个数据结构,在Java语言中,平时使用也很多,同时,JDK提供了动态数组的实现,ArrayList,这里我使用数组来实现一下动态数组,参考实现importjava.util.function.Consumer;/***使用数组实现动态数组ArrayList*/publicclassDynamicArray......
  • 「Java开发指南」MyEclipse如何支持Spring Scaffolding?(一)
    MyEclipsev2023.1.2离线版下载MyEclipse技术交流群:742336981欢迎一起进群讨论1.使用Spring的Scaffolding应用程序支持Spring的MyEclipse目标之一是帮助开发人员从零开始编写更少的代码,并更广泛地使用代码生成,MyEclipse提供了丰富的代码生成选项集。MyEclipse可以为SpringMV......
  • Java基础
    Java基础一、注释//1、单行注释//我是单行注释//2、多行注释/*我是多行注释*///3、文档注释/***@Description我是文档注释*@Author作者*///4、有趣的注释/****_ooOoo_*o8888888o*88......