首页 > 数据库 >《SparkSQL--通过ThriftServer连接DataGrip》

《SparkSQL--通过ThriftServer连接DataGrip》

时间:2024-11-06 19:16:23浏览次数:5  
标签:opt DataGrip -- hive installs SparkSQL spark thrift

ThriftServer

  • 功能:类似于HiveServer2,负责解析客户端提交的SQL语句,转换成Spark的任务进行执行
  • 本质:Spark中的一个特殊的程序,利用程序的资源运行所有SQL,该程序除非手动关闭,否则一直运行

 启动服务,该服务不会停止,一直在后台启动,假如启动不了,记得查看日志。

/opt/installs/spark/sbin/start-thriftserver.sh \
--hiveconf hive.server2.thrift.port=10001 \
--hiveconf hive.server2.thrift.bind.host=bigdata01 \
--master yarn \
--conf spark.sql.shuffle.partitions=2

sparksql与hive是同步的

停止thiftServer:

/opt/installs/spark/sbin/stop-thriftserver.sh 

使用beeline也可以连接:

/opt/installs/spark/bin/beeline -u jdbc:hive2://bigdata01:10001 -n root -p 123456

遇到的问题hive中的数据库和sparksql 操作的数据库不是同一个

解决方案:在hive 下修改hive-site.xml

<property>
		<name>hive.metastore.schema.verification</name>
		<value>false</value>
	</property>

将hive-site.xml 复制到 spark的conf 下

cp /opt/installs/hive/conf/hive-site.xml /opt/installs/spark/conf

修改spark下的hive-site.xml

<property>
		<name>hive.server2.thrift.port</name>
		<value>10001</value>
		<description>Port number of HiveServer2 Thrift interface when hive.server2.transport.mode is 'binary'.</description>
	  </property>

接着分发一下:

xsync.sh /opt/installs/spark/conf/hive-site.xml

重启thrift服务:

/opt/installs/spark/sbin/stop-thriftserver.sh

/opt/installs/spark/sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10001 --hiveconf hive.server2.thrift.bind.host=bigdata01 --master yarn --conf spark.sql.shuffle.partitions=2

使用datagrip 重新连接一下,记得刷新一下连接。

标签:opt,DataGrip,--,hive,installs,SparkSQL,spark,thrift
From: https://blog.csdn.net/weixin_64860388/article/details/143577726

相关文章

  • SparkSql读取数据的方式
    一、读取普通文件 方式一:给定读取数据源的类型和地址spark.read.format("json").load(path)spark.read.format("csv").load(path)spark.read.format("parquet").load(path)方式二:直接调用对应数据源类型的方法spark.read.json(path)spark.read.csv(path)spark.read.pa......
  • 极端天气下的目标检测与单目测距算法(毕业设计附代码)
    代码获取:代码本文主要工作:科技的发展与进步促使自动驾驶车辆逐渐成为全球汽车产业发展的重要战略方向。但自动驾驶车辆面对如:大雨、大雾、大雪等极端环境时,智能汽车图像采集与处理系统将面临巨大挑战。并且自动驾驶需要实时关注周围物体的威胁,实时进行目标检测以及精确......
  • 5.Java 数组(一维数组、二维数组、数组实例实操)
    一、数组1、基本介绍【数据类型】[]【数组名】=new【数据类型】[【长度】];【数据类型】[]【数组名】={【元素1】,【元素2】...};【数据类型】[]【数组名】=new【数据类型】[]{【元素1】,【元素2】...};数组中的元素可以是任何数据元素,包括基本类......
  • 来自蚂蚁数据研发一面的SQL面试题
    来自蚂蚁数据研发一面:有一张用户贷款信息表dwd_trd_loan_tb_dd,包含uid(用户id)、amt(贷款金额)、ovd_days(逾期天数)、dt(时间分区)以及逾期等级配置表dim_ovd_config_dd,包含ovd_days(逾期天数),user_level(用户风险等级)注意:示例如下,当ovd_days=1且user_level=1,表示用户逾期天数<=1时,用户......
  • 回溯算法
    一、什么是回溯算法回溯算法是一种经典的递归算法,通常用于解决组合问题、排列问题和搜索问题等。回溯算法的基本思想:从一个初始状态开始,按照一定的规则向前搜索,当搜索到某个状态无法前进时,回退到前一个状态,再按照其他的规则搜索。回溯算法在搜索过程中维护一个状态树,通过遍......
  • P1802 5 倍经验日: 动态规划
    5倍经验日题目背景现在乐斗有活动了!每打一个人可以获得5倍经验!absi2011却无奈的看着那一些比他等级高的好友,想着能否把他们干掉。干掉能拿不少经验的。题目描述现在absi2011拿出了$x$个迷你装药物(嗑药打人可耻…),准备开始与那些人打了。由于迷你装药物每个只能用一次,......
  • 嘲笑赛出题准则
    为了您能更快地出好一次mockcontest,请你遵守以下准则:四道题应该全部使用Subtask捆绑测试。如有必要,使用子任务依赖子任务。题意描述要尽可能含糊。它不应是能被人在短时间内理解的只有它能理解无论任何时候,请不要给出样例解释。必须有大样例,但是可以每道题只有一个大样......
  • Context的典型使用场景
    获取应用文件路径基类Context提供了获取应用文件路径的能力,ApplicationContext、AbilityStageContext、UIAbilityContext和ExtensionContext均继承该能力。应用文件路径属于应用沙箱路径,上述各类Context获取的应用文件路径有所不同。通过ApplicationContext获取应用级别的应用文......
  • c语言中声明数组时, 元素个数必须使用常量表达式
     001、[root@PC1test]#lstest.c[root@PC1test]#cattest.c##测试程序#include<stdio.h>intmain(void){intvar1=5;//初始化一个变量var1intarray1[var1]={3,5,8,4,9};//初始化数组return0;}[......
  • CF的背包DP (备用笔记)
    源自vjudge上找到题目,都是背包DP的变式------(推荐点点前两个字......