ThriftServer
- 功能:类似于HiveServer2,负责解析客户端提交的SQL语句,转换成Spark的任务进行执行
- 本质:Spark中的一个特殊的程序,利用程序的资源运行所有SQL,该程序除非手动关闭,否则一直运行
启动服务,该服务不会停止,一直在后台启动,假如启动不了,记得查看日志。
/opt/installs/spark/sbin/start-thriftserver.sh \
--hiveconf hive.server2.thrift.port=10001 \
--hiveconf hive.server2.thrift.bind.host=bigdata01 \
--master yarn \
--conf spark.sql.shuffle.partitions=2
sparksql与hive是同步的
停止thiftServer:
/opt/installs/spark/sbin/stop-thriftserver.sh
使用beeline也可以连接:
/opt/installs/spark/bin/beeline -u jdbc:hive2://bigdata01:10001 -n root -p 123456
遇到的问题:hive中的数据库和sparksql 操作的数据库不是同一个。
解决方案:在hive 下修改hive-site.xml
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
将hive-site.xml 复制到 spark的conf 下
cp /opt/installs/hive/conf/hive-site.xml /opt/installs/spark/conf
修改spark下的hive-site.xml
<property>
<name>hive.server2.thrift.port</name>
<value>10001</value>
<description>Port number of HiveServer2 Thrift interface when hive.server2.transport.mode is 'binary'.</description>
</property>
接着分发一下:
xsync.sh /opt/installs/spark/conf/hive-site.xml
重启thrift服务:
/opt/installs/spark/sbin/stop-thriftserver.sh
/opt/installs/spark/sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10001 --hiveconf hive.server2.thrift.bind.host=bigdata01 --master yarn --conf spark.sql.shuffle.partitions=2
使用datagrip 重新连接一下,记得刷新一下连接。
标签:opt,DataGrip,--,hive,installs,SparkSQL,spark,thrift From: https://blog.csdn.net/weixin_64860388/article/details/143577726