首页 > 其他分享 >0468-如何使用DBeaver访问Kerberos环境下的Hive

0468-如何使用DBeaver访问Kerberos环境下的Hive

时间:2022-10-04 11:34:58浏览次数:85  
标签:krb5 JDBC Kerberos DBeaver Hive 驱动

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。


Fayson的github:

​https://github.com/fayson/cdhproject​


提示:代码块部分可以左右滑动查看噢


1

文章编写目的


在前面Fayson的文章《​​Hadoop SQL客户端工具之Dbeaver安装及使用​​》介绍了DBeaver的安装以及访问非Kerberos环境下的Hive。本篇文章Fayson主要介绍如何使用DBeaver访问Kerberos环境下的Hive。


  • 测试环境

1.RedHat7.2

2.CM和CDH版本为5.15.0

3.Window Server 2012R2


2

安装Kerberos客户端


1.在Kerberos官网下载,地址如下


https://web.mit.edu/kerberos/dist/index.html


0468-如何使用DBeaver访问Kerberos环境下的Hive_cloudera


安装过程这里就不在详细说明了。


2.将CDH集群的/etc/krb5.conf文件,在Window客户端如下目录创建krb5.ini文件,内容如下:



“C:\ProgramData\MIT\Kerberos5\krb5.ini”


[libdefaults]
dns_lookup_realm = false
ticket_lifetime = 24h
renew_lifetime = 7d
forwardable = true
rdns = true
default_realm = FAYSON.COM
#default_ccache_name = KEYRING:persistent:%{uid}

[realms]
FAYSON.COM = {
kdc = adserver.fayson.com
admin_server = adserver.fayson.com
}

[domain_realm]
.fayson.com = FAYSON.COM
fayson.com = FAYSON.COM


0468-如何使用DBeaver访问Kerberos环境下的Hive_hadoop_02


3.配置环境变量,krb5.ini文件以及Kerberos Credential Cache File的路径


变量名:KRB5_CONFIG,变量值:C:\ProgramData\MIT\Kerberos5\krb5.ini

变量名:KRB5CCNAME,变量值:C:\temp\krb5cache


0468-如何使用DBeaver访问Kerberos环境下的Hive_hadoop_03


注意:KRB5CCNAME的路径默认是不存在的,因此需要在C盘下创建temp文件夹,krb5cache文件则不需要创建。

配置完环境变量后,重启计算机使其生效。


4.完成以上配置后,在Window客户端测试是否能够正常kinit


0468-如何使用DBeaver访问Kerberos环境下的Hive_cloudera_04


Kinit成功后


0468-如何使用DBeaver访问Kerberos环境下的Hive_hadoop_05


3

修改DBeaver配置


因为DBeaver通过JDBC的方式访问Hive,底层也是基于Java环境,所以这里需要在DBeaver的配置中增加JVM的参数,主要添加关于Kerberos相关的配置。


1.进入DBeaver的安装目录,找到dbeaver.ini配置文件,在配置文件末尾增加如下配置:


-Djavax.security.auth.useSubjectCredsOnly=false
-Djava.security.krb5.conf="C:\ProgramData\MIT\Kerberos5\krb5.ini"
-Dsun.security.krb5.debug=true


0468-如何使用DBeaver访问Kerberos环境下的Hive_hadoop_06


2.重新启动DBeaver客户端


0468-如何使用DBeaver访问Kerberos环境下的Hive_hive_07


4

基于Hive原生驱动创建连接


Hive原生驱动的获取方式在《​​0459-如何使用SQuirreL通过JDBC连接CDH的Hive(方式一)​​》文章中有说明使用Maven的方式获取Hive JDBC驱动,这里就不过多的再说明了。


1.在DBeaver上创建 Apache Hive的JDBC连接


0468-如何使用DBeaver访问Kerberos环境下的Hive_hadoop_08


2.编辑驱动设置,由于是Kerberos方式访问,在URL模板中增加


/;principal=hive/{host}@FAYSON.COM


0468-如何使用DBeaver访问Kerberos环境下的Hive_hadoop_09


添加JDBC驱动及依赖包,使用“找到类”查找驱动包中JDBC驱动类


0468-如何使用DBeaver访问Kerberos环境下的Hive_hive_10


3.完成驱动编辑后,点击确定即可


0468-如何使用DBeaver访问Kerberos环境下的Hive_hadoop_11


4.点击“测试连接”进行JDBC连接测试


0468-如何使用DBeaver访问Kerberos环境下的Hive_cloudera_12


5.进行访问显示如下


0468-如何使用DBeaver访问Kerberos环境下的Hive_hadoop_13


5

基于Cloudera驱动创建连接


Cloudera官网提供的JDBC驱动包比较简单只有一个jar包,Hive JDBC驱动包及其依赖包均打包在里面,但在JDBC URL的访问方式上也做了一定的调整。可能是为了兼容访问Impala而做,具体访问方式如下:


1.进入驱动设置界面,在URL模板中增加如下参数


;AuthMech=1;KrbRealm=FAYSON.COM;KrbHostFQDN={host};KrbServiceName=hive;KrbAuthType=2


0468-如何使用DBeaver访问Kerberos环境下的Hive_hadoop_14


添加Cloudera提供的Hive JDBC驱动


0468-如何使用DBeaver访问Kerberos环境下的Hive_cloudera_15


2.点击“确定”完成驱动设置,填写主机地址


0468-如何使用DBeaver访问Kerberos环境下的Hive_cloudera_16


3.点击“测试连接”


0468-如何使用DBeaver访问Kerberos环境下的Hive_hive_17


4.完成连接创建后即可正常访问Kerberos环境下的Hive库


0468-如何使用DBeaver访问Kerberos环境下的Hive_hive_18


6

总结


1.使用Hive原生JDBC驱动时,需要增加Hadoop相关的依赖包,否则会报版本啊什么的异常。


0468-如何使用DBeaver访问Kerberos环境下的Hive_cloudera_19


2.注意在使用Cloudera提供的Hive驱动包访问Kerberos环境下的Hive时注意JDBC URL地址配置方式。


3.Cloudera提供的Hive JDBC驱动与Hive原生的驱动类有些区别,驱动类需要指定为“com.cloudera.hive.jdbc41.HS2Driver”。使用Cloudera提供的驱动包不需要考虑驱动包依赖的问题,默认的将Hive驱动所依赖的包都打包在里面。


4.特别强调在Window机器上配置Kerberos客户端时,需要配置KRB5_CONF和KRB5CCNAME两个环境变量,否则在使用访问时会报“Unable to obtain Principal Name for authentication”



提示:代码块部分可以左右滑动查看噢


为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。


推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

0468-如何使用DBeaver访问Kerberos环境下的Hive_hive_20

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操



标签:krb5,JDBC,Kerberos,DBeaver,Hive,驱动
From: https://blog.51cto.com/u_14049791/5731141

相关文章

  • 0841-7.1.6-Aqua Data Studio工具安装及访问安全环境的Hive和Impala
    作者:冯庆煜1.文档编写目的AquaDataStudio是一款完整IDE的数据库开发工具,它提供3种主要功能:数据查询与管理工具。比对数据工具与源控制和文件系统的整合工具。帮助你创建,编......
  • 0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala
    作者:冯庆煜1.文档编写目的AquaDataStudio是一款完整IDE的数据库开发工具,它提供3种主要功能:数据查询与管理工具。比对数据工具与源控制和文件系统的整合工具。帮助你创建,编......
  • 0816-CDP Hive3升级说明
    文档编写目的CDH5中的Hive版本是1.1,而CDP7中的Hive版本为3。Hive3相对Hive1更新特别多,比如支持全新的ACIDv2机制,并且底层使用Tez和内存进行查询,相比MR的方式性能提升超过10......
  • 0869-7.1.7-如何在CDP中使用Hive Bulkload批量导入数据到HBase
    1.文档编写目的在遇到将Hive中的数据同步到HBase时,一般都是通过在Hive中创建映射HBase的表,然后通过insert的方式来实现,在数据量小的时候,往往还能接受,但是如果是大批量数据,除......
  • 0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用
    1.文档编写目的在CDP集群中启用了Kerberos认证,那么Kafka集群能否与Kerberos认证服务集成呢?本文主要讲述如何通过ClouderaManager为Kafka集群启用Kerberos认证及客户端配置......
  • Hive 时间相关函数汇总
    Hive时间相关函数汇总文章目录​​Hive时间相关函数汇总​​​​时间转换​​​​**from_unixtime/unix_timestamp**​​​​日期格式相互转换​​​​时间戳转日期格式​......
  • 【云原生】Hive on k8s 环境部署
    目录一、概述二、开始部署1)构建镜像2)添加Metastore服务编排1、配置2、控制器3、Service3)添加HiveServer2服务编排1、控制器2、Service4)修改values.yaml5)开始部署6)测试......
  • hive与hbase的区别
    1、基本定义Hive是基于Hadoop的数据仓库工具:可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。Hive是一种......
  • 【Linux】Unable to fetch some archives, maybe run apt-get update or try with --f
    一、问题描述在aptinstall时候遇到E:Unabletofetchsomearchives,mayberunapt-getupdateortrywith--fix-missing?的error。Error报的信息显示是这个包向so......
  • 使用msck修复hive分区时报错Unexpected partition key hour found at
    报错内容如下:2022-09-29T10:19:39,785ERROR[be6bd8ac-4a04-4f23-ac2a-540949dea68amain]metadata.HiveMetaStoreChecker:org.apache.hadoop.hive.ql.metadata.HiveExce......