首页 > 其他分享 >0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala

时间:2022-10-04 11:33:20浏览次数:91  
标签:krb5 Data com Kerberos Aqua Hive Studio Impala

作者:冯庆煜

1.文档编写目的




Aqua Data Studio是一款完整IDE的数据库开发工具,它提供3种主要功能:数据查询与管理工具。比对数据工具与源控制和文件系统的整合工具。帮助你创建,编辑和执行 SQL 的管理工具脚本编写,以及浏览和修改数据库组织。对所有主要关系的数据库提供一个一致的界面。这准许数据库主管或者开发者从一个应用程序同时地处理多个的任务。本篇文章主要介绍如何安装 Aqua Data Studio及访问安全环境下的Hive和Impala。


  • 测试环境

1.CM和CDH版本为6.3.4

2.RedHat 7.6

3.集群已启用 Kerberos

4.OpenLADP 2.4.44-23.el7_9

5.Aqua Data Studio版本18.0.19

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_jar


2.安装kerberos Windows客户端




1.下载Kerberos客户端


http://web.mit.edu/kerberos/dist/#kfw-4.1


0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_jar_02


2.安装Kerberos客户端

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_hive_03

一直下一步,选“Typical”,“No”

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_hive_04



3.配置环境变量

安装完了Kerberos客户端会自动的在path里面加上了自己的目录,但是如果windows本地安装了Oracle JDK ,该JDK里面也带了一些 kinit, klist 等命令,所以需要把 Kberberos的环境变量调整得靠前一点,如图所示:

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_hive_05


打开cmd或者powershell,如果是下图则为正确。

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_hive_06



4.配置客户端的hosts解析,确保通过hostname能够正常访问集群

文件路径:C:\Windows\System32\drivers\etc\hosts


5.修改krb5.ini配置信息,内容如下:

文件路径:C:\ProgramData\MIT\Kerberos5\krb5.ini

将Kerberos KDC所在主机的/etc/krb5.conf文件有选择的粘贴到windows的krb5.ini里面

[libdefaults]
dns_lookup_realm = false
ticket_lifetime = 24h
renew_lifetime = 7d
forwardable = true
rdns = false
default_realm = MACRO.COM

[realms]
MACRO.COM = {
kdc = hadoop99.macro.com
admin_server = hadoop99.macro.com
}

[domain_realm]
.macro.com = MACRO.COM
macro.com = MACRO.COM


6.修改浏览器配置,使浏览器可以访问启用Kerberos认证的web界面

目前只实现如何配置火狐Firefox浏览器,在火狐浏览器上访问Hadoop的Web UI。

谷歌+ mac-os-x参考:

​https://superuser.com/questions/488095/google-chrome-on-mac-os-x-with-kerberos​

打开浏览器,在地址栏输入about:config,如图所示:

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_java_07


点击我了解此风险继续,在搜索栏内,搜索network.negotiate-auth.trusted-uris,双击将其值修改为集群节点ip或主机名,注意:这里如果修改为主机名的话,到时候访问的话,就以主机名访问,ip的话会失效,不起作用。

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_java_08


搜索network.auth.use-sspi,将值改为false。

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_java_09



3.Kerberos认证




用cmd或者powershell,登录kerberos账号,生成ticket cache。

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_java_10

kinit -c C:\Users\feng8\krb5cc_feng userkrb


其中krb5cc_feng后面的feng是当前系统的用户名,如果没改,默认是krb5cc_administrator

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_hive_11

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_jar_12


4.Aqua Data Studio配置JDBC驱动




更换驱动前,关闭Aqua Data Studio。ADS随附了Apache Hive JDBC驱动程序的1.0.1版。这四个Apache Hive JDBC驱动程序文件位于以下位置:

其中 [ADS_INSTALL] 是Aqua Data Studio的安装目录

[ADS_INSTALL]\lib\drivers\hive-exec.jar 
[ADS_INSTALL]\lib\drivers\hive-jdbc.jar
[ADS_INSTALL]\lib\drivers\hive-metastore.jar
[ADS_INSTALL]\lib\drivers\hive-service.jar


上面对应4个jar包删除或移除到其他文件夹备份

注意:重命名是无效的,您必须删除这些文件或将它们移到[ADS_INSTALL]之外的目录中

(对于使用Impala和HiveServer2的用户)需要

TCLIServiceClient.jar
ImpalaJDBC41.jar
HiveJDBC41.jar
hive_service.jar
hive_metastore.jar


其中CDP中位置/opt/cloudera/parcels/CDH-6.3.4-1.cdh6.3.4.p0.6626826/jars有hive_service.jar、hive_metastore.jar

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_hive_13


5.替换不限制jce的JRE安全文件




下载地址:



http://www.oracle.com/technetwork/java/javase/downloads/jce-7-download-432124.html

替换目录:

D:\Aqua Data Studio 18.0 - 64bit\jre\lib\security

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_hive_14


6.配置datastudio.ini运行参数




将以下JVM参数添加到Windows的Aqua Data Studio datastudio.ini文件

vmarg.5=-Dsun.security.krb5.debug=true
vmarg.6=-Dsun.security.jgss.debug=true
vmarg.7=-Djava.security.krb5.realm=MACRO.COM
vmarg.8=-Djava.security.krb5.kdc=hadoop99.macro.com
vmarg.9=-Djava.security.krb5.conf=C:\ProgramData\MIT\Kerberos5\krb5.ini
vmarg.10=-Djava.security.auth.login.config= C:\ProgramData\MIT\Kerberos5\jaas.conf
vmarg.11=-Djavax.security.auth.useSubjectCredsOnly=false


0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_hive_15


7.配置jaas.conf配置文件




根据您的发行版,创建一个名为jaas.conf的文件,其内容指定如下。该文件应该位于为Java属性-Djava.security.auth.login.config指定的同一目录中。  

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_jar_16


8.启动连接测试




直接打开

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_java_17

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_jar_18

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_jar_19


点击测试连接

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_java_20

成功后,点保存即可。


8.1测试 hive

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_hive_21

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_hive_22


8.2测试 impala

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_hive_23


9.Debug模式




工具提供了debug启动方式,不同在于可以看到kerberos的调试信息,用于连接失败时可以排查问题。

如果需要debug,需要修改datastudio-bundled.bat启动脚本

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_hive_24


0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_hive_25

注意:这些参数都在一行内,不能换行。

双击打开(前提是要修改了kerberos启动参数)


0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_jar_26


测试连接时,会打印kerberos的连接信息

例如:登录,报错

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_java_27

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_jar_28


经排查,是时间不对,应该是服务器端ntp和客户端时间对应不上,结果一查,结果是服务器端时间慢半小时。停掉ntp服务,更新时间,再启动服务。然后就正常了

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_jar_29

0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala_hive_30


10.参考文档




驱动

https://www.aquaclusters.com/app/home/project/public/aquadatastudio/wikibook/Documentation17/page/Apache-Hive-JDBC-Drivers/Apache-Hive-JDBC-Drivers


Kerberos

http://www.aquaclusters.com/app/home/project/public/aquadatastudio/wikibook/Documentation18/page/Kerberos-Configuration/Kerberos-Configuration
https://cloud.tencent.com/developer/article/1380570


oracle jdk bug: 

https://bugzilla.redhat.com/show_bug.cgi?id=1243337


无限制256位加密包下载地址:

http://www.oracle.com/technetwork/java/javase/downloads/jce-7-download-432124.html


unsupported key type found the default TGT: 18


kerberos报错:Clock skew too great(37)

标签:krb5,Data,com,Kerberos,Aqua,Hive,Studio,Impala
From: https://blog.51cto.com/u_14049791/5731150

相关文章