作者：谢敏灵/辉少
1
文档编写目的
在Kerberos环境中，我们的应用程序通过Java代码来提交任务需要先进行Kerberos凭证的初始化然后进行应用程序的提交，本文档主要讲述Java应用程序长时间运行作业Kerberos不自动重新认证问题
- 测试环境
1.CM和CDH版本为5.15.1
2.操作系统版本为RedHat7.2
3.集群已启用Kerberos
2
问题描述
在使用JDK 8时，在Kerberos环境下应用程序在执行的过程中报以下错误：
Failed on local exception: java.io.IOException: javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]
3
问题分析
在Kerberos环境下长时间运行的作业会出现认证失败问题，认证失败是由于Ticket过期导致。Ticket过期是由ticket_lifetime和renew_lifetime两个参数控制，具体分析如下：
先了解下krb5.conf里ticket_lifetime和renew_lifetime参数：
ticket_lifetime = 24h
renew_lifetime = 7d
注：这里其实还跟kdc.conf里的ticket_lifetime和renew_lifetime相关，本文不做讨论，假设你配置都是一致的。
每一个Kerberos的ticket，包括TGT，都有一个ticket_lifetime（默认：1天）；Ticket可以被延续，但最多只能延续到renew_lifetime（默认：7天），超过7天后无法再延续，此时ticket失效，只能重新login。
如果你的应用程序需要运行很长时间或者需要持续不断地一直运行，就会有一个问题，即：
在应用程序启动时进行Kerberos认证登录后，是否还需要定时renew ticket或在ticket期满失效后使用keytab重新login？例如，是否需要在应用程序代码里，在每个UGI.doAS(...)前调用UGI.checkTGTAndReloginFromKeytab或者使用一个Timer周期性地调用UGI.checkTGTAndReloginFromKeytab？
关于这个问题，首先需要了解在Hadoop系统里是如何进行Kerberos认证的：
Hadoop Kerberos认证的主要使用场景是Hadoop RPC框架（使用SASL进行kerberos认证）。大部分Hadoop daemon进程在启动时会调用UGI(org.apache.hadoop.security.UserGroupInformation)，UGI.loginUserFromKeytab做kerberos认证并获取ticket，并在后续每一次RPC调用时使用该ticket认证。比如，DataNode必须认证它对NameNode的RPC调用，NodeManager也必须认证它对ResourceManager的RPC调用。那么，这些daemon进程为什么能在启动后长时间持续运行而不会出现kerberos ticket错误呢（甚至已经超过了renew_lifetime）？这是因为Hadoop在RPC Client层实现了一种自动relogin机制。在Client.handleSaslConnectionFailure(org.apache.hadoop.ipc.Client)方法里有如下代码：
// try re-login
if (UserGroupInformation.isLoginKeytabBased()) {
UserGroupInformation.getLoginUser().reloginFromKeytab();
} else if (UserGroupInformation.isLoginTicketBased()) {
UserGroupInformation.getLoginUser().reloginFromTicketCache();
}
上述代码说明在使用RPC连接时，如果因为ticket失效造成认证失败，会自动relogin。
基于以上认识，可以得出以下结论：
1．如果应用程序的使用模式是从keytab登录后执行典型的Hadoop RPC Java调用（如调用HDFS FileSystem API），那么是不需要在应用层增加renew ticket或relogin代码的，因为RPC Client层已经帮你实现了。
2．如果应用程序的使用模式是不使用Hadoop RPC，而是调用HDFS REST API或YARN REST API（使用SPNEGO进行kerberos认证），那么需要在应用程序里增加relogin代码。具体实现方式是：
Java方式：主Java程序使用keytab调用UGI.loginUserFromKeytab登录，然后在每个UGI.doAS前调用UGI.checkTGTAndReloginFromKeytab方法，或者另启动一个线程周期性调用该方法。
Shell方式：主程序使用kinit登录，然后启动另一个子进程周期性的调用kinit -R去renew ticket或者调用kinit -kt去relogin。
需要注意的是当使用JDK 8时，UGI的relogin存在一个bug，即HADOOP-10786。该bug是因为JDK 8的Krb5LoginModule有些小改动，这些改动会造成UGI的relogin代码认为之前的登录并不是基于keytab登录的。所以，UGI.reloginFromKeytab和UGI.checkTGTAndReloginFromKeytab方法实际上什么都没有做，并没有执行relogin。所以，此时应用程序仍然会报以下错误：
Failed on local exception: java.io.IOException: javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]
4
解决办法
对于使用JDK 8应用程序不能正常reloginFromKeytab的 bug，workaround是：
1. 使用JDK 7而不是JDK 8，或者
2. 确保hadoop-common包含了HADOOP-10786补丁。
建议使用CDH5.13.0或者以上版本的包，这些包已经包括了该补丁。如果仍然在IDE开发环境出现了以上问题，可以检查一下IDE依赖的hadoop-common包的版本是否有问题。
参考文档：
https://issues.apache.org/jira/browse/HADOOP-10786