首页 > 其他分享 >Hadoop集群的webUI监控界面设置Simple安全机制

Hadoop集群的webUI监控界面设置Simple安全机制

时间:2022-09-26 14:45:21浏览次数:74  
标签:http Simple secret hadoop auth Hadoop authentication webUI signature

问题:

​ hive集群配置完成,web监控界面的8808和8042和10002端口不需用户验证即可访问,对生产环境是不容许的,需要加上安全机制。

方案:

1. 修改hadop配置

1.修改core-site.xml,增加如下内容,配置完成后拷贝到其他节点上。

<property>
  <name>hadoop.http.filter.initializers</name>
  <value>org.apache.hadoop.security.AuthenticationFilterInitializer</value>
</property>
 
<!-- 配置Simple类型的安全机制 -->
<property>
  <name>hadoop.http.authentication.type</name>
  <value>simple</value>
</property>
 
<!-- 响应时间 3600s -->
<property>
  <name>hadoop.http.authentication.token.validity</name>
  <value>3600</value>
</property>
 
<!-- webUI页面访问密码存放位置 -->
<property>
  <name>hadoop.http.authentication.signature.secret.file</name>
  <value>/home/hadoop/hadoop-http-auth-signature-secret</value>
</property>
 
<!--此处设置为空值-->
<property>
  <name>hadoop.http.authentication.cookie.domain</name>
  <value></value>
</property>
 
<!--在开启simple安全认证模式下,不允许匿名用户访问-->
<property>
  <name>hadoop.http.authentication.simple.anonymous.allowed</name>
  <value>false</value>
</property>

2、在上述配置的目录/home/hadoop/下生成文件hadoop-http-auth-signature-secret,拷贝到其他节点上。

// 此处输入自定义的webUI访问密码 ,此处设置密码为'hadoop'
echo "hadoop" > hadoop-http-auth-signature-secret

3、重启集群环境,通过正常方式(http://ip:50070/)访问web页面会报错。

HTTP ERROR 401
Problem accessing /dfshealth.jsp. Reason:

org.apache.hadoop.security.authentication.client.AuthenticationException: Anonymous requests are disallowed

4、使用正常登录方式访问webUI出现上述错误,证明Simple安全机制已启动,因此需要改变访问方式:

// 其中“hadoop“为刚才写入hadoop-http-auth-signature-secret文件的自定义密码

http://ip:50070/?user.name=hadoop

再次登录发现,可以正常访问

遗留

*此处有一个bug,就是第一次登陆的时候需输入自定义密码,后面二次登陆的时候,输入密码需要不同于第一次输入的密码方可登陆*

2. 修改hive配置

(https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties#ConfigurationProperties-HiveServer2WebUI)

HiveServer2 Web UI 将侦听的端口。设置为 0 或负数以禁用 HiveServer2 Web UI 功能。

标签:http,Simple,secret,hadoop,auth,Hadoop,authentication,webUI,signature
From: https://www.cnblogs.com/nwnusun/p/16730909.html

相关文章

  • 2.门面Slf4j+Simple简单实现
    1.导入pom文件<!--slf4jcore使用slf4j必須添加--><dependency><groupId>org.slf4j</groupId><artifactId>slf4j-api</artifactId><version>1.7.27</ver......
  • 使用hbase时报错ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is ini
    ERROR:org.apache.hadoop.hbase.PleaseHoldException:Masterisinitializingatorg.apache.hadoop.hbase.master.HMaster.checkInitialized(HMaster.java:2829)ator......
  • ABC 270 C - Simple path(树+dfs)
    第一次写出比较正经的树+dfs,这不得写篇博客题目大意:给定一棵树,具有n个节点,给定n-1条边,给定一个起点和终点,让我们输出从起点到终点的路径。SampleInput1Copy5......
  • 【云原生】Hadoop on k8s 环境部署
    目录一、概述二、开始部署1)添加源2)构建镜像Dockerfile2)修改配置3)开始安装5)测试验证6)卸载一、概述Hadoop是Apache软件基金会下一个开源分布式计算平台,以HDFS(HadoopDist......
  • HADOOP的几个版本
    一、流行的Hadoop版本(1)ApacheHadoop(2)Cloudera(Cloudera’sDistributionIncludingApacheHadoop,简称CDH),普遍选择此产品。(3)Hortonworks(HortonworksDataPlat......
  • 关于 SAP UI5 SimpleForm 控件里的 ColumnsL 和 labelSpanXL 的测试
    测试情况罗列如下:label和columns为1:1的情况下:结果:Label改为2:此时第三行的Label,ZIPCode/City终于可以显示完全了:进一步扩大Label值为3:1如果是3:3......
  • hadoop-zookeeper框架
    zookeeper协调机制选举leader多个flower客户端服务器特点半数以上数据一致性在有限时间范围内,执行顺序同步于发送顺序文件结构类unix树状每一个结点既是文件夹......
  • SAP UI5 SimpleForm 控件的 adjustLabelSpan 属性
    我们在SAPUI5应用开发时,在XML视图里使用SimpleForm控件,会定义其adjustLabelSpan属性。如果设置,labelSpanL和labelSpanM的使用取决于一行中FormContainer的......
  • hadoop集群搭建
    1.先建立一台虚拟机,分配内存2G,硬盘20G,网络为nat 模式,设置一个静态的ip 地址: 例如设定3台机器的ip 为192.168.63.167(master)  192.16863.168(slave1) 192.168.6......
  • 05. 《大数据架构师5期》—企业级Hadoop源码二次开发(5)_ev
      双缓冲方案  写入本地是第一个实现,写入远程jounalnode是第二个实现   ......