首页 > 其他分享 >如何在Azkaban中安装HDFS插件以及与CDH集成

如何在Azkaban中安装HDFS插件以及与CDH集成

时间:2022-10-19 14:00:29浏览次数:82  
标签:HDFS 插件 21 hdfs viewer CDH azkaban web root

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。


Fayson的github:https://github.com/fayson/cdhproject


提示:代码块部分可以左右滑动查看噢


1.文档编写目的




前面Fayson介绍了《​​如何编译安装Azkaban服务​​​》和《​​如何编译Azkaban插件​​》,本篇文章主要介绍如何在Azkaban中安装HDFS插件以及与CDH集群集成。


  • 内容概述

1.环境准备

2.安装HDFS插件

3.插件功能验证


  • 测试环境

1.Redhat7.2

2.使用root用户操作

3.Azkaban版本为3.43.0


2.环境准备




1.配置Hadoop环境变量,在/etc/profile文件末尾增加如下配置:


export HADOOP_HOME=/opt/cloudera/parcels/CDH
export HADOOP_CONF_DIR=/etc/hadoop/conf.cloudera.yarn

(可左右滑动)


如何在Azkaban中安装HDFS插件以及与CDH集成_hdfs

执行命令source /etc/profile命令使其立即生效,建议退出终端重新登录,否则会在启动Azkaban Web服务找不到HADOOP_HOME问题。


2.由于CDH集群启用了Kerberos,安装HDFS插件需要使用到Kerberos账号

在KDC中创建一个azkaban/[email protected] 的用户,使用命令导出该用户的keytab文件放在/opt/cloudera/azkaban/目录下


xst -norandkey -k azkaban.keytab azkaban/[email protected]

(可左右滑动)


3.修改CDH集群HDFS的core-stie.xml配置文件,增加azkaban代理用户


<property>
<name>hadoop.proxyuser.azkaban.groups</name>
<value>*</value>
</property><property>
<name>hadoop.proxyuser.azkaban.hosts</name>
<value>*</value>
</property>

(可左右滑动)


如何在Azkaban中安装HDFS插件以及与CDH集成_hadoop_02


保存配置回到CM主页根据提示重启相应服务。


3.安装HDFS插件




1.在前面一篇文章中Fayson已经编译好了HDFS的插件


2.将azkaban-hdfs-viewer-3.0.0.tar.gz拷贝至/opt/cloudera/azkaban/azkaban-web-server/plugins/viewer目录下


[root@ip-172-31-21-83 packages]# pwd
/root/azkaban-plugins/dist/hdfsviewer/packages
[root@ip-172-31-21-83 packages]# cp azkaban-hdfs-viewer-3.0.0.tar.gz /opt/cloudera/azkaban/azkaban-web-server/plugins/viewer/

(可左右滑动)


如何在Azkaban中安装HDFS插件以及与CDH集成_hadoop_03


3.进入plugins/views目录下解压azkaban-hdfs-viewer-3.0.0.tar.gz包并重命名为hdfs


[root@ip-172-31-21-83 packages]# cd /opt/cloudera/azkaban/azkaban-web-server/plugins/viewer/
[root@ip-172-31-21-83 viewer]# tar -zxvf azkaban-hdfs-viewer-3.0.0.tar.gz
[root@ip-172-31-21-83 viewer]# mv azkaban-hdfs-viewer-3.0.0 hdfs
[root@ip-172-31-21-83 viewer]# rm -rf azkaban-hdfs-viewer-3.0.0.tar.gz
[root@ip-172-31-21-83 viewer]# ll

(可左右滑动)

4.进入hdfs/conf目录修改插件配置文件plugin.properties内容如下

viewer.name=HDFS
viewer.path=hdfs
viewer.order=1
viewer.hidden=false
viewer.external.classpaths=extlib/*
viewer.servlet.class=azkaban.viewer.hdfs.HdfsBrowserServlet
hadoop.security.manager.class=azkaban.security.HadoopSecurityManager_H_2_0
azkaban.should.proxy=true
proxy.user=hdfs/admin
proxy.keytab.location=/opt/cloudera/azkaban/hdfs.keytab
allow.group.proxy=true
file.max.lines=1000

(可左右滑动)


如何在Azkaban中安装HDFS插件以及与CDH集成_jar_04


由于集群的Hadoop版本为hadoop2所以hadoop.security.manager.class需要指定为azkaban.security.HadoopSecurityManager_H_2_0


5.拷贝CDH集群中的依赖包至/opt/cloudera/azkaban/azkaban-web-server/extlib目录下


[root@ip-172-31-21-83 ~]# cd /opt/cloudera/parcels/CDH/jars/
[root@ip-172-31-21-83 jars]# scp commons-cli-1.2.jar hadoop-auth-2.6.0-cdh5.13.1.jar hadoop-common-2.6.0-cdh5.13.1.jar hadoop-hdfs-2.6.0-cdh5.13.1.jar protobuf-java-2.5.0.jar commons-configuration-1.7.jar hadoop-yarn-api-2.6.0-cdh5.13.1.jar hadoop-yarn-common-2.6.0-cdh5.13.1.jar /opt/cloudera/azkaban/azkaban-web-server/extlib/
[root@ip-172-31-21-83 jars]# scp htrace-core* protobuf-java-2.5.0.jar /opt/cloudera/azkaban/azkaban-web-server/extlib/

(可左右滑动)


6.由于CDH集群Hadoop为2.x,所以需要将hdfs插件lib目录下的安全认证的jar包替换为2.x版本

将编译插件/root/azkaban-plugins/dist/hadoopsecuritymanager-yarn/jars目录下的azkaban-hadoopsecuritymanageryarn-3.0.0.jar包拷贝至/opt/cloudera/azkaban/azkaban-web-server/plugins/viewer/hdfs/lib/


[root@ip-172-31-21-83 jars]# cp azkaban-hadoopsecuritymanageryarn-3.0.0.jar /opt/cloudera/azkaban/azkaban-web-server/plugins/viewer/hdfs/lib/
[root@ip-172-31-21-83 jars]# cd /opt/cloudera/azkaban/azkaban-web-server/plugins/viewer/hdfs/lib/
[root@ip-172-31-21-83 lib]# rm -rf azkaban-hadoopsecuritymanager-3.0.0.jar

(可左右滑动)


如何在Azkaban中安装HDFS插件以及与CDH集成_jar_05


7.重启Azkaban-web-server服务


[root@ip-172-31-21-83 azkaban-web-server]# pwd
/opt/cloudera/azkaban/azkaban-web-server
[root@ip-172-31-21-83 azkaban-web-server]# bin/azkaban-web-shutdown.sh
[root@ip-172-31-21-83 azkaban-web-server]# bin/start-web.sh

(可左右滑动)

4.HDFS插件验证



1.访问Web界面使用azkaban用户登录


如何在Azkaban中安装HDFS插件以及与CDH集成_jar_06


2.访问HDFS菜单查看HDFS的文件系统


如何在Azkaban中安装HDFS插件以及与CDH集成_hadoop_07


在命令行执行命令


如何在Azkaban中安装HDFS插件以及与CDH集成_hadoop_08


可以看到在命令与Azkaban界面访问显示的目录一致,说明HDFS插件安装成功


3.在界面上可以看到“Change User”按钮


如何在Azkaban中安装HDFS插件以及与CDH集成_hadoop_09


该功能可以模拟任意用户访问HDFS,该功能主要有plugins/viewer/hdfs/conf/plugin.propertis配置文件中的allow.group.proxy控制true表示开启false表示关闭。



提示:代码块部分可以左右滑动查看噢


为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。



推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

如何在Azkaban中安装HDFS插件以及与CDH集成_hadoop_10

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操


标签:HDFS,插件,21,hdfs,viewer,CDH,azkaban,web,root
From: https://blog.51cto.com/u_14049791/5769800

相关文章

  • 在FinClip中如何使用小程序插件?
    最近总发现很多萌新把小程序插件和小程序组件搞混淆。简单来说,组件和插件的区别在于,插件是可以直接提供服务的,组件是给开发者的轮子提高开发效率的,这是两回事。小程序插件是......
  • 提高编程效率的5大VS Code插件
    前言作为一名开发人员,大家会一直寻找可以帮助改进日常工作流程的解决方案,VSCode市场中就有很多优秀的扩展插件程序。正文​​一、GitLive​​GitLive是一个出色的扩展程......
  • 微信开发工具自定义扩展插件
    1、Vscode安装Easy-less2、扩展文件夹用everything搜索mrcrowl-easy-less3、复制出来放桌面,然后通过以下步骤用微信开发工具导入扩展插件就OK了4、输出wxss文......
  • Vue 插件:VueRouter
    VueRouter是一个Vue插件,用于实现SPA(singlepagewebapplication)应用。SPA(singlepagewebapplication)应用,即单页面应用。整个应用只有一个.html文件,通常命名为......
  • mybatis-plugin插件执行原理
    mybatis-plugin插件执行原理今天主要是在看mybatis的主流程源码,其中比较感兴趣的是mybatis的plugin功能,这里主要记录下mybatis-plugin的插件功能原理。plugin集合列表:在......
  • Vite 插件unplugin-auto-import使用
    1.配置npmiunplugin-auto-import-DimportAutoImportfrom'unplugin-auto-import/vite'AutoImport({dts:'types/auto-imports.d.ts',eslintrc:{enab......
  • ps亮度蒙版插件:Lumenzia for mac
    Lumenziaformac是一款功能强大非常好用的ps亮度蒙版辅助工具。lumenzia亮度蒙版工具在Photoshop中最有力的方法是创建一个专业的效果。同时提供了新的工具和完整的灵活性......
  • 使用 Kotlin , Groovy ,Java 开发一个自己的 Gradle 插件
    使用Kotlin,Groovy,Java开发一个自己的Gradle插件先上效果图:image.png功能说明:korGenerate:自动生成Entity,Dao,Controller模板代码korFront:自动cop......
  • kubernetes插件管理器krew
    kubernetes插件管理器krew1.介绍Krew是kubectl插件的包管理工具。借助Krew,可以轻松地使用kubectlplugin:发现插件、安装和管理插件。使用类似apt、dnf或者brew。对于kub......
  • 使用sniff插件在pod中抓包
    使用sniff插件在pod中抓包安装kubectlkrewinstallsniff#也可以手动下载安装使用#本机没有wireshark所以会报错,有的话会自动打开读取[root@node2-dev~]#kubec......