首页 > 其他分享 >Hadoop生态圈-Knox网关的应用案例

Hadoop生态圈-Knox网关的应用案例

时间:2022-12-20 10:34:01浏览次数:41  
标签:网关 HTTP Hadoop 扩展性 Apache Knox 生态圈

一.Knox网关简介

  据Knox官网所述(http://knox.apache.org/):Apache Knox Gateway是用于与Apache Hadoop部署的RESTAPI和UI交互的应用程序网关。Knox Gateway为与Apache Hadoop集群的所有REST和HTTP交互提供一个单一的访问点。KNOX提供三组面向用户的服务:

    代理服务:Apache Knox项目的主要目标是通过代理HTTP资源提供对Apache Hadoop的访问。

    认证服务:对USTAPI访问以及UIS的WebSSO流进行身份验证。LDAP/AD,基于头的PROAUTH,Kerberos,SAML,OAUTH都是可用的选项。

    客户服务:可以通过DSL编写脚本或直接将Knox Shell类作为SDK来完成客户端开发。

Hadoop生态圈-Knox网关的应用案例_Hadoop

简单的说,Apache Knox Gateway是一款用于保护Hadoop生态体系安全的代理网关系统,为Hadoop集群提供唯一的代理入口。Knox以类似反向代理的形式挡在汲取你的前面,隐匿部署细节(例如端口号和机器名等),接管所有用户的HTTP请求(例如WEB UI 控制台访问和RESTful 服务调用),以此来保护集群安全。不仅如此,Knox还能担任认证网关的角色。如下图所示:

Hadoop生态圈-Knox网关的应用案例_HTTP_02

Knox网关本质上是一款基于Jetty实现的高性能反向代理服务器,通过内置的过滤器链来处理URL请求,支持使用LADP进行用户身份认证。Knox网关在架构设计上具有良好的可扩展性,这种扩展性主要通过Service和Provider这两个扩展性框架来实现。Server扩展性框架还提供了一种网关新增的HTTP或RESTful服务端点的途径,例如WebHDFS就是以新建的Service的形式加入Knox网关的。而Provider扩展性框架则是用来定义并实现相应Service所提供的功能,例如端点的用户认证或是WebHDFS中的文件上传等功能。当我们使用Knox作为代理网关之后,大数据平台中Hadoop系统的逻辑拓扑。

更多关于Knox的知识请参考官网链接:http://knox.apache.org/。

标签:网关,HTTP,Hadoop,扩展性,Apache,Knox,生态圈
From: https://blog.51cto.com/u_15130867/5954243

相关文章

  • 借助5G智能网关实现无人化智慧农业应用
    发展智慧农业是新时代的必由之路。依托5G+物联网技术赋能农业生产,能够实现更少的人员需求,更大面积的综合土地管理,更实时精细的生产环境监测,更智能的生产自主管控。5G技术正......
  • 马斯克都不懂的 GraphQL,API 网关又能对其如何理解?
    马斯克都不懂的GraphQL,API网关又能对其如何理解?原创Apache_APISIX_中文社区工作日志12/1614:30阅读数2.4K本文被收录于专区开发技能进入专区参与更......
  • 网关Zuul+route+Filter+Fallback+Retry笔记20221202
    一、ek20141、pom.xml<dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-starter......
  • Hadoop--HDFS
    Hadoop3.1.2算法复杂度​ ]孙发复杂度分为时间复杂度和空间复杂度时间复杂度执行算需要计算工作量而空间复杂度是指执行这个算法所需要的内存空间;时间和空间都是......
  • java操作hadoop之MapReduce
    1.Mapper文件WordCountMapper.javapackagecom.hdfs;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.Te......
  • MPP架构与Hadoop架构是一回事吗?
    计算机领域的很多概念都存在一些传播上的“谬误”。    MPP这个概念就是其中之一。它的“谬误”之处在于,明明叫做“MassivelyParallelProcessing(大规模并行处理)”,却让......
  • 大数据Hadoop之——总结篇
    目录一、前言二、Hadoop1)HDFS常见操作1、HDFS服务启停命令2、常见文件操作命令3、安全模式操作命令4、数据平衡常见操作命令5、处理小文件常见操作命令6、HDFSNameNode主......
  • PLC远程上下载程序,一台物联网网关轻松解决
    在工业现场环境中,PLC越来越多的被用于生产流程、自动化控制等场景,但在高效率生产活动和自动化要求不断变化的当下,PLC的程序编程也需要升级提升。工程师常常需要升级或者修复......
  • 认证管理(锐捷网关篇)
    大家好,我是小杜,明天又是周末了,按照师傅的“专政”──不允许周末来公司,可以去下现场看下,只能“勉为其难”在家好好休息了,呵呵呵......轻轻拍了下自己嘴巴来回神,......
  • 学习Hadoop不错的系列文章
    学习Hadoop不错的系列文章 1)Hadoop学习总结 (1)​​HDFS简介​​ (2)​​HDFS读写过程解析​​ (3)​​Map-Reduce入门​​ (4)​​Map-Reduce的过程解析​​ (5)​​Hadoop的运......