标签：HDFS Ranger Hive 访问 权限 数据 统一
- Ranger概述
- Ranger是一个用于在Hadoop生态系统中进行统一权限管理的框架。它提供了集中式的安全策略管理，使得管理员可以轻松地定义和强制执行访问控制策略，涵盖了Hadoop集群中的各种组件，如HDFS、Hive、HBase等。
- 背景：在大数据环境中，随着数据量的增长和用户对数据访问需求的多样化，确保数据安全和合理的访问权限变得至关重要。不同的Hadoop组件可能有各自的访问控制机制，这使得管理变得复杂。Ranger的出现就是为了提供一个统一的解决方案，简化权限管理流程。
- Ranger的主要功能
- 集中式策略管理
- Ranger有一个管理界面，管理员可以通过Web UI或者REST API来定义访问策略。例如，对于HDFS，可以定义哪些用户或者用户组可以访问特定的目录，以及具有何种访问权限（读、写、执行等）。
- 以一个企业级的数据仓库为例，有数据分析团队、数据开发团队和运维团队。数据分析团队可能只需要对Hive表进行读取操作来生成报表，数据开发团队需要读写权限来创建和修改表，运维团队可能需要访问HDFS的某些日志目录来进行故障排查。通过Ranger，管理员可以为每个团队创建对应的策略，精确地控制他们的访问范围。
- 细粒度访问控制
- 它能够对资源进行非常细致的权限划分。以HBase为例，不仅可以控制对表的访问，还可以深入到列族甚至列的级别。
- 假设一个医疗数据存储在HBase中，包含患者的基本信息（姓名、年龄等）和敏感的医疗记录（疾病史、基因检测结果等）。使用Ranger，可以允许医护人员访问基本信息列，而只有特定的高级医疗专家才能访问敏感的医疗记录列。
- 审计功能
- Ranger会记录所有的访问请求，包括访问时间、用户、资源、操作类型等信息。这些审计日志对于安全审计和合规性检查非常重要。
- 当企业需要满足行业监管要求，如HIPAA（美国健康保险流通与责任法案）或GDPR（欧盟通用数据保护条例）时，审计日志可以帮助企业证明其数据访问是合规的，并且在发生数据泄露等安全事件时，可以通过审计日志进行追溯。
- Ranger的架构
- Ranger Server：这是核心组件，负责存储和管理所有的安全策略。它接收来自各个客户端的策略请求，进行验证和授权决策。
- Plugin（插件）：Ranger为不同的Hadoop组件提供插件，如HDFS - Ranger插件、Hive - Ranger插件等。这些插件嵌入到对应的组件中，拦截用户的访问请求，并将请求发送到Ranger Server进行授权判断。
- 例如，当一个用户试图访问HDFS文件时，HDFS - Ranger插件会截获这个请求，将用户信息、访问的文件路径、操作类型等信息发送到Ranger Server。Ranger Server根据已有的策略进行判断，如果允许访问，则请求继续执行；如果不允许访问，则拒绝请求。
- 与其他权限管理系统的比较
- 与传统的基于文件系统权限（如Unix - like系统中的文件权限）相比，Ranger提供了更细粒度和集中化的管理。在传统文件系统权限中，权限设置相对粗糙，而且在分布式的Hadoop环境中难以统一管理。
- 相较于一些组件自带的权限管理机制（如Hive自带的授权模型），Ranger可以跨多个组件进行统一管理。例如，Hive自带的权限管理可能只能管理Hive内部的用户访问，而Ranger可以同时管理Hive、HDFS等多个组件，并且提供了更一致的用户体验和管理方式。
- 安装和配置Ranger
- 安装前提：通常需要安装在与Hadoop集群兼容的Linux操作系统上，并且需要先安装好JDK，因为Ranger是基于Java开发的。同时，需要确保集群中的各个组件（如HDFS、Hive等）已经正确安装和配置。
- 安装步骤：
- 首先下载Ranger的安装包，可以从官方网站获取。
- 解压安装包后，需要配置相关的属性文件，如ranger - admin - site.xml，在这里需要指定数据库连接信息（Ranger通常使用关系数据库来存储策略等信息，如MySQL），还需要配置一些与认证、授权相关的参数。
- 启动Ranger服务，包括Ranger Admin服务和各个插件对应的服务。在启动过程中，需要关注日志文件，以便及时发现和解决可能出现的问题。
- 应用场景
- 企业级数据湖管理：在企业构建的数据湖中，包含多种数据来源和格式的数据，如结构化的数据库数据、半结构化的日志数据和非结构化的文档数据。Ranger可以对整个数据湖中的数据存储（如HDFS）和数据处理工具（如Hive、Spark等）进行权限管理，确保不同部门的员工能够根据其职责访问相应的数据。
- 多租户大数据平台：在云服务提供商提供的大数据平台上，有多个租户共享计算和存储资源。Ranger可以帮助云服务提供商为每个租户设置独立的权限策略，防止租户之间的数据泄露和非法访问，保障每个租户的数据安全和隐私。
标签：HDFS,
Ranger,
Hive,
访问,
权限,
数据,
统一
From： https://www.cnblogs.com/java-note/p/18612568