基于CDP的CM维护Hadoop生态组件
CDP
- Cloudera Data Platform（CDP）是Cloudera公司推出的一个全面的数据平台，它支持在多云环境中部署和管理数据
- CDP提供了一种统一的方法来管理数据和分析工作负载，无论是在本地、公有云还是私有云环境中
- CDP包括多种服务和工具，如Cloudera Data Hub（CDH）、Cloudera Data Warehouse（CDW）、Cloudera Data Science（CDS）、Cloudera Operational DB（COD）和Cloudera DataFlow（CDF）等
CM
- CDP通过Cloudera Manager（CM）来管理和监控Hadoop生态系统中的组件
- CM是一个强大的工具，它提供了一个集中的界面来配置、管理和监控Hadoop集群
在维护Hadoop生态组件方面，CM提供了以下功能
- 服务监控：CM可以监控集群中服务的状态，包括HDFS、YARN、Hive、HBase等，并提供实时的性能指标和日志信息
- 配置管理：CM允许管理员通过一个中央界面来配置和管理集群中的所有服务，无需直接登录到各个节点。
- 自动化部署：CM支持自动化部署新服务和组件，简化了集群的扩展和升级过程。
- 安全和合规性：CM提供了安全功能，如Kerberos认证、数据加密和访问控制，以确保数据的安全性和合规性。
- 故障排查和诊断：当集群出现问题时，CM提供了诊断工具和日志分析功能，帮助管理员快速定位和解决问题。
- 高可用性和灾难恢复：CM支持配置高可用性（HA）集群，确保关键服务在节点故障时仍然可用。
- 集成开发和测试环境：CM可以与Cloudera的IDE集成，为开发人员提供沙箱环境，以便他们可以开发和测试新的数据处理流程。
Kerberos基本原理
- Kerberos是一种网络认证协议，它通过使用票务系统和密钥分发中心（KDC）来在不安全的网络环境中对用户和服务进行身份验证，确保数据的安全性。在Kerberos中，用户首先向认证服务器（AS）证明自己的身份，然后获得一个Ticket Granting Ticket (TGT)，随后使用TGT向票据授权服务器（TGS）请求特定服务的票据，最后使用该服务票据向目标服务请求服务，整个过程涉及加密和解密操作以保证通信的安全性，同时票据通常具有时间限制以防止重放攻击。
身份验证过程
- 用户想要访问一个服务（例如，一个网络服务或应用程序）
- 用户通过输入用户名和密码向认证服务器（AS）证明自己的身份
票务系统
- 认证服务器验证用户的身份后，会发放一个票据称为Ticket Granting Ticket (TGT)
- TGT是一个加密的票据，它包含了用户的身份信息和一些服务票据请求的权限，只有认证服务器才能解密
服务票据请求
- 用户使用TGT向票据授权服务器（TGS）请求一个特定服务的票据
- TGS验证TGT的有效性后，会发放一个服务票据给用户
访问服务
- 用户使用服务票据向目标服务请求服务
- 服务会验证票据的有效性，如果验证通过，服务会为用户提供所需的资源或数据
密钥分发中心（KDC）
- KDC通常包含认证服务器（AS）和票据授权服务器（TGS），它们共同负责处理认证和票据发放
安全性
- 所有的票据都是使用服务的密钥进行加密的，确保只有对应的服务可以解密和验证票据
- 票据通常有一个时间限制，过期后将不再有效，这增加了安全性
防止重放攻击
- 票据中包含时间戳和其他唯一标识符，以确保票据不会被重复使用
跨域认证
- Kerberos还支持跨域认证，允许用户在不同的域之间进行无缝的身份验证
通过shell进行kerberos鉴权
获取票据
- 首先，需要使用kinit命令获取Kerberos票据，通常需要输入Kerberos密码
kinit <username>@<REALM>
- 或者有密码文件（如~/.k5login或/etc/k5login），可以直接运行：
kinit
查看票据
- 使用klist命令查看当前获取的Kerberos票据
klist
使用票据进行鉴权
- 一旦有了票据，就可以使用它来对服务进行鉴权。例如，尝试访问HDFS，可以使用以下命令，这个命令将使用Kerberos票据来鉴权，并列出HDFS根目录的内容
hdfs dfs -ls /
票据续期
- Kerberos票据通常有一个有效期，需要定期续期，可以使用kinit命令与-renew选项来续期票据
kinit -renew
删除票据
- 完成操作后，可以使用kdestroy命令来删除票据
kdestroy