数据安全新战场，EasyMR为企业筑起“安全防线”

2020 年 1 月，时间跨度长达 14 年的，微软 2.5 亿条客户服务和支持记录在网上泄露；

同年 4 月，微盟发生史上最贵 “删库跑路” 事件，造成微盟市值一夜之间缩水约 24 亿港币；

今年 7 月，网信办依据​​《数据安全法》​​等法律法规，对滴滴公司开出人民币 80.26 亿元的巨额罚款，对互联网企业敲响数据安全警钟。

数据作为互联网的重磅资源，当今重要的 “生产要素” 及核心竞争力，已经获得了立法上的认可。随着 2021 年 9 月 1 日，中国第一部有关数据安全的法律《数据安全法》正式施行，我国的数据安全制度已经进入了一个新阶段。

不同于网络安全侧重于通过保障计算环境的安全，从而最终保障计算对象的安全。数据安全是以 “数据为中心”，主要侧重于数据全生命周期的安全和合规性，以此来保护数据的安全。而企业数据资产作为未来企业发展的基座，在数据采集、存储、处理的一系列流程中，无疑面临着巨大的安全风险挑战。

如何更好地​​保障数据安全​​，成为压在每个企业肩头沉甸甸的担子。

一站式大数据安全管理

作为​​全链路数字化技术与服务提供商​​，袋鼠云在数据安全方面有过多年的探索和实践。近日，袋鼠云依托其实践，在旗下产品大数据基础平台 EasyMR 上新增了一站式大数据应用安全防控以及数据权限管控能力。

EasyMR 是袋鼠云今年 7 月最新推出的​​自研大数据基础平台​​，该产品集成了服务管控应用 ChengYing 和内部孵化大数据生态，提供 Hadoop、Hive、Spark、Trino、HBase、Kafka 等组件的自动化安装、中心化管理与集群监控告警功能，完全兼容 Apache 开源生态。是一款具备标准的服务部署、服务监控、服务管理等功能的产品。

此次，EasyMR 通过集成第三方的安全管控服务 Kerberos、Ldap 和 Ranger 分别对大数据集群进行用户安全认证、访问用户管理以及用户数据权限管控。

借助 EasyMR 的部署和管理能力，以界面化方式部署大数据集群安全管控服务。大数据集群使用者无需关注安全服务部署逻辑以及应用内部工作逻辑，只需要在 EasyMR 界面查看具体开启进度以及开启结果状态。

通过 EasyMR 部署大数据集群管控服务，运维人员可以直观地在 ​​EasyMR 界面​​对安全管控服务进行管理和运维，包括服务的启停、状态监控等。

EasyMR 安全管控能力

相比与其他厂商的大数据集群安全管理，EasyMR 可以做到一键部署安全管控服务，一键开启大数据集群组件的安全认证、用户管理以及权限管控服务。下面来具体聊聊 ​​EasyMR 的安全管控能力​​。

操作便捷

借助 EasyMR 的管理能力，在部署安全管控服务之后，仅需要在对应的服务页面点击开启安全按钮，即可开启对应服务的安全。如图：

例如：需要对 Zookeeper 开启 Kerberos，则只需要跳转到 Zookeeper 所在服务页面，点击开启按钮，等待开启完成。应用开启安全的内部具体实现流程如下：

​​EasyMR 功能丰富​​，其中连接 KDC 进行服务票据的生成和服务票据的分发是通过 EasyMR 的脚本管理能力完成；配置变更和配置下发到各个主机则是凭借 EasyMR 的配置管理能力，在后台对开启安全服务配置进行新增和修改；而服务重启则依赖 EasyMR 对服务起停的管理能力，实现对大数据集群的自动重启。

借助 EasyMR 的配置文件管理能力，在未开启 Kerberos 状态下，针对大数据集群的配置会单独维护一份当前集群状态使用的配置。当点击开启 Kerberos 的按钮时，后台会将开启 Kerberos 的配置新增到当前的配置文件中。

例如 core-site.xml 中的 hadoop.security.authentication Kerberos。在未开启安全情况下，此配置会默认赋值 simple；在开启安全操作触发后，此配置会后台替换为 Kerberos，然后配置下发到对应服务所在主机上；配置下发完成后，EasyMR 会自动触发服务重启逻辑，加载新的配置，重启完成后会显示安全开启成功。

具体开启步骤：

Part.1 点击开启按钮，确定开启安全

Part.2 查看具体开启进度以及开启打印日志

Part.3 开启成功

Part.4 票据下载使用

管理便捷

EasyMR 具有​​大数据集群配置文件管理能力​​。在开启 Hadoop 安全后，使用者想利用客户端连接工具使用 Hadoop 或者 Hive，对应的 Hadoop 集群配置文件 hdfs-site.xml、core-site.xml、yarn-site.xml 以及用户票据等文件不需要到服务器上去进行获取，直接在对应服务的页面点击下载配置按钮，即可下载对应配置的压缩包，方便快捷。如图：

EasyMR 在对 Kerberos 和 Ldap 应用基本的部署、服务管理、服务监控等基础功能外，增加了对 ​​Ldap 用户信息​​的管理，拥有了用户信息查看，用户或用户组信息过滤，用户信息新增、修改用户信息等功能。

使用者在 EasyMR 页面可以直接通过内嵌 LDAP 连接或者新增 lDAP 连接查看 Ldap 用户信息。以及可以通过用户过滤以及组过滤的方式，查看过滤后的用户信息以及组下的所有用户信息。

此外，EasyMR 还新增了对 Kerberos 用户和用户票据的管理功能。在管理了 Ldap 服务后，使用者在 Ldap 中新增一个用户，EasyMR 内部会在 Kerberos 中同步创建一个 Kerberos 用户。对于使用者来说，Kerberos 用户信息与 Ldap 用户属于对应关系。Kerberos 用户创建完成后，EasyMR 会调用 KDC 服务对此用户进行票据信息的生成。使用者可以在此界面直接下在票据信息，无需再到服务器上连接 KDC 服务生成票据以及下载票据。

在 EasyMR 服务管理界面，用户可以直接通过点击 ​​Ranger Admin​​ 服务提供的 web 链接信息跳转到对应的 web ui 界面，对 Ldap 用户进行服务权限以及数据权限分配管理。

EasyMR 安全能力规划

数据安全随着数字经济的发展以及越来越多企业开始数字化转型变得越来越重要，对于企业来说，有着 “牵一发而动全身” 的效应。

作为国产自主研发的大数据基础平台，在现有的安全管控能力基础上，EasyMR 接下来还将丰富对​​大数据集群的管理能力​​，持续优化安全管理的便捷性与通用型。

在当前安全管控能力优化增强的基础上，EasyMR 将持续增加 KMS、SSL 等一站式服务权限管理能力，保障大数据集群的服务安全、用户统一维护、权限统一管理。未来，EasyMR 将会持续丰富大数据集群安全防控，以保障用户任务运行在​​安全高效的集群​​上。

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友，浏览袋鼠云官网：​​https://www.dtstack.com/?src=sz51cto​​

同时，欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术qun」，交流最新开源技术信息，qun号码：30537511，项目地址：​​https://github.com/DTStack​​