UCloud Smart Data Platform(简称 USDP),是 UCloud 推出的智能化、轻量级、适用于私有化部署至客户本地的大数据基础服务平台,通过自研的 USDP Manager 管理工具,支持用户创建大数据集群,在集群中部署 Hadoop、Hive、HBase、Spark、Flink、Presto、Atlas、Ranger 等众多开源大数据组件,并对这些组件进行配置管理、监控告警、故障诊断等智能化的运维管理,从而帮助您快速构建起大数据的分析处理能力。
产品优势
1、全面兼容开源生态
- 基于开放式的管理架构,USDP 集成了 30 余款开源的大数据组件,涵盖数据集成、数据存储、计算引擎、任务调度、权限管理等大数据处理的各个环节。用户可以根据自身业务特点和需求,从中选择相应的组件来搭建自己的大数据处理平台。
2、无需担心业务绑定
- USDP 中所包含的大数据服务、组件,均遵守 Apache 2.0 开源协议,由于本身紧跟开源社区的步伐,用户可以随时进行自主替换、自主建设、自主数据迁移、集群迁移等,因此无需担心大数据业务与闭源服务绑定。
3、傻瓜式部署方式
- 为了能让用户体验到极简的大数据部署运维、管理方案,USDP提供了丰富详细的部署、操作文档,并且用户无需担心安装时准备众多内容,初始化环境只需要简单几步,即可自动完成配置。
4、全面丰富的监控指标
- USDP 预置了丰富的监控指标,主要包括:JMX 全量指标、HTTP 常用指标、自定义指标,通过预置的监控模板,用户可以查看各类服务组件详细的监控指标,也可以自定义添加所需的监控指标。
5、灵活便捷的告警服务
- USDP提供预置的告警模板,只需进行简单配置,即可实现向不同目标(微信、钉钉、邮件、接口调用等)发送集群异常告警。用户还可以对默认告警模板进行修改,或根据需要添加新的告警规则。
6、专业的技术支持
- UCloud大数据团队积淀了多年公有云大数据运维和业务调优经验,通过持续更新的知识库,可以为用户提供专家级的技术支持,解决大数据平台使用和维护的后顾之忧。
组件清单
USDP架构
说明:
- Manager Server为USDP管理端服务,需配备一个MySQL实例存储集群相关的元数据信息。Agent为USDP从节点控制端服务,用于管理、操作所在节点以及所在节点上的大数据服务。其中 “大数据生态服务、组件服务” 为各类大数据服务(例如:HDFS、YARN等)
- 在USDP中,采用InfluxDB、Prometheus、Grafana作为监控服务,用于汇总并展示整个集群的监控数据。
- USDP支持最少3个节点,最多上千节点的集群规模,同时,允许Manager Server与Agent等相关服务部署在相同的节点上,这样满足大型业务的同时,也尽可能帮助用户使用较小的成本满足小型业务对数据分析的诉求。
Flag:
- 管理多个大数据集群
- 粒度:集群、主机、服务