首页 > 其他分享 >集群监管-USDP(智能大数据平台)

集群监管-USDP(智能大数据平台)

时间:2023-07-19 19:35:58浏览次数:35  
标签:用户 智能 集群 监控 组件 USDP 数据

UCloud Smart Data Platform(简称 USDP),是 UCloud 推出的智能化、轻量级、适用于私有化部署至客户本地的大数据基础服务平台,通过自研的 USDP Manager 管理工具,支持用户创建大数据集群,在集群中部署 Hadoop、Hive、HBase、Spark、Flink、Presto、Atlas、Ranger 等众多开源大数据组件,并对这些组件进行配置管理、监控告警、故障诊断等智能化的运维管理,从而帮助您快速构建起大数据的分析处理能力。

产品优势


1、全面兼容开源生态

  • 基于开放式的管理架构,USDP 集成了 30 余款开源的大数据组件,涵盖数据集成、数据存储、计算引擎、任务调度、权限管理等大数据处理的各个环节。用户可以根据自身业务特点和需求,从中选择相应的组件来搭建自己的大数据处理平台。

2、无需担心业务绑定

  • USDP 中所包含的大数据服务、组件,均遵守 Apache 2.0 开源协议,由于本身紧跟开源社区的步伐,用户可以随时进行自主替换、自主建设、自主数据迁移、集群迁移等,因此无需担心大数据业务与闭源服务绑定。

3、傻瓜式部署方式

  • 为了能让用户体验到极简的大数据部署运维、管理方案,USDP提供了丰富详细的部署、操作文档,并且用户无需担心安装时准备众多内容,初始化环境只需要简单几步,即可自动完成配置。

4、全面丰富的监控指标

  • USDP 预置了丰富的监控指标,主要包括:JMX 全量指标、HTTP 常用指标、自定义指标,通过预置的监控模板,用户可以查看各类服务组件详细的监控指标,也可以自定义添加所需的监控指标。

5、灵活便捷的告警服务 

  • USDP提供预置的告警模板,只需进行简单配置,即可实现向不同目标(微信、钉钉、邮件、接口调用等)发送集群异常告警。用户还可以对默认告警模板进行修改,或根据需要添加新的告警规则。

6、专业的技术支持

  • UCloud大数据团队积淀了多年公有云大数据运维和业务调优经验,通过持续更新的知识库,可以为用户提供专家级的技术支持,解决大数据平台使用和维护的后顾之忧。

组件清单


USDP架构


 

说明:

  • Manager Server为USDP管理端服务,需配备一个MySQL实例存储集群相关的元数据信息。Agent为USDP从节点控制端服务,用于管理、操作所在节点以及所在节点上的大数据服务。其中 “大数据生态服务、组件服务” 为各类大数据服务(例如:HDFS、YARN等)
  •  在USDP中,采用InfluxDB、Prometheus、Grafana作为监控服务,用于汇总并展示整个集群的监控数据。
  • USDP支持最少3个节点,最多上千节点的集群规模,同时,允许Manager Server与Agent等相关服务部署在相同的节点上,这样满足大型业务的同时,也尽可能帮助用户使用较小的成本满足小型业务对数据分析的诉求。

 Flag:

  • 管理多个大数据集群
  • 粒度:集群、主机、服务

标签:用户,智能,集群,监控,组件,USDP,数据
From: https://www.cnblogs.com/tgzhu/p/17412249.html

相关文章

  • 通过CM集群管理的openGauss数据库选主策略
    通过CM集群管理的openGauss数据库选主策略前提条件:集群内参与选主的备实例数量超过集群实例总数的一半细分策略:(1)cma会尝试拉起数据库集群原始主实例,6s内成功拉起则无需新一轮仲裁(2)local_term最大的(3)local_last_xlog_location最大的(4)静态主local_static_role(5)与......
  • 软件研发过程中不可或缺的智能研发管理平台
    远光天骏智能研发管理平台能为企业提供需求管理,需求分析,用例设计,故事迭代,测试计划,编译部署,质量管控,精益度量的一站式协同研发服务,帮助企业规范化研发过程,大幅提升研发效率和质量,持续提高企业IT运营能力。 从“软件工程”这一名称诞生以来,“质量”和“效率”就是它的目标。为......
  • 用docker搭建自己的node服务器集群
    1.配置java环境,并提交镜像:#1.解析jdk的包到/usr/local/java下:#2.并配置java环境[root@07e065a05df9/]#vim/etc/profile.d/my_env.sh#JAVA_HOMEexportJAVA_HOME=/usr/local/java/jdk1.8.0_301/exportPATH=$PATH:$JAVA_HOME/bin[root@07e065a05df9/]#source/e......
  • 电源供电防干扰低功耗6键/6通道触摸触控IC-VK3606D SOP16适用于温控器,86面板触摸开关,
    概述 VK3606D具有6个触摸按键,可用来检测外部触摸按键上人手的触摸动作。该芯片具有较高的集成度,仅需极少的外部组件便可实现触摸按键的检测。提供了6路1对1直接输出低电平有效。最长输出时间10S。芯片内部采用特殊的集成电路,具有高电源电压抑制比,可减少按键检测错误的发生,此特......
  • 编译安装redis6.2.13集群-哨兵模式
    下载并编译Redis虽然使用SLES15进行编译,但是理论上在其它系统上也是可行的,我们把编译所需要的依赖包安装即可。Redis我们选择6.2.13这个版本,我们先随便找个节点进行编译产生二进制文件#首先安装依赖包zypperref&&zypperinstallgccmakesystemd-devel#SLES/SUSEyu......
  • docker redis集群搭建
    DockerRedis集群搭建介绍Redis是一款高性能的键值存储数据库,被广泛用于缓存、队列、计数器等场景。而Docker是一种容器化技术,可以方便地部署、管理应用程序。本篇文章将详细介绍如何使用Docker搭建Redis集群,以提高应用的可靠性和性能。准备工作在开始搭建Redis集群之前,我们需......
  • docker consul集群
    DockerConsul集群简介Consul是一种用于服务发现、配置和分布式协调的工具。它通过提供一个可靠的、高度可用的系统,简化了在分布式环境中管理和维护应用程序的任务。Docker是一种容器化平台,可以通过创建和管理容器来轻松部署和运行应用程序。本文将介绍如何使用Docker创建一个Co......
  • Ingress:集群进出流量的总管
    Service很有用,但也只能说是“基础设施”,它对网络流量的管理方案还是太简单,离复杂的现代应用架构需求还有很大的差距,所以Kubernetes就在Service之上又提出了一个新的概念:Ingress。Service还有一个缺点,它比较适合代理集群内部的服务。如果想要把服务暴露到集群外部,就只能使用N......
  • shardingsphere配置读写分离集群(1主2从结构)
    第一章、shardingsphere的安装1、使用ftp将离线安装包放到/opt2、进入opt目录,解压,移动到/usr/local,重命名cd/opttar-xzvfmysql-5.7,29-linux-glibc2.12-x86_64.tar.gzmvapache-shardingsphere-4.1.1-sharding-proxy-bin/usr/localcd/usr/localmvapache-shardingsph......
  • 智能制造之路—从0开始打造一套轻量级MOM平台
    一、概述面对数字化浪潮,MOM需求迈入上升期,数字化从“可选项”变成了企业竞争“必选项”。制造行业每个工厂的生产逻辑都不尽相同,流程的梳理、数据统一化都需要调配很长时间。对于制造企业来说一套快速构建业务的平台,看起来是解决制造行业“每个工厂生产逻辑不同”问题的良方。企......