首页 > 其他分享 >大数据架构设计的核心要素

大数据架构设计的核心要素

时间:2022-11-25 19:00:24浏览次数:44  
标签:架构设计 要素 核心 平台 Hadoop 应用 组件 维护 数据


建设一个高价值的大数据平台,让平台有更好的扩展性和开放性,使企业级应用系统共享大数据平台的能力,来帮助企业整个 IT 平台拥有一个质的飞跃。结合大数据平台设计和实施的项目经验,总结出大数据架构设计原则的核心要素如下∶统一管理、高可用、可扩展、开放性、前瞻性、高性能、稳定性、安全性、易维护、实用性,如图1所示。

大数据架构设计的核心要素_大数据平台

图1大数据核心架构要素


1.统一管理

基于大数据平台的应用系统设计时,建议设计相对应的平台管理功能,把硬件监控、Hadoop平台监控都集成进来。建设企业级一体化的监控与管理平台,后期便于更好地统一管理和统一维护。

2.高可用

高可用是指尽可能避免重复投入,应尽可能考虑包括物理设备、系统软件、框架组件、规范方法以及业务应用等多个层面上的复用。

3.可扩展

可扩展性是指大数据平台在实施之后能够支持业务系统和应用系统发展的需要,可以动态扩展平台功能,并以服务接口的方式无缝对接其他应用系统。

4.开放性

企业在做大数据技术选型,特别是 Hadoop 选型时,应该从平台整体的维护成本和学习成本两方面考虑。

5.前瞻性

建设一套成熟的大数据平台,首先要在技术和架构上具有一定的前瞻性。通过部署 Apache Hadoop 生态组件及 Spark、Mathout 等计算分析组件,对开发更深层次数据探索能力的大数据战略,并通过云平台服务优化现有平台功能的企业而言非常重要。

6.高性能

高性能是指在硬件资源有限的情况下,大数据应用开发平台及实施服务应尽可能地支持尽量多的数据服务需求,还能承受用户峰值时间段压力。

7.稳定性

稳定性是指平台发生结构变化或增加新功能时,依靠架构的有效设计,仍然能保证正常运行。

8.安全性

在大数据平台中,安全性主要包括两个层面的含义∶一是防止数据服务体系的数据资源被恶意修改和盗取;二是防止数据在传输过程中被截留和篡改。

9.易维护

易维护是指大数据平台在运行的过程当中,不需要投入太多的人员和精力,使平台在出现故障或者升级时能够轻松快速地完成。大数据平台的运维工作主要涉及硬件设备、Hadoop平台、应用系统三个方面。

10.实用性

在大数据平台的实用性方面,一定要避免为了跟风而使用某些新技术的情况,在集群中部署多套组件会使整个集群的运行效率降低,所以一定要从实际需求出发。


标签:架构设计,要素,核心,平台,Hadoop,应用,组件,维护,数据
From: https://blog.51cto.com/u_15735635/5887430

相关文章

  • 24.1 SetUnhandledExceptionFilter未处理异常--《Windows核心编程》
    对于未处理异常,例如异常过滤返回EXCEPTION_CONTINUE_SEARCH,向上搜索,但无法搜索到处理部分,产生未处理异常。Windows提供了SetUnhandledExceptionFilter函数,给我们处理异常......
  • 24.3 向量化异常VEH--《Windows核心编程》
    Windows提供了向量化异常处理(vectoredexcepationhanding,VEH)机制。程序可以注册一个函数,每当异常发送或者一个未处理异常脱离标准SEH的控制时,这个函数就会被调用。PVO......
  • 阿里云张建锋:核心云产品全面 Serverless 化
    11月3日,2022杭州·云栖大会上,阿里云智能总裁张建锋表示,以云为核心的新型计算体系正在形成,软件研发范式正在发生新的变革,Serverless是其中最重要的趋势之一,阿里云将坚定......
  • 阿里云张建锋:核心云产品全面 Serverless 化
    11月3日,2022杭州·云栖大会上,阿里云智能总裁张建锋表示,以云为核心的新型计算体系正在形成,软件研发范式正在发生新的变革,Serverless是其中最重要的趋势之一,阿里云将坚......
  • UML核心元素(五)——关系
     关联关系(不同类对象之间的结构关系,描述了某个对象在一段时间内一直“知道”另一个对象的存在,如A保存了B的ID,所以为了区分相互“知道”和单向的“知道”关系,所以出现了......
  • UML核心元素(六)——分析类,设计类
    分析类分析类包括边界类,控制类,实体类,分析类跨越需求到设计实现的桥梁。分析类三高(高于设计实现,高于语言实现,高于实现方式)版型边界类(对系统外部环境与其......
  • UML核心元素(七)——组件,节点
    组件系统中实际存在可更换部分,实现特定功能,符合接口标准,并实现一组接口。 组件之间唯一的关系就是依赖使用组件分布式应用应用集成第三方系统SOA......
  • UML核心视图
    分类作用静态视图表达结构性特征动态视图表达行为性特征 用例图用例视图是系统蓝图和开发的依据业务用例视图业务主角......
  • UML核心元素(二)——包
    包UML默认三个顶级包UseCaseViewLogicViewComponentView包之间的关系只有依赖,尽量避免双向依赖和循环依赖版型领域包:每个包代表一个业......
  • UML核心元素(三)-参与者(actor)
    参与者(actor):系统之外与系统交互的某人或者某事物参与者位于系统之外,可以是非人,一定是直接向系统发出动作并获得反馈业务主角:用于需求阶段,定义业务参与者。针对的......