首页 > 其他分享 >大数据系统的关键特性

大数据系统的关键特性

时间:2023-10-17 11:49:08浏览次数:27  
标签:需要 机器 错误 系统 特性 容错性 关键 延时 数据系统

1、Robustandfault-tolerant(容错性和鲁棒性):对大规模分布式系统来说,机器是不可靠的,可能会当机,但是系统需要是健壮、行为正确的,即使是遇到机器错误。除了机器错误,人更可能会犯错误。在软件开发中难免会有一些Bug,系统必须对有Bug的程序写入的错误数据有足够的适应能力,所以比机器容错性更加重要的容错性是人为操作容错性。对于大规模的分布式系统来说,人和机器的错误每天都可能会发生,如何应对人和机器的错误,让系统能够从错误中快速恢复尤其重要。

2、Lowlatency reads and updates(低延时):很多应用对于读和写操作的延时要求非常高,要求对更新和查询的响应是低延时的。

3、Scalable(横向扩容):当数据量/负载增大时,可扩展性的系统通过增加更多的机器资源来维持性能。也就是常说的系统需要线性可扩展,通常采用scale out(通过增加机器的个数)而不是scale up(通过增强机器的性能)。

4、General(通用性):系统需要能够适应广泛的应用,包括金融领域、社交网络、电子商务数据分析等。

5、Extensible(可扩展):需要增加新功能、新特性时,可扩展的系统能以最小的开发代价来增加新功能。

6、Allows ad hoc queries(方便查询):数据中蕴含有价值,需要能够方便、快速的查询出所需要的数据。

7、Minimal maintenance(易于维护):系统要想做到易于维护,其关键是控制其复杂性,越是复杂的系统越容易出错、越难维护。

8、Debuggable(易调试):当出问题时,系统需要有足够的信息来调试错误,找到问题的根源。其关键是能够追根溯源到每个数据生成点。

 

参考文章:https://cloud.tencent.com/developer/article/2103244

标签:需要,机器,错误,系统,特性,容错性,关键,延时,数据系统
From: https://www.cnblogs.com/robots2/p/17769307.html

相关文章

  • 5G通信云/电信云资源池非SDN数通关键技术点
    1.DCGW部署两台,做设备级冗余保护,不使用堆叠。2.DCGW与承载网AR物理端口采用链路聚合(LACP)模式互连,路由对接采用BGP/MPLSVPNOptionA方式,以不同VRF做为业务隔离,使用BGP重分布网元业务路由,同时在每台DCGW配置双向BFD做为保护,考虑到承载网路由规模较大,DCGW只将业务的汇总路由发送给承......
  • 【RocketMQ】RocketMQ 5.0新特性(三)- Controller模式
    在RocketMQ5.0以前,有两种集群部署模式,分别为主从模式(Master-Slave模式)和Dledger模式。主从模式主从模式中分为Master和Slave两个角色,集群中可以有多个Master节点,一个Master节点可以有多个Slave节点。Master节点负责接收生产者发送的写入请求,将消息写入CommitLog文件,Slave节点会......
  • Grafana 10 新特性解读:体验与协作全面提升
    作者:徽泠(苏墨馨)为了庆祝Grafana的10年里程碑,GrafanaLabs推出了Grafana10,这个具有纪念意义的版本强调增强用户体验,使各种开发人员更容易使用。Grafanav10.0.x为开发者与企业展示卓越的新功能、可视化与协作能力,其中还包括:更新Panel面板更新Dashboard更新导航栏......
  • 外卖跑腿系统的关键功能和技术要点
    1.用户注册和登录首先,用户需要能够注册新账户并登录。以下是使用Python和Django框架的代码示例,展示如何创建用户注册和登录功能。#Django视图代码fromdjango.contrib.authimportlogin,authenticatefromdjango.contrib.auth.formsimportUserCreationFormfromdjango.sho......
  • 一图看懂CodeArts Inspector 三大特性,带你玩转漏洞管理服务
    华为云漏洞管理服务CodeArtsInspector是面向软件研发和服务运维提供的一站式漏洞管理能力,通过持续评估系统和应用等资产,内置风险量化管理和在线风险分析处置能力,帮助组织快速感应和响应漏洞,并及时有效地完成漏洞修复工作,更好地应对潜在的安全威胁。  ......
  • 一图看懂CodeArts Governance 三大特性,带你玩转开源治理服务
    华为云开源治理服务CodeArtsGovernance是针对软件研发提供的一站式开源软件治理服务,凝聚华为在开源治理上的优秀实践经验,提供开源软件元数据及软件成分分析、恶意代码检测等能力,从合法合规、网络安全、供应安全等维度消减开源软件使用风险,助力企业更加安全、高效地使用开源软件。......
  • 为何50Ω占多数?同轴特性阻抗详解
    在选择同轴线缆或组件时,一般我们都会看到或者要求传输线阻抗需要保持在50欧姆,有时这也会成为传输线的特性阻抗,当然75欧姆偶尔也会被用到,为何这两者会如此固定?本期我们将从这个角度出发,探讨同轴中的另一个重要参数,特性阻抗。其实这个问题也很简单,我们快速做一个总结,可以直接看下......
  • 【RocketMQ】RocketMQ 5.0新特性(二)- Pop消费模式
    Pop模式消费和消息粒度负载均衡在RocketMQ5.0之前,消费有两种方式可以从Broker获取消息,分别为Pull模式和Push模式。Pull模式:消费需要不断的从阻塞队列中获取数据,如果没有数据就等待,这个阻塞队列中的数据由消息拉取线程从Broker拉取消息之后加入的,所以Pull模式下消费需要不断主......
  • Java8新特性之Optional容器(七)
    1.Optional介绍Optional是Java8提供的一个容器对象,可以包含一个为null或者不为null的对象;使用该对象可以更方便的避免项目中的NPE,在新版的SpringDataJPA中已经实现了对该类的支持;注意该类是被final修饰的,同时没有实现任何接口;publicfinalclassOptional<T>{pri......
  • 机器视觉:实现精准农业的关键技术
    机器视觉在农业中扮演着关键的角色,有助于实现精准农业。以下是机器视觉在精准农业中的关键技术和应用:作物监测与管理: 机器视觉系统可用于检测作物的生长情况和健康状况。通过拍摄和分析植物的图像,农民可以了解是否有病虫害问题、是否需要灌溉或施肥,以及何时进行收割。土壤......