首页 > 其他分享 >分布式系统的技术栈

分布式系统的技术栈

时间:2023-05-17 16:45:16浏览次数:25  
标签:架构 运维 系统 调度 技术 分布式系统 服务

构建分布式系统的目的是增加系统容量,提高系统的可用性。说白了就是干两件事。一是提高整体架构的吞吐量,服务更多的并发和流量,二是为了提高系统的稳定性,让系统的可用性更高。 1、如何提高整体架构的吞吐量,服务更多的并发和流量? 1) 提高系统性能的常用技术

  • 缓存系统:在分布式系统中,添加缓存可以有效提高系统的访问能力;
  • 负载均衡:负载均衡可以使用多台机器来共同分担一部分流量请求,从而增加系统的横向扩展能力;
  • 异步调用:异步系统通过消息队列来对请求做排队处理,从而增加系统的吞吐量(但这回损失了一定的实时以及增加数据的风险);
  • 数据镜像:把数据复制多份,通过不同的客户端处理请求(多个节点可能会出现数据一致性问题);
  • 数据分区:把数据按一定的方式分成多个区,按不同的区域处理请求(这会增加系统的复杂度)。
对于一般公司来说,在初期,会使用读写分离的数据镜像方式,而后期会采用分库分表的方式。   2、如何提高系统的稳定性,让系统的可用性更高?

  • 服务拆分:主要为了隔离故障和重用服务模块(但会引入服务间调用依赖问题);
  • 服务冗余:可以去除单点故障,支持弹性伸缩,故障迁移(对于“有状态”的服务实现起来会比较复杂);
  • 限流降级:损失小部分,保全整体的措施(当系统压力扛不住时,通过限流或者功能降级的方式停掉部分服务,或拒绝部分用户,确保整体架构不会挂掉);
  • 高可用架构:从冗余架构的角度保障可用性。如:灾备多活;
  • 高可用运维: 具备足够流畅的软件发布能力、足够多的自动化测试、相应的业务灰度发布,以及线上系统的自动化控制,如:DevOps中的CI/CD(持续集成/持续发布)。
  3、构建分布式系统的关键技术

构建分布式系统有五个关键技术,它们分别是:

  • 全栈系统监控;
  • 服务 / 资源调度;
  • 流量调度;
  • 状态 / 数据调度;
  • 开发和运维的自动化(把前四项都做到了,才有可能实现)。

  • 整体架构监控:如果没有一个好的监控系统,那么自动化运维和资源调度管理只可能成为一个泡影,因为监控系统是你的眼睛。没有眼睛,没有数据,就无法进行高效的运维。所以说,监控是非常重要的部分。这里的监控需要对三层系统(应用层、中间件层、基础 层)进行监控;
  • 资源调度管理:应用层的自动化运维需要基础层的调度支持,也就是云计算 IaaS 层的计算、存储、网络等资源调度、隔离和管理;
  • 架构软件管理:服务之间有依赖,而且有兼容性问题,所以,整体服务所形成的架构需要有架构版本管理、整体架构的生命周期管理,以及对服务的编排、聚合、事务处理等服务调度功能;
  • DevOps:分布式系统可以更快速地更新服务,但是对于服务的测试和部署都会是挑战。所以,还需要 DevOps 的全流程,其中包括环境构建、持续集成、持续部署等;
  • 自动化运维:有了 DevOps 后,我们就可以对服务进行自动伸缩、故障迁移、配置管理、状态管理等一系列的自动化运维技术了;
  • 服务治理:服务拆分、服务调用、服务发现、服务依赖、服务的关键度定义......服务治理的最大意义是需要把服务间的依赖关系、服务调用链,以及关键的服务给梳理出来,并对这些服务进行性能和可用性方面的管理;
  • 流量控制:最后是我们的流量控制,负载均衡、服务路由、熔断、降级、限流等和流量相 关的调度都会在这里,包括灰度发布之类的功能也在这里。
通过 Docker 以及其衍生出来的 Kubernetes 之类的软件或解决方案,大大地降低了做上面很多事情的门槛。 4、思考     5、参考资料 1)、《分布式系统的技术栈》

标签:架构,运维,系统,调度,技术,分布式系统,服务
From: https://www.cnblogs.com/hlc-123/p/17408932.html

相关文章

  • 1.图片去雾MATLAB代码 图像去雾技术 包括全局及局部直方图均衡化
    1.图片去雾MATLAB代码图像去雾技术包括全局及局部直方图均衡化和基于RETINEX理论去雾三种算法局部直方图和retinex(MSR)的参数,懂算法可以自己调节图像亮度含GUI界面只有代码。ID:495615931294745......
  • 合合信息亮相CCIG2023:多位大咖共话智能文档未来,文档图像内容安全还面临哪些技术难题?
    ​ 近日,中国图象图形大会(CCIG2023)(简称“大会”)在苏州圆满落幕。本届大会以“图象图形·向未来”为主题,由中国科学技术协会指导,中国图象图形学学会主办,苏州科技大学承办,特邀谭铁牛院士、赵沁平院士、吴一戎院士等百余位国内外知名学者,来自代表企业的技术专家,共话图像图形学术研......
  • 分布式系统架构的问题和解决思路
    1、亚马逊做分布式服务架构,遇到了哪些问题,如何解决的?1)采用分布式系统架构后出现的问题:一个线上故障的工单会在不同的服务和不同的团队中转过来转过去;每个团队都可能成为一个潜在的DDoS攻击者,除非每个服务都要做好配额和限流;监控和查错变得更为复杂。除非有非常强大的监......
  • 光纤温度传感技术
    光线测温技术简介及其应用一、光纤探温技术简介光纤(OpticFiber)全称为光导纤维,是一种常用的圆柱形介质波导材料。光纤传感技术实质是通过光纤通讯将光作为被测量的载体对目标进行检测。光纤传感技术具有与所测对象非接触性、测量的精度高和灵敏度高,而且反应速度快等特点。光......
  • 推荐10个AI人工智能技术网站
    推荐:将NSDT场景编辑器加入你的3D工具链3D工具集:NSDT简石数字孪生1、AITrendsAITrends(https://www.aitrends.com/)是一个专注于人工智能领域的网站,它提供了最新的AI技术和应用趋势的报道和分析。该网站的内容涵盖了AI技术的各个方面,包括机器学习、深度学习、自然语言处理、......
  • Git 代码分支管理 | 京东云技术团队
    作者:京东科技周新智一、引言近日,IoT研发团队加入了不少新同学,对git分支的命名和管理方式有些许的模糊,分支的命名规范以及管理方式对项目的版本发布至关重要,为了解决实际开发过程中版本发布时代码管理混乱、冲突等比较头疼的问题,我们将在文中阐述如何更好的管理代码分支。二、总......
  • 楠姐技术漫话:图计算的那些事 | 京东云技术团队
    不知道大家在平时的工作中有没有听说过“图计算”这个名词但大家一定在各工作汇报,技术分享中听说过“智能化”,“人工智能”这样的字眼而我们今天要唠的这个图计算就是人工智能领域内近几年炙手可热的前沿宠儿也是我们风控反欺诈中常用的“大杀器”在了解图计算之前首先得了解什么是......
  • IP网络中的合法监听技术
    127.0.0.1:回环地址。该地址指电脑本身,主要预留测试本机的TCP/IP协议是否正常。只要使用这个地址发送数据,则数据包不会出现在网络传输过程中。10.x.x.x、172.16.x.x~172.31.x.x、192.168.x.x:这些地址被用做内网中。用做私网地址,这些地址不与外网相连。255.255.255.255:广播地址0.0......
  • 工作中如何做好技术积累
    此博客内容也是三年前刚入职不久从Meituan的一个技术分享里二次整理的,常看常新。一.贵在坚持知识更迭的很快,但是基础理论变化缓慢,二者是道和象的关系。众是世间万象,但万变不离其宗。要不断复习基础知识,打好基础。二.重视实践个人的成长70%来自实践,20%来自学习,10%来自......
  • 楠姐技术漫话:图计算的那些事 | 京东云技术团队
    不知道大家在平时的工作中有没有听说过“图计算”这个名词但大家一定在各工作汇报,技术分享中听说过“智能化”,“人工智能”这样的字眼而我们今天要唠的这个图计算就是人工智能领域内近几年炙手可热的前沿宠儿也是我们风控反欺诈中常用的“大杀器”在了解图计算之前首先得......