首页 > 其他分享 >服务器原理与架构分析

服务器原理与架构分析

时间:2023-02-25 05:11:05浏览次数:38  
标签:架构 网关 调用 服务 配置 Eureka 原理 服务器

服务器原理与架构分析

微服务架构实施原理详解

基于微服务架构和Docker容器技术的PaaS云平台建设目标是给我们的开发人员提供一套服务快速开发、部署、运维管理、持续开发持续集成的流程。平台提供基础设施、中间件、数据服务、云服务器等资源,开发人员只需要开发业务代码并提交到平台代码库,做一些必要的配置,系统会自动构建、部署,实现应用的敏捷开发、快速迭代。在系统架构上,PaaS云平台主要分为微服务架构、Docker容器技术、DevOps三部分,这篇文章重点介绍微服务架构的实施。

微服务访问路径

实施微服务需要投入大量的技术力量来开发基础设施,这对很多公司来说显然是不现实的,别担心,业界已经有非常优秀的开源框架供我们参考使用。目前业界比较成熟的微服务框架有Netflix、Spring Cloud和阿里的Dubbo等。Spring Cloud是基于Spring Boot的一整套实现微服务的框架,它提供了开发微服务所需的组件,跟Spring Boot一起使用的话开发微服务架构的云服务会变的很方便。Spring Cloud包含很多子框架,其中Spring Cloud Netflix是其中的一套框架,在我们的微服务架构设计中,就使用了很多Spring Cloud Netflix框架的组件。Spring Cloud Netflix项目的时间还不长,相关的文档资料很少,博主当时研究这套框架啃了很多英文文档,简直痛苦不堪。对于刚开始接触这套框架的同学,要搭建一套微服务应用架构,可能会不知道如何下手,接下来介绍我们的微服务架构搭建过程以及需要那些框架或组件来支持微服务架构。
为了直接明了的展示微服务架构的组成及原理,博主画了一张系统架构图,如下:

 

 

 从上图可以看出,微服务访问大致路径为:外部请求 → 负载均衡 → 服务网关(GateWay)→ 微服务 → 数据服务/消息服务。服务网关和微服务都会用到服务注册和发现来调用依赖的其他服务,各服务集群都能通过配置中心服务来获得配置信息。

服务网关(GateWay)

网关是外界系统(如:客户端浏览器、移动设备等)和企业内部系统之间的一道门,所有的客户端请求通过网关访问后台服务。为了应对高并发访问,服务网关以集群形式部署,这就意味着需要做负载均衡,我们采用了亚马逊EC2作为虚拟云服务器,采用ELB(Elastic Load Balancing)做负载均衡。EC2具有自动配置容量功能,当用户流量达到尖峰,EC2可以自动增加更多的容量以维持虚拟主机的性能。ELB弹性负载均衡,在多个实例间自动分配应用的传入流量。为了保证安全性,客户端请求需要使用https加密保护,这就需要我们进行SSL卸载,使用Nginx对加密请求进行卸载处理。外部请求经过ELB负载均衡后路由到GateWay集群中的某个GateWay服务,由GateWay服务转发到微服务。服务网关作为内部系统的边界,它有以下基本能力:

  • 动态路由:动态的将请求路由到所需要的后端服务集群。虽然内部是复杂的分布式微服务网状结构,但是外部系统从网关看就像是一个整体服务,网关屏蔽了后端服务的复杂性。
  • 限流和容错:为每种类型的请求分配容量,当请求数量超过阀值时抛掉外部请求,限制流量,保护后台服务不被大流量冲垮;党内部服务出现故障时直接在边界创建一些响应,集中做容错处理,而不是将请求转发到内部集群,保证用户良好的体验。
  • 身份认证和安全性控制:对每个外部请求进行用户认证,拒绝没有通过认证的请求,还能通过访问模式分析,实现反爬虫功能。
  • 监控:网关可以收集有意义的数据和统计,为后台服务优化提供数据支持。
  • 访问日志:网关可以收集访问日志信息,比如访问的是哪个服务?处理过程(出现什么异常)和结果?花费多少时间?通过分析日志内容,对后台系统做进一步优化。
    我们采用Spring Cloud Netflix框架的开源组件Zuul来实现网关服务。Zuul使用一系列不同类型的过滤器(Filter),通过重写过滤器,使我们能够灵活的实现网关(GateWay)的各种功能。

服务注册与发现

由于微服务架构是由一系列职责单一的细粒度服务构成的网状结构,服务之间通过轻量机制进行通信,这就引入了服务注册与发现的问题,服务的提供方要注册报告服务地址,服务调用放要能发现目标服务。我们的微服务架构中使用了Eureka组件来实现服务的注册与发现。所有的微服务(通过配置Eureka服务信息)到Eureka服务器中进行注册,并定时发送心跳进行健康检查,Eureka默认配置是30秒发送一次心跳,表明服务仍然处于存活状态,发送心跳的时间间隔可以通过Eureka的配置参数自行配置,Eureka服务器在接收到服务实例的最后一次心跳后,需要等待90秒(默认配置90秒,可以通过配置参数进行修改)后,才认定服务已经死亡(即连续3次没有接收到心跳),在Eureka自我保护模式关闭的情况下会清除该服务的注册信息。所谓的自我保护模式是指,出现网络分区、Eureka在短时间内丢失过多的服务时,会进入自我保护模式,即一个服务长时间没有发送心跳,Eureka也不会将其删除。自我保护模式默认为开启,可以通过配置参数将其设置为关闭状态。
Eureka服务以集群的方式部署,集群内的所有Eureka节点会定时自动同步微服务的注册信息,这样就能保证所有的Eureka服务注册信息保持一致。那么在Eureka集群里,Eureka节点是如何发现其他节点的呢?我们通过DNS服务器来建立所有Eureka节点的关联,在部署Eureka集群之外还需要搭建DNS服务器。
当网关服务转发外部请求或者是后台微服务之间相互调用时,会去Eureka服务器上查找目标服务的注册信息,发现目标服务并进行调用,这样就形成了服务注册与发现的整个流程。Eureka的配置参数数量很多,多达上百个,博主会在另外的文章里详细说明。

微服务部署

微服务是一系列职责单一、细粒度的服务,是将我们的业务进行拆分为独立的服务单元,伸缩性好,耦合度低,不同的微服务可以用不同的语言开发,每一个服务处理的单一的业务。微服务可以划分为前端服务(也叫边缘服务)和后端服务(也叫中间服务),前端服务是对后端服务做必要的聚合和剪裁后暴露给外部不同的设备(PC、Phone等),所有的服务启动时都会到Eureka服务器进行注册,服务之间会有错综复杂的依赖关系。当网关服务转发外部请求调用前端服务时,通过查询服务注册表就可以发现目标服务进行调用,前端服务调用后端服务时也是同样的道理,一次请求可能涉及到多个服务之间的相互调用。由于每个微服务都是以集群的形式部署,服务之间相互调用的时候需要做负载均衡,因此每个服务中都有一个LB组件用来实现负载均衡。
微服务以镜像的形式,运行在Docker容器中。Docker容器技术让我们的服务部署变得简单、高效。传统的部署方式,需要在每台服务器上安装运行环境,如果我们的服务器数量庞大,在每台服务器上安装运行环境将是一项无比繁重的工作,一旦运行环境发生改变,就不得不重新安装,这简直是灾难性的。而使用Docker容器技术,我们只需要将所需的基础镜像(JDK等)和微服务生成一个新的镜像,将这个最终的镜像部署在Docker容器中运行,这种方式简单、高效,能够快速部署服务。每个Docker容器中可以运行多个微服务,Docker容器以集群的方式部署,使用Docker Swarm对这些容器进行管理。我们创建一个镜像仓库用来存放所有的基础镜像以及生成的最终交付镜像,在镜像仓库中对所有镜像进行管理。

服务容错

微服务之间存在错综复杂的依赖关系,一次请求可能会依赖多个后端服务,在实际生产中这些服务可能会产生故障或者延迟,在一个高流量的系统中,一旦某个服务产生延迟,可能会在短时间内耗尽系统资源,将整个系统拖垮,因此一个服务如果不能对其故障进行隔离和容错,这本身就是灾难性的。我们的微服务架构中使用了Hystrix组件来进行容错处理。Hystrix是Netflix的一款开源组件,它通过熔断模式、隔离模式、回退(fallback)和限流等机制对服务进行弹性容错保护,保证系统的稳定性。

  • 熔断模式:熔断模式原理类似于电路熔断器,当电路发生短路时,熔断器熔断,保护电路避免遭受灾难性损失。当服务异常或者大量延时,满足熔断条件时服务调用方会主动启动熔断,执行fallback逻辑直接返回,不会继续调用服务进一步拖垮系统。熔断器默认配置服务调用错误率阀值为50%,超过阀值将自动启动熔断模式。服务隔离一段时间以后,熔断器会进入半熔断状态,即允许少量请求进行尝试,如果仍然调用失败,则回到熔断状态,如果调用成功,则关闭熔断模式。
  • 隔离模式:Hystrix默认采用线程隔离,不同的服务使用不同的线程池,彼此之间不受影响,当一个服务出现故障耗尽它的线程池资源,其他的服务正常运行不受影响,达到隔离的效果。例如我们通过andThreadPoolKey配置某个服务使用命名为TestThreadPool的线程池,实现与其他命名的线程池隔离。
  • 回退(fallback):fallback机制其实是一种服务故障时的容错方式,原理类似Java中的异常处理。只需要继承HystixCommand并重写getFallBack()方法,在此方法中编写处理逻辑,比如可以直接抛异常(快速失败),可以返回空值或缺省值,也可以返回备份数据等。当服务调用出现异常时,会转向执行getFallBack()。有以下几种情况会触发fallback:
  • 程序抛出非HystrixBadRequestExcepption异常,当抛出HystrixBadRequestExcepption异常时,调用程序可以捕获异常,没有触发fallback,当抛出其他异常时,会触发fallback;
  • 程序运行超时;
  • 熔断启动;

线程池已满。

  • 限流:限流是指对服务的并发访问量进行限制,设置单位时间内的并发数,超出限制的请求拒绝并fallback,防止后台服务被冲垮。
    Hystix使用命令模式HystrixCommand包装依赖调用逻辑,这样相关的调用就自动处于Hystrix的弹性容错保护之下。调用程序需要继承HystrixCommand并将调用逻辑写在run()中,使用execute()(同步阻塞)或queue()(异步非阻塞)来触发执行run()。

动态配置中心

微服务有很多依赖配置,某些配置参数在服务运行期间可能还要动态修改,比如:根据访问流量动态调整熔断阀值。传统的实现信息配置的方法,比如放在xml、yml等配置文件中,和应用一起打包,每次修改都要重新提交代码、打包构建、生成新的镜像、重新启动服务,效率太低,这样显然是不合理的,因此我们需要搭建一个动态配置中心服务支持微服务动态配置。我们使用Spring Cloud的configserver服务帮我们实现动态配置中心的搭建。我们开发的微服务代码都存放在Git服务器私有仓库里面,所有需要动态配置的配置文件存放在Git服务器下的configserver(配置中心,也是一个微服务)服务中,部署到Docker容器中的微服务从Git服务器动态读取配置文件的信息。当本地Git仓库修改代码后push到Git服务器仓库,Git服务端hooks(post-receive,在服务端完成代码更新后会自动调用)自动检测是否有配置文件更新,如果有,Git服务端通过消息队列给配置中心(configserver,一个部署在容器中的微服务)发消息,通知配置中心刷新对应的配置文件。这样微服务就能获取到最新的配置文件信息,实现动态配置。
以上这些框架或组件是支撑实施微服务架构的核心,在实际生产中,我们还会用到很多其他的组件,比如日志服务组件、消息服务组件等等,根据业务需要自行选择使用。在我们的微服务架构实施案例中,参考使用了很多Spring Cloud Netflix框架的开源组件,主要包括Zuul(服务网关)、Eureka(服务注册与发现)、Hystrix(服务容错)、Ribbon(客户端负载均衡)等。这些优秀的开源组件,为我们实施微服务架构提供了捷径。
以上篇幅主要介绍了微服务架构的基本原理,其中有些比较细节的东西,比如Eureka的各项参数配置说明、动态配置中心搭建过程等,博主会在其他的文章中做出详细的说明,供大家参考。

一文了解微服务架构的分解设计

 

 

 如果在设计大型并发应用程序或者准备拆解之前的老系统时,我想你第一考虑的是微服务架构方式。

前面我们了解到微服务架构将应用程序构建为一系列松散耦合的服务,是为了通过实现持续交付和灵活部署来加速软件开发。

出于很原因,分解很重要

  • 有利于分工和知识共享。使用它,具有特殊知识的多个人(或团队)可以在一个应用程序上高效地合作。
  • 它描述了多个元素如何交互。

在微服务下,有两种类型的项目

  1. 待重新开发项目—国外译名:Brownfield projects,是指在现有或遗留系统的背景下开发和部署新的软件系统。因此,将单体应用程序转换为微服务是属于这种类型项目。
  2. 新建项目——是指从头开始为一个全新的系统,而无需使用任何遗留代码。当您从头开始时,没有任何限制或依赖性。

一、按业务能力模式分解

为了创建微服务架构,一种策略是基于业务能力进行分解。作为一家企业,项目是为了创造价值。例如,在电子商务业务中,订单管理、库存管理、支付、运输等都涉及。

 

 

 这种模式有以下好处

  1. 业务能力比较稳定,架构依赖的业务逻辑比较稳定。
  2. 开发团队是跨职能的、自主的,并且围绕交付业务价值而非技术特性进行组织。
  3. 服务是松散耦合和内聚的。

二、按子域模式分解

领域驱动设计 (DDD) 方法是一种构建复杂软件应用程序的方法,它基于面向对象领域模型的开发。DDD 为每个子域定义了单独地域模型。每个子域都属于一个域。识别子领域与识别业务能力的过程比较相似,即分析业务和识别专业领域。最有可能的是,大多数是业务熟悉的子域。领域模型的范围在 DDD 中称为有界上下文。有界上下文包括实现模型的代码组件。

 

 

 子域可以分类如下

  1. 核心—业务的最大差异化因素和应用程序最有价值的部分,在一些公司经常有核心系统项目,有核心报价子系统,核心定价子系统等
  2. 支持—不是差异化因素,而是与业务提供的内容相关。通常在内部或外包实施。
  3. 通用—不特定于业务,最好使用现成的软件实施。

这种模式有以下好处

  1. 子域职能比较稳定,架构相对也比较稳定。
  2. 开发团队(通常会设计到组建虚拟团队)是跨职能的、自主的,并且专注于交付业务价值而不是技术特性。
  3. 服务是松散耦合和内聚的。

三、将单体应用程序分解为微服务时的挑战

在分解单体应用程序时,可能会出现挑战。

  1. 网络延迟—在分布式系统中,网络延迟是一个持续关注的问题。您可能会发现对服务的特定分解会导致两个服务之间的大量往返。
  2. 数据一致性—每个服务都有自己的数据库,因此维护跨服务的数据一致性会非常困难。
  3. 神类(捂脸哭一下)—神类是控制系统中太多其他对象的对象,它超越了逻辑,成为了无所不能的类。由于其规模和复杂性,它是一个集中系统智能的类,并使用来自其他类的信息。

四、扼杀者模式

将遗留的单体应用程序迁移到微服务架构时,会使用 Strangler 模式。通过用新服务替换特定功能,可以使用这种模式逐步转换单体应用程序。新服务一旦准备好,旧组件就被扼杀,新服务投入使用,而旧组件退役。

 

 

 单体应用最终会缩小功能,而微服务将接管整体功能。另外,搜索公众号Linux就该这样学后台回复“猴子”,获取一份惊喜礼包。

 

 

 

 

参考文献链接

https://www.cnblogs.com/fangfuhai/p/7065847.html

www.jianshu.com/p/b44386418a9d

标签:架构,网关,调用,服务,配置,Eureka,原理,服务器
From: https://www.cnblogs.com/wujianming-110117/p/17153679.html

相关文章

  • 数据库索引的底层原理
    1.数据库索引数据库每次做的DML(增删改查)操作都是要进行磁盘IO的读取,每次操作磁盘IO,会消耗很大的时间,所以引入索引这个概念,索引它是将无序的数据变得有序化,即在数据被......
  • 最易懂的Prometheus告警原理详解
    通俗易懂的一篇文章,主要介绍了Prometheus什么时候告警,什么时候不会告警。同时介绍了Prometheus告警原理。 警报是监控系统中必不可少的一块,当然了,也是最难......
  • 今天中午 看到 反相吧 一个 探讨 飞碟原理 的 帖, 看了很想笑
    今天 (2023-02-23)  中午起个大早, 太阳高照,  边吃早点边看贴吧,  看到反相吧  @飞羽滴露漪春湖  《飞碟物理原理初探》   https://tieba.baidu.c......
  • Redis设计与实现—复制原理
    前言Redis中的复制命令原理@目录前言一、旧版复制原理1.1同步1.2命令传播1.3旧版复制的缺陷二、新版复制原理2.1部分重同步2.1.1复制偏移量2.1.2复制积压缓冲区2......
  • 透明多级分流系统(架构扫盲贴)
    引子现代互联网系统,架构设计时避不开的一点就是流量规划、负载均衡。期望做到透明、多级的分流系统。“多级”就是在各个层面的技术组件来分流,“透明”就是业务无感知(甚至......
  • 一文带你了解线程池原理
    一文带你了解线程池原理1.使用线程池的意义何在?​ 项目开发中,为了统一管理线程,并有效精准地进行排错,我们经常要求项目人员统一使用线程池去创建线程。因为我们是在受不......
  • EasyCVR使用S3存储正常,重启服务器后不能启动是什么原因?
    EasyCVR视频融合平台基于云边端协同架构,具有强大的数据接入、处理及分发能力。平台可支持多协议、多类型设备接入,包括国标GB28181、RTMP、RTSP/Onvif、海康SDK、大华SDK、海......
  • 定时任务原理方案综述
    定时任务原理方案综述https://mp.weixin.qq.com/s/u6EFPVql4IuoG9-NJLDhsA定时任务原理方案综述原创 肖明睿 京东技术 2023-02-2319:00 发表于北京 Tech导读......
  • 免费开源的邮件服务器搭建
    最近工作中用到邮件,用163和qq还需要设置授权码和外网,而且没有匿名发送邮件功能。网上找了个开源的邮件服务器(ewomail)用来测试。顺便记录下部署过程。环境CentOSLinuxre......
  • 数据库架构、SQL漏洞注入
    找到数据库中的table表和colmuns表,里面是本机所有的数据库。    在vscode中找到php中的sql语句。      只有list.php中的第46行是有变量的sql语句,......