首页 > 系统相关 >一种基于Nginx的热点数据调度处理方法

一种基于Nginx的热点数据调度处理方法

时间:2023-08-10 16:27:43浏览次数:46  
标签:基于 请求 处理 调度 Agent Nginx 热点 节点

本文分享自天翼云开发者社区《一种基于Nginx的热点数据调度处理方法》,作者:康****彬

一、应用场景

    基于Nginx的热点数据调度处理,热点节点数据负载均衡处理,减少热点节点压力,提高处理和访问效率;每一个节点的nginx服务接收大量的访问,但是每个节点处理请求都有一个峰值,当请求数达到峰值时,后续请求的处理效率就会有一定的下降,为了保证请求能及时处理,热点节点会触发请求调度策略,转发请求到非热点节点进行处理,若无非热点节点,则触发分布式节点策略,备机节点会启动Nginx服务处理,并接收热点节点转发过来的请求,从而提升访问及处理效率。

二、解决的问题

    解决大量http请求同一个Nginx节点繁忙的问题,做到快速响应。 解决Nginx集群每个节点超负荷接收请求的问题,自动触发分布式策略处理。 解决现有实现方案可能存在的单点失效、配置不灵活的问题。 

三、部署流程图

 

1、客户端:用户通过客户端发起HTTP请求。

2、Nginx主机:负责接收客户端 的HTTP请求。

3、Nginx备机:等待被Agent唤 醒的空闲Nginx节点。

4、Agent代理主机:负责和Nginx节点服务进行交互,包括启动空闲Nginx备机、注销Nginx节点服务等。

5、Agent代理备机:作为Agent主机的备用机器,Agent主机宕机的时候,会自动启动备机作为主机,然后发出告警。

6、Redis缓存:存放策略配置以及主机IP访问量等信息。

四、主要流程图

 

主要流程如下:

 Nginx服务接收到客户端HTTP请求之后,先读取redis中该请求IP的总访问量,判断如果达到配置策略的峰值,则需要获取峰值策略判断,如果配置的是控制访问策略,则拒绝该IP的请求;如果配置的是非热点访问策略,则通知Agent转发到非热点Nginx节点;如果全部Nginx节点都达到峰值,则请求Agent发送到备用的Nginx节点上。

标签:基于,请求,处理,调度,Agent,Nginx,热点,节点
From: https://www.cnblogs.com/developer-tianyiyun/p/17620667.html

相关文章

  • 基于轻量级OpenPose的人体骨架提取
    1、项目源码及权重文件下载项目源码:https://github.com/Daniil-Osokin/lightweight-human-pose-estimation.pytorch/blob/master/demo.py权重文件:https://download.01.org/opencv/openvino_training_extensions/models/human_pose_estimation/checkpoint_iter_370000.pth需要注......
  • 基于RiceQuant的期货多因子策略实现(二)
    前言介绍期货交易经典理论介绍期货因子大类分类通过构建时序与截面因子,构建多空组合。交易理论现货溢价理论(套保者影响)对冲压力假说(期货价格由现货价格和对冲需求共同决定)存储理论(商品的存储影响现货和期货之间的价格关系,存储成本低,市场预期未来价格上涨时,商人会选择购......
  • Mac M1基于Docker Desktop部署Gitlab
    一、拉取镜像##这个是gitlab的arm64镜像dockerpullyrzr/gitlab-ce-arm64v8二、配置容器镜像下载完成后,可在DockerDesktop看到镜像点击run,弹出以下界面,配置端口映射和目录挂载后,即可生成一个容器三、启动gitlab容器四、配置Gitlab以下操作需要在Gitlab容器的命令......
  • 基于AIRIOT平台构建低成本、更聪明的智能环卫系统,让管理更加高效智能
    环卫工程作为城市基础设施保障,是城市建设管理中不可或缺的重要组成部分。随着城市进程的加快及技术的进步,环卫工程管理也在逐渐向精细化、智能化、绿色化等趋势发展。智能环卫依托物联网、AI、大数据等技术,对环卫管理所涉及到的人、车、物、事进行全过程实时监测,解决环卫发展过......
  • Nginx 大文件分片上传处理
    ​ 以ASP.NETCoreWebAPI 作后端 API ,用 Vue 构建前端页面,用 Axios 从前端访问后端 API,包括文件的上传和下载。 准备文件上传的API #region 文件上传  可以带参数        [HttpPost("upload")]        publicJsonResultuploadProject(I......
  • nginx动静分离及Rewrite实战
                  (1)location=/{}=为精确匹配/,主机名后面不能带任何字符串,比如访问/和/data,则/匹配,/data不匹配再比如location=/abc,则只匹配/abc,/abc/或/abcd不匹配。若location/abc,则即匹配/abc、/abcd/同时也匹......
  • 基于JS的租房网站设计与实现
    随着社会的快速发展,计算机的影响是全面且深入的。人们生活水平的不断提高,日常生活中人们对租房信息方面的要求也在不断提高,租房的数量更是不断增加,使得租房网站的开发成为必需而且紧迫的事情。租房网站主要是借助计算机,通过对租房网站所需的信息管理,增加用户的选择,同时也方便对广大......
  • 基于Field_II_ver_3_24_windows_gcc工具箱的超声波二维成像与三维成像matlab仿真
    1.算法理论概述1.1超声波成像的基本原理       超声波成像是一种通过超声波对物体进行成像的技术。超声波成像的原理是利用超声波在不同组织之间传播速度不同的特点,探测物体内部的结构。超声波成像可以分为二维成像和三维成像两种。二维成像是将超声波探头沿一个方向......
  • m基于DM-OFDM-IM技术的索引OFDM调制解调系统的性能matlab仿真分析
    1.算法仿真效果matlab2022a仿真结果如下:    2.算法涉及理论知识概要        随着无线通信技术的不断发展,人们对下一代移动通信系统提出了越来越高的要求。在这样的时代背景下,具有低峰均比,强频偏对抗能力和高能量效率的索引调制OFDM系统(OrthogonalFrequ......
  • 开发基于RESTful API的ASP.NET Web应用程序
    当开发基于RESTfulAPI的ASP.NETWeb应用程序时,您将构建一个可以通过HTTP请求进行交互的应用程序,它可以提供数据和功能给客户端应用程序或其他服务。在本博客中,我将为您提供一个基本的教程,演示如何创建一个简单的ASP.NETWeb应用程序,并实现基于RESTfulAPI的功能。步骤1:设置开发环......