首页 > 其他分享 >分布式系统架构7:本地缓存

分布式系统架构7:本地缓存

时间:2025-01-18 17:57:42浏览次数:3  
标签:缓存 架构 策略 命中率 访问 分布式系统 淘汰 数据

1.引入缓存的影响

我们在开发时,用到缓存的情况,无非就是为了减少客户端对相同资源的重复请求,降低服务器的负载压力。引入缓存后,既有好处也有坏处

引入缓存负面影响:

  • 开发角度,增加了系统复杂度,需考虑缓存失效、更新、一致性问题

  • 运维角度,缓存会掩盖一些缺陷问题

  • 安全角度,缓存可能泄密某些保密数据

引入缓存的理由:

  • 为了缓解CPU压力,将实时计算运行结果存储起来,节省CPU压力

  • 为了缓解I/O压力,将原本对网络、磁盘的访问改为对内存的访问

2.缓存的属性

选择缓存时,主要考虑吞吐量、命中率、扩展功能、分布式支持。 前3个这篇文章会讲,下一篇再讲分布式缓存

2.1吞吐量

并发场景下,每秒操作数OPS,反映了缓存的工作效率

如Java8并发包的ConcurrentHashMap,线程安全实现原理是CAS+synchronized锁单个元素。但是该类仅有缓存功能,没有命中率、淘汰策略、缓存统计等功能

并发场景下,不可避免的会有读写数据带来的状态竞争问题,当前有2种处理套路:

  • 以Guava Cache为代表的同步处理机制:在访问缓存数据时,一并完成缓存淘汰、统计、失效等状态变更操作,通过分段加锁等优化手段来尽量减少数据竞争。

  • 以Caffeine为代表的异步日志提交机制:参考经典的数据库设计理论,把对数据的读、写过程看作是日志(即对数据的操作指令)的提交过程。

Caffeine使用了环形缓冲区来记录状态变动日志,为进一步减少数据竞争,Caffeine给每个线程都设置了专用的环形缓冲区,如下是Wikipedia上的环形缓冲示意:

环形缓冲区结构中,读取和写入是一起进行的,只要读取指针不落后于写指针一圈,这个操作可以永久进行下去,容纳无限多的新字符。

如果不满足,则必须阻塞写指针,等待读取清空缓冲区

2.2 命中率与淘汰策略

缓存的容量是有限的,也因此需要自动地实现淘汰低价值目标,也就是缓存淘汰策略

主要实现方案有三种:

第一种:FIFO(First In First Out)

优先淘汰最早进入被缓存的数据。FIFO 的实现十分简单,但一般来说,越是频繁被用到的数据,往往越会早早地被存入缓存之中。

所以这种淘汰策略,很可能会大幅降低缓存的命中率

第二种:LRU(Least Recent Used)

优先淘汰最久未被使用访问过的数据。LRU 通常会采用 HashMap 加 LinkedList 的双重结构(如 LinkedHashMap)来实现。每次缓存命中时,将命中对象调整到LinkedList的头部,每次淘汰从链表尾部清理

存在问题:如果热点数据一段时间没被访问,就会被淘汰;

第三种:LFU(Least Frequently Used)

优先淘汰最不经常使用的数据。LFU 会给每个数据添加一个访问计数器,每访问一次就加 1,当需要淘汰数据的时候,就清理计数器数值最小的那批数据。

缺点:每个数据都需要维护计数器,不便于处理随时间变化的热点数据

以上只是列了三种基础的淘汰策略,实际Caffeine 官方还制定了两种高级淘汰策略:ARC(Adaptive Replacement Cache)和LIRS(Low Inter-Reference Recency Set),更复杂的淘汰策略都是为了提高命中率的。

3.扩展功能

缓存不是只实现一个Map接口就可以的,还需要一些额外的功能,下面列出缓存的扩展功能:

  • 加载器:从被动放入,变为主动通过加载器去加载指定 Key 值的数据

  • 淘汰策略:支持用户根据需要自行选择淘汰策略

  • 失效策略:缓存数据在超过一定时间内自动失效,Redis的策略是定时删除、定期删除、惰性删除

  • 事件通知:提供事件监听器,在数据状态变动时进行一些额外操作

  • 并发级别:如Guava Cache通过分段加锁来实现缓存的并发设置

  • 容量控制:设置初始容量和最大容量

  • 统计信息:命中率、平均加载时间、自动回收计数等信息

  • 持久化:将缓存数据存储到数据库或者磁盘

4.本地缓存对比

文章转载自:卷福同学

原文链接:分布式系统架构7:本地缓存 - 卷福同学 - 博客园

体验地址:引迈 - JNPF快速开发平台_低代码开发平台_零代码开发平台_流程设计器_表单引擎_工作流引擎_软件架构

标签:缓存,架构,策略,命中率,访问,分布式系统,淘汰,数据
From: https://blog.csdn.net/kfashfasf/article/details/145222190

相关文章

  • SpringCloud+Vue+Python人工智能(fastAPI,机器学习,深度学习)前后端架构各功能实现思路
    随着公司业务的增加,公司需要一个java+python人工智能相互配合架构,正常网站业务用java来做,而ai,例如电价预测等回归任务,以及大模型预测全网负荷,新能源出力等任务,使用python通过fastapi暴露接口来做,那么就需要springcloud架构注册发现。前端统一使用Vue进行效果的展示因此本......
  • 内存和缓存有什么区别?
    内存和缓存之间的区别主要体现在以下几个方面:主体不同:内存是计算机中重要的部件之一,它是外存与CPU进行沟通的桥梁,用于暂时存放CPU中的运算数据,以及与硬盘等外部存储器交换的数据。缓存则是指访问速度比一般随机存取存储器(RAM)快的一种高速存储器,它可以进行高速数据交换,先于内......
  • 【MySQL架构】图解
    你是一个程序员,你做了一个网站应用,站点里的用户数据,需要存到某个地方,方便随时读写。很容易想到可以将数据存到文件里。但如果数据量很大,想从大量文件数据中查找某部分数据,并更新,是一件很痛苦的事情。那么问题就来了,有办法可以解决这个问题吗?好办,没有什么是加一层中间层不能解......
  • 彻底讲清楚 单体架构、集群架构、分布式架构及扩展架构
    目录什么是系统架构单体架构介绍示例图优点缺点集群架构介绍示意图优点缺点分布式架构示意图优点缺点生态扩展介绍示意图优点缺点扩展:分布式服务解析纵切拆服务全链路追踪能力循环依赖全链路日志(End-to-EndLogs)阅前提醒:前后端分离架构是前后端之......
  • 【Nameko库】一个用于构建分布式系统的Python库
    1.微服务介绍微服务架构是一种将应用程序拆分为多个小型服务的方法,每个服务都可以独立开发、部署和扩展。这种架构使得应用程序更加模块化、可维护和可扩展。微服务架构的核心在于服务间的通信,主要有同步通信(如RESTful和RPC)和异步通信(如消息中间件)两种方式。典型的微服务架构有......
  • 【书籍连载】《软件测试架构实践与精准测试》 川模型组织架构分析
    各位软件领域的精英们,今天小编邀请你继续深入学习《软件测试架构实践与精准测试》。《软件测试架构实践与精准测试》是作者李龙(安畅检测首席技术专家)基于软件测试“川模型”的著作。本书结合作者首次提出的软件测试新的模型“川模型”测试架构,并与精准测试理念相结合的方式,......
  • 高级java每日一道面试题-2025年01月16日-框架篇[Mybatis篇]-说说Mybatis的缓存机制?
    如果有遗漏,评论区告诉我进行补充面试官:说说Mybatis的缓存机制?我回答:在Java高级面试中,MyBatis的缓存机制是一个重要的话题。MyBatis是一个流行的Java持久化框架,它提供了强大的数据库访问能力和灵活的SQL映射配置。为了提高查询性能并减少数据库访问次数,MyBatis引入了......
  • 基于 KubeSphere v4 的 Kubernetes 生产环境部署架构设计及成本分析
    本文作者:运维有术。今天分享的主题是:如何规划设计一个高可用、可扩展的中小规模生产级K8s集群?通过本文的指导,您将掌握以下设计生产级K8s集群的必备技能:集群规划能力合理规划节点规模和资源配置设计高可用的控制平面、计算平面、存储平面架构规划网络拓扑和安全策略制......
  • 网站目录中的PHP脚本无法写入,导致缓存文件生成失败
    根据您的描述,您遇到了网站目录中的PHP脚本无法写入的问题,这直接影响了缓存文件的生成,进而导致网站运行不正常。具体来说,espcms_datacache/_templates 和 espcms_datacache/dbcache 目录下的PHP文件无法写入,这对网站性能和功能产生了负面影响。要解决这个问题,您可以按照以下步......
  • DeepSeek-V3 的 MoE 架构解析:细粒度专家与高效模型扩展
    DeepSeek-V3采用的DeepSeekMoE架构,通过细粒度专家、共享专家和Top-K路由策略,实现了模型容量的高效扩展。每个MoE层包含1个共享专家和256个路由专家,每个Token选择8个路由专家,最多路由至4个节点。这种稀疏激活的机制,使得DeepSeek-V3能够在不显著增加计算成本的......