首页 > 编程语言 >《分布式技术原理与算法解析》学习笔记Day24

《分布式技术原理与算法解析》学习笔记Day24

时间:2023-02-27 09:35:05浏览次数:43  
标签:缓存 Day24 Redis Memcached 算法 同步 数据 分布式

分布式缓存

在计算机领域,缓存是一个非常重要的、用来提升性能的技术。

什么是分布式缓存?

缓存技术是指用一个更快的存储设备存储一些经常用到的数据,供用户快速访问。

分布式缓存是指在分布式环境或者系统下,把一些热门数据存储到离用户近、离应用近的位置,并尽量存储到更快的设备,以减少远程数据传输的延迟,让用户和应用可以很快访问到需要的数据。

分布式数据缓存属于计算机应用中的缓存的一种,计算机应用中的缓存,一般代指内存,即内存存储了用户经常访问的数据,用户或者应用不再需要到磁盘中去获取相应的数据,大幅提高访问速度。

分布式缓存原理

下面以常见的Redis和Memcached为例,描述分布式缓存的原理。

Redis分布式缓存

Redis的全称是Remote Dictionary Server,它以字典结构将数据存储到内存中,应用直接到内存中读写Redis存储的数据。

Redis集群是一个典型的去中心化结构,每个节点负责存储一部分数据,同时,每个节点会进行主备设计来提高Redis的可靠性。

Redis和缓存关系最紧密的三个特性:

  • 支持多数据结构
  • 支持持久化
  • 主备同步

Redis支持多数据结构

Redis是一个基于内存的key-value数据库,它支持的数据结构不仅有简单的k/v类型,还可以支持List、Set、Hash等复杂类型的存储。

Redis支持持久化

Redis存储的数据是基于内存的,但它也提供了持久化机制,即将数据从内存写入到磁盘中。

Redis提供的持久化有两种方式:

  • RBD(Redis Database),快照方式,Redis会定时将内存中的数据备份到磁盘中,形成一个快照,当节点出现故障时,可以根据快照恢复到不同版本的数据。它带来的问题是可能会造成数据丢失,当节点出现故障时,新数据可能还没有备份到磁盘。
  • AOF(Append Only File),它的核心思想是通过使用类似于binary log的方式,来解决RBD快照存在的数据丢失问题。有三种不同的AOF策略可以选择:
    • AOF_FSYNC_NO(不同步)
    • AOF_FSYNC_EVERYSEC(每秒同步)
    • AOF_FSYNC_ALWAYS(每次写都同步)

Redis默认采用AOF_FSYNC_EVERYSEC策略,这样一旦出现故障,最多只会丢失一秒的数据。

Redis支持主备同步

Redis采用异步复制技术来实现主备同步,它可以通过min-replicas-to-write和min-replicas-max-lag参数来设置同步策略。

除了写数据时同步,以下两种情况也需要同步:

  • 备数据库刚启动时需要进行数据同步。
  • 因为网络故障导致主备数据库断开连接,等待网络恢复后,需要进行数据同步。

Redis提供了2种类型的同步机制:

  • 完整重同步
  • 部分重同步

完整重同步的流程如下:

  1. 当备服务器启动时,会向主服务器发送SYNC命令。
  2. 主服务器收到命令后会生成RDB文件,并记录从现在开始新执行的写操作。
  3. RBD生成后会发送给备服务器,备服务器通过RDB文件进行数据更新。
  4. 更新完成后,主服务器再将新记录的写操作发送给备服务器,备服务器执行完这些新记录的写操作,便和主服务器的数据保持一致了。

部分重同步是指当网络恢复后,主数据库将主备数据库断开连接后的一系列写操作发送给备服务器,备数据库执行这些写操作,从而保证主备数据保持一致。

主备数据库会共同维护一个复制偏移量,这样主数据库就知道应该将哪些写操作发给备数据库,备数据库同步时也知道应该从哪里继续执行操作。

Memcached分布式缓存原理

Memcached是一个基于内存的高性能key-value缓存数据库。

Memcached集群采用一致性哈希思路,使用Ketama算法,它的主要思想就是带虚拟节点的一致性哈希算法。在实际应用中,每个物理节点对应100-200个虚拟节点。

Memcached仅支持简单的k/v数据类型,如果想要存储复杂的数据类型,例如List、Set或者Hash,需要客户端自己处理,将其转化为字符串后进行存储,这样导致它操作不灵活。

Memcached不支持持久化,当服务器重启后,Memcached存储的数据会全部丢失。

Memcached中服务器和服务器之间没有任何通信,它自身不支持主备,但可以通过第三方来实现。

Redis和Memcached详细的比较如下。

标签:缓存,Day24,Redis,Memcached,算法,同步,数据,分布式
From: https://www.cnblogs.com/wing011203/p/17158571.html

相关文章

  • 算法题-模拟商场优惠打折
    模拟商场优惠打折:有三种优惠可以用,满减券,打折券和无门槛券满减券:满100减10,满200减20,依次递推打折券:92折,每次打折完向下取整,一次购物只能用一次无门槛券:一张券减5元,多张......
  • 特斯拉自动驾驶算法和模型解读
    特斯拉自动驾驶算法和模型解读特斯拉是一个典型的AI公司,过去一年训练了75000个神经网络,意味着每8分钟就要出一个新的模型,共有281个模型用到了特斯拉的车上。接下来我们分......
  • 七种常见的分布式事务
    分布式事务:在分布式系统中一次操作需要由多个服务协同完成,这种由不同的服务之间通过网络协同完成的事务称为分布式事务。七种:2PC,3PC,TCC,Saga,本地事务表,MQ事务消息,最大努力......
  • 数据结构(借鉴408)-高阶算法的应用
    数据结构高阶算法的应用算法分析和解题的一般套路算法解法暴力解:枚举解法可行解:目标解法最优解:缘分解法算法解题得分套路结构体定义算法思想和算法步骤......
  • 算法刷题 Day 56 | ● 583. 两个字符串的删除操作 ● 72. 编辑距离 ● 编辑距离总结
    583.两个字符串的删除操作本题和动态规划:115.不同的子序列相比,其实就是两个字符串都可以删除了,情况虽说复杂一些,但整体思路是不变的。https://programmercarl.com/0......
  • 【算法】排序算法之归并排序
    原文网址:https://zhuanlan.zhihu.com/p/124356219前几回,在前面已经对冒泡排序、直接插入排序、希尔排序、选择排序、快速排序做了说明分析。这回,将对归并排序进行相关说明......
  • 每日算法--2023.2.26
    1.面试题59-II队列的最大值classMaxQueue{//该题的重点在于以o(1)的时间复杂度找到队列中最大的元素,如果只单纯维护当前队列一个最大的值,当该值出队后第二大的值找......
  • 数据结构与算法概述
     一、数据结构与算法简介从广义上讲,数据结构是指一组数据的存储结构。算法是操作数据的一组方法。从狭义上讲,数据结构与算法是指某些著名的数据结构和算法,比如数组、列......
  • 4.10-替换算法
    需要替换算法的原因程序运行一段时间后,Cache存储空间被占满,当再有新的数据要调入时,就需要通过某种机制决定替换的对象集中常见的替换算法先进先出-FIFO最不经常使用......
  • 回调函数和如何使用qsort函数以及最后如何运用冒泡排序完成一个各类型数据都适用的排
    首先回调函数就是通过一个函数指针调用的函数。简言之就是如果你把函数的指针作为参数传递给另一个函数,当这个指针被用来调用其所指向的函数时,我们就说这就是回调函数。回调......