文章目录
上一篇 九、Redis事务 下一篇 十一、Redis持久化之AOF一、总体介绍
官网介绍:http://www.redis.io
Redis提供了两个不同形式的持久化方式
- RDB(Redis DataBase)
- AOF(Append Of File)
二、RDB(Redis DataBase)
2.1 官网介绍
2.2 RDB是什么
在指定的时间间隔内将内存中的数据集快照写入磁盘, 也就是行话讲的Snapshot快照,它恢复时是将快照文件直接读到内存里
2.3 备份是如何执行的
Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到 一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件。 整个过程中,主进程是不进行任何IO操作的,这就确保了极高的性能 如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那RDB方式要比AOF方式更加的高效。RDB的缺点是:最后一次持久化后的数据可能丢失。
2.4 Fork
- Fork的作用是复制一个与当前进程一样的进程。新进程的所有数据(变量、环境变量、程序计数器等) 数值都和原进程一致,但是是一个全新的进程,并作为原进程的子进程。
- 在Linux程序中,fork()会产生一个和父进程完全相同的子进程,但子进程在此后多会exec系统调用,出于效率考虑,Linux中引入了“写时复制技术”
- 一般情况父进程和子进程会共用同一段物理内存,只有进程空间的各段的内容要发生变化时,才会将父进程的内容复制一份给子进程。
2.5 RDB持久化流程
2.6 dump.rdb文件
在redis.conf中配置文件名称,默认为dump.rdb
2.7 配置位置
rdb文件的保存路径,也可以修改。默认为Redis启动时命令行所在的目录下
dir "/myredis/"
2.8如何触发RDB快照;保持策略
2.8.1 配置文件中默认的快照配置
2.8.2 命令save VS bgsave
save :save时只管保存,其它不管,全部阻塞。手动保存。不建议。
bgsave:Redis会在后台异步进行快照操作, 快照同时还可以响应客户端请求。
可以通过 lastsave
命令获取最后一次成功执行快照的时间
2.8.3 flushall命令
执行flushall命令,也会产生dump.rdb文件,但里面是空的,无意义
2.8.4 SNAPSHOTTING快照
2.8.5 Save
- 格式:
save 秒钟 写操作次数
- RDB是整个内存的压缩过的Snapshot,RDB的数据结构,可以配置复合的快照触发条件,
- 默认是1分钟内改了1万次,或5分钟内改了10次,或15分钟内改了1次。
- 禁用:不设置save指令,或者给save传入空字符串
2.8.6 stop-writes-on-bgsave-error
当Redis无法写入磁盘的话,直接关掉Redis的写操作。推荐yes.
2.8.7 rdbcompression 压缩文件
- 对于存储到磁盘中的快照,可以设置是否进行压缩存储。如果是的话,redis会采用 LZF算法 进行压缩。
- 如果你不想消耗CPU来进行压缩的话,可以设置为关闭此功能。推荐yes.
2.8.8 rdbchecksum 检查完整性
- 在存储快照后,还可以让redis使用CRC64算法来进行数据校验,
- 但是这样做会增加大约10%的性能消耗,如果希望获取到最大的性能提升,可以关闭此功能
- 推荐yes.
2.8.9 rdb的备份
先通过config get dir
查询rdb文件的目录 将*.rdb的文件拷贝到别的地方rdb的恢复
- 关闭Redis
- 先把备份的文件拷贝到工作目录下
cp dump2.rdb dump.rdb
- 启动Redis, 备份数据会直接加载
2.9 优势
- 适合大规模的数据恢复
- 对数据完整性和一致性要求不高更适合使用
- 节省磁盘空间
- 恢复速度快
2.10 劣势
- Fork的时候,内存中的数据被克隆了一份,大致2倍的膨胀性需要考虑
- 虽然Redis在fork时使用了 写时拷贝技术,但是如果数据庞大时还是比较消耗性能。
- 在备份周期在一定间隔时间做一次备份,所以如果Redis意外down掉的话,就会丢失最后一次快照后的所有修改。
2.11 如何停止
动态停止RDB:redis-cli config set save ""
save后给空值,表示禁用保存策略
2.12 总结
三、写时复制技术(详解版)
- 我们知道了一个进程如何采用请求调页,仅调入包括第一条指令的页面,从而能够很 快开始执行。然而,通过系统调用 fork() 的进程创建最初可以通过使用类似于页面共享的技术,绕过请求调页的需要。这种技术提供了快速的进程创建,并最小化必须分配给新创建进程的新页面的数量。
- 回想一下,系统调用 fork() 创建了父进程的一个复制,以作为子进程。传统上,fork() 为子进程创建一个父进程地址空间的副本,复制属于父进程的页面。然而,考虑到许多子进程在创建之后立即调用系统调用 exec(),父进程地址空间的复制可能没有必要。
- 因此,可以采用一种称为写时复制的技术,它通过允许父进程和子进程最初共享相同的页面来工作。这些共享页面标记为写时复制,这意味着如果任何一个进程写入共享页面,那么就创建共享页面的副本。
- 写时复制如图 1 所示,图中分别反映了修改页面 C 的前与后。
- 例如,假设子进程试图修改包含部分堆栈的页面,并且设置为写时复制。操作系统会创建这个页面的副本,将其映射到子进程的地址空间。然后,子进程会修改复制的页面,而不是属于父进程的页面。显然,当使用写时复制技术时,仅复制任何一进程修改的页面,所有未修改的页面可以由父进程和子进程共享。
- 还要注意,只有可以修改的页面才需要标记为写时复制。不能修改的页面(包含可执行代码的页面)可以由父进程和子进程共享。写时复制是一种常用技术,为许多操作系统所采用,包括Windows XP、Linux 和 Solaris。
- 当确定采用写时复制来复制页面时,重要的是注意空闲页面的分配位置。许多操作系统为这类请求提供了一个空闲的页面池。当进程的堆栈或堆要扩展时或有写时复制页面需要管理时,通常分配这些空闲页面。操作系统分配这些页面通常采用称为按需填零的技术。按需填零页面在需要分配之前先填零,因此清除了以前的内容。
- UNIX 的多个版本(包括 Solaris 和 Linux)提供了系统调用 fork() 的变种,即 vfork()(虚拟内存fork(virtual memory fork)),vfork() 的操作不同于写时复制的fork()。
- 采用 vfork(),父进程被挂起,子进程使用父进程的地址空间。因为 vfork() 不采用写时复制,如果子进程修改父地址空间的任何页面,那么这些修改过的页面对于恢复的父进程是可见的。因此,应谨慎使用 vfork(),以确保子进程不会修改父进程的地址空间。当子进程在创建后立即调用 exec() 时,可使用 vfork()。因为没有复制页面,vfork() 是一个非常有效的进程创建方法,有时用于实现 UNIX 命令外壳接口。