首页 > 数据库 >十、Redis持久化之RDB

十、Redis持久化之RDB

时间:2024-07-01 19:57:44浏览次数:21  
标签:持久 Redis 2.8 RDB 进程 快照 页面

文章目录

上一篇 九、Redis事务 下一篇 十一、Redis持久化之AOF

一、总体介绍

官网介绍:http://www.redis.io
35.jpg
Redis提供了两个不同形式的持久化方式

  • RDB(Redis DataBase)
  • AOF(Append Of File)

二、RDB(Redis DataBase)

2.1 官网介绍

36.jpg

2.2 RDB是什么

在指定的时间间隔内将内存中的数据集快照写入磁盘, 也就是行话讲的Snapshot快照,它恢复时是将快照文件直接读到内存里

2.3 备份是如何执行的

Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到 一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件。 整个过程中,主进程是不进行任何IO操作的,这就确保了极高的性能 如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那RDB方式要比AOF方式更加的高效。RDB的缺点是:最后一次持久化后的数据可能丢失。

2.4 Fork

  • Fork的作用是复制一个与当前进程一样的进程。新进程的所有数据(变量、环境变量、程序计数器等) 数值都和原进程一致,但是是一个全新的进程,并作为原进程的子进程
  • 在Linux程序中,fork()会产生一个和父进程完全相同的子进程,但子进程在此后多会exec系统调用,出于效率考虑,Linux中引入了“写时复制技术
  • 一般情况父进程和子进程会共用同一段物理内存,只有进程空间的各段的内容要发生变化时,才会将父进程的内容复制一份给子进程。

2.5 RDB持久化流程

37.png

2.6 dump.rdb文件

在redis.conf中配置文件名称,默认为dump.rdb
38.png

2.7 配置位置

rdb文件的保存路径,也可以修改。默认为Redis启动时命令行所在的目录下

dir "/myredis/"

39.png

2.8如何触发RDB快照;保持策略

2.8.1 配置文件中默认的快照配置

40.png

2.8.2 命令save VS bgsave

save :save时只管保存,其它不管,全部阻塞。手动保存。不建议。
bgsave:Redis会在后台异步进行快照操作, 快照同时还可以响应客户端请求。
可以通过 lastsave 命令获取最后一次成功执行快照的时间

2.8.3 flushall命令

执行flushall命令,也会产生dump.rdb文件,但里面是空的,无意义

2.8.4 SNAPSHOTTING快照

2.8.5 Save

  • 格式:save 秒钟 写操作次数
  • RDB是整个内存的压缩过的Snapshot,RDB的数据结构,可以配置复合的快照触发条件,
  • 默认是1分钟内改了1万次,或5分钟内改了10次,或15分钟内改了1次。
  • 禁用:不设置save指令,或者给save传入空字符串

2.8.6 stop-writes-on-bgsave-error

41.png
当Redis无法写入磁盘的话,直接关掉Redis的写操作。推荐yes.

2.8.7 rdbcompression 压缩文件

42.png

  • 对于存储到磁盘中的快照,可以设置是否进行压缩存储。如果是的话,redis会采用 LZF算法 进行压缩。
  • 如果你不想消耗CPU来进行压缩的话,可以设置为关闭此功能。推荐yes.

2.8.8 rdbchecksum 检查完整性

43.png

  • 在存储快照后,还可以让redis使用CRC64算法来进行数据校验,
  • 但是这样做会增加大约10%的性能消耗,如果希望获取到最大的性能提升,可以关闭此功能
  • 推荐yes.

2.8.9 rdb的备份

先通过config get dir 查询rdb文件的目录 将*.rdb的文件拷贝到别的地方rdb的恢复

  • 关闭Redis
  • 先把备份的文件拷贝到工作目录下 cp dump2.rdb dump.rdb
  • 启动Redis, 备份数据会直接加载

2.9 优势

  • 适合大规模的数据恢复
  • 对数据完整性和一致性要求不高更适合使用
  • 节省磁盘空间
  • 恢复速度快

44.jpg

2.10 劣势

  • Fork的时候,内存中的数据被克隆了一份,大致2倍的膨胀性需要考虑
  • 虽然Redis在fork时使用了 写时拷贝技术,但是如果数据庞大时还是比较消耗性能。
  • 在备份周期在一定间隔时间做一次备份,所以如果Redis意外down掉的话,就会丢失最后一次快照后的所有修改。

2.11 如何停止

动态停止RDB:redis-cli config set save ""save后给空值,表示禁用保存策略

2.12 总结

45.jpg

三、写时复制技术(详解版)

引用自:http://c.biancheng.net/view/1272.html

  • 我们知道了一个进程如何采用请求调页,仅调入包括第一条指令的页面,从而能够很 快开始执行。然而,通过系统调用 fork() 的进程创建最初可以通过使用类似于页面共享的技术,绕过请求调页的需要。这种技术提供了快速的进程创建,并最小化必须分配给新创建进程的新页面的数量。
  • 回想一下,系统调用 fork() 创建了父进程的一个复制,以作为子进程。传统上,fork() 为子进程创建一个父进程地址空间的副本,复制属于父进程的页面。然而,考虑到许多子进程在创建之后立即调用系统调用 exec(),父进程地址空间的复制可能没有必要。
  • 因此,可以采用一种称为写时复制的技术,它通过允许父进程和子进程最初共享相同的页面来工作。这些共享页面标记为写时复制,这意味着如果任何一个进程写入共享页面,那么就创建共享页面的副本。

46.png

  • 写时复制如图 1 所示,图中分别反映了修改页面 C 的前与后。
  • 例如,假设子进程试图修改包含部分堆栈的页面,并且设置为写时复制。操作系统会创建这个页面的副本,将其映射到子进程的地址空间。然后,子进程会修改复制的页面,而不是属于父进程的页面。显然,当使用写时复制技术时,仅复制任何一进程修改的页面,所有未修改的页面可以由父进程和子进程共享。
  • 还要注意,只有可以修改的页面才需要标记为写时复制。不能修改的页面(包含可执行代码的页面)可以由父进程和子进程共享。写时复制是一种常用技术,为许多操作系统所采用,包括Windows XP、Linux 和 Solaris。
  • 当确定采用写时复制来复制页面时,重要的是注意空闲页面的分配位置。许多操作系统为这类请求提供了一个空闲的页面池。当进程的堆栈或堆要扩展时或有写时复制页面需要管理时,通常分配这些空闲页面。操作系统分配这些页面通常采用称为按需填零的技术。按需填零页面在需要分配之前先填零,因此清除了以前的内容。
  • UNIX 的多个版本(包括 Solaris 和 Linux)提供了系统调用 fork() 的变种,即 vfork()(虚拟内存fork(virtual memory fork)),vfork() 的操作不同于写时复制的fork()。
  • 采用 vfork(),父进程被挂起,子进程使用父进程的地址空间。因为 vfork() 不采用写时复制,如果子进程修改父地址空间的任何页面,那么这些修改过的页面对于恢复的父进程是可见的。因此,应谨慎使用 vfork(),以确保子进程不会修改父进程的地址空间。当子进程在创建后立即调用 exec() 时,可使用 vfork()。因为没有复制页面,vfork() 是一个非常有效的进程创建方法,有时用于实现 UNIX 命令外壳接口。
上一篇 九、Redis事务 下一篇 十一、Redis持久化之AOF

标签:持久,Redis,2.8,RDB,进程,快照,页面
From: https://blog.csdn.net/weixin_44063529/article/details/140068088

相关文章

  • 慢查询、pipline、发布订阅、 bitmap位图、 hyperloglog、geo、持久化
    【慢查询】1#1我们配置一个时间,如果查询时间超过了我们设置的时间,我们就认为这是一个慢查询2#2慢查询是一个先进先出的队列,固定长度,保存在内存中--->通过设置慢查询,以后超过我们设置时间的命令,就会放在这个队列中3#3后期我们通过查询这个队列,过滤出慢命令--》......
  • 【Redis持久化】RDB、AOF介绍和使用
    RDB、AOF介绍和使用引言ROB介绍配置指令介绍使用指令:dump文件修复指令快照禁用AOF工作流程:文件重写:三种写回策略:混合使用引言持久化的目的,其实就是在Redis重启或者中途崩溃的时候能够依靠自身恢复数据,而不需要再次访问MySQL数据库,重新取得数据,增加MySQL的工作量。在此有两种方法,R......
  • python爬虫之基于终端指令的持久化存储
    python爬虫之基于终端指令的持久化存储scrapy持久化存储基于终端指令:1、要求:只可以将parse方法的返回值存储到本地的文本文件中2、注意:持久化存储对应的文本文件类型只可以为:‘json’,‘jsonlines’,‘jsonl’,‘jl’,‘csv’,‘xml’,‘marshal’,‘pickle’3......
  • redis
    1redis安装和配置#redis是什么开源:基于c编写的,早起版本2w3千行基于键值对的存储系统:字典形式多种数据结构:字符串,hash,列表,集合,有序集合高性能,功能丰富#Redis特性(8个)1速度快:10wops(每秒10w读写),数据存在内存中,c语言实现,数据单线程模型2持久化:rdb和aof3多种数据结......
  • Redis的键与值简述
     键值对分别是啥子?Redis键值对均为对象键——字符串对象值——各种对象——及其底层编码    值:可以是字符串、列表、哈希、集合、有序集合对象。五者之一。底层数据结构该图是值——各对象——底层数据结构。值的底层数据结构对应值--五对象之一 ==> ......
  • 01.Redis常用的一些命令
    简介:Redis是一款开源的使用ANSIC语言编写、遵守BSD协议、支持网络、可基于内存也可持久化的日志型、Key-Value高性能数据库。Redis与其他Key-Value缓存产品相比有以下三个特点:支持数据持久化,可以将内存中的数据保存在磁盘中,重启可再次加载使用支持简单的Key-Value类型的......
  • redis哨兵模式搭建
    Redis哨兵模式搭建master:192.168.1.1slave1:192.168.1.2slave2:192.168.1.3Redis服务安装这里Redis版本为5.0.3。Redis的安装步骤为:解压、编译、配置、启动(以manaster举例安装)创建目录mkdir/app/redis_6379/{dump,log,conf,run}解压安装包tar-zxvfredis-5.0.3.ta......
  • Linux Redis 服务设置开机自启动
    @目录前言一、准备工作二、操作步骤2.1修改redis.conf文件2.2创建启动脚本2.3设置redis脚本权限2.4设置开机启动2.5验证总结前言请各大网友尊重本人原创知识分享,谨记本人博客:南国以南i、提示:以下是本篇文章正文内容,下面案例可供参考一、准备工作注意:准备已安装好的Re......
  • CentOS7.9部署Redis
    简介本章节主要讲的是在Linux系统CentOS7.9上去完成Redis软件的安装步骤1.下载Redis安装包2.解压Redis压缩包3.yum安装gcc依赖4.跳转到Redis解压目录下5.编译安装6.启动Redis实施1.下载Redis安装包wgethttp://download.redis.io/releases/redis-4.0.6.t......
  • 什么是未授权访问漏洞?Hadoop & Redis靶场实战——Vulfocus服务攻防
    什么是未授权访问漏洞?Hadoop&Redis靶场实战——Vulfocus服务攻防一、介绍未授权访问,也称为未经授权的访问或非法访问,是指在没有得到适当权限或授权的情况下,个人或系统访问了网络、计算机、数据库、文件、应用程序或其他受保护资源的行为。这种访问可能出于恶意或非恶意的目......