首页 > 数据库 >redis----day04()

redis----day04()

时间:2023-04-20 19:14:04浏览次数:34  
标签:主库 aof AOF redis day04 ---- rdb sentinel

昨日回顾

# 悲观乐观锁:
	django中如何实现
    	-悲观锁:mysql 行锁 表锁
        -乐观锁:真正修改时,加入限制条件
        
   django中事务如何开启
		-原生sql如何开启事务:begin;   commit;
    	-django中如何开事务:atomic() commit()
   for_update是锁表还是锁行
    如果查询条件用了索引/主键,那么select ..... for update就会进行行锁
    如果是普通字段(没有索引/主键),那么select ..... for update就会进行锁表

# redis geo 地理位置信息---》存经纬度
	-计算两点的距离
    -计算方圆多少范围内的(好友)

.
.
.
.
.
.
.

今日内容

1 持久化方案

# 什么是持久化
redis的所有数据保存在内存中,把内存中的数据同步到硬盘上这个过程称之为持久化

# 持久化的实现方式
    快照:某时某刻数据的一个完成备份
       -mysql的Dump
       -redis的RDB
    写日志:任何操作记录日志,要恢复数据,只要把日志重新走一遍即可
      -mysql的 Binlog
      -Redis的 AOF
    
  

1.1 RDB

# rdb 持久化配置方式
	-方式一:通过命令---》同步操作
    	save:生成rdb持久化文件
    -方式二:异步持久化---》不会阻塞住其他命令的执行
    	bgsave
    -方式三:配置文件配置--》这个条件触发,就执行bgsave
        save   900        1
        save   300        10
        save   60         10000
        dbfilename dump.rdb
        dir "/root/redis-6.2.9/data"
        如果60s中改变了1w条数据,自动生成rdb
        如果300s中改变了10条数据,自动生成rdb
        如果900s中改变了1条数据,自动生成rdb

1.2 aof方案

# 可能会数据丢失---》可以使用aof方案

# aof是什么:客户端每写入一条命令,都记录一条日志,放到日志文件中,如果出现宕机,可以将数据完全恢复

# AOF的三种策略
	日志不是直接写到硬盘上,而是先放在缓冲区,缓冲区根据一些策略,写到硬盘上
    always:redis–》写命令刷新的缓冲区—》每条命令fsync到硬盘—》AOF文件
    everysec(默认值):redis——》写命令刷新的缓冲区—》每秒把缓冲区fsync到硬盘–》AOF文件
    no:redis——》写命令刷新的缓冲区—》操作系统决定,缓冲区fsync到硬盘–》AOF文件

        
# AOF重写
	随着命令的逐步写入,并发量的变大, AOF文件会越来越大,通过AOF重写来解决该问题
    本质就是把过期的,无用的,重复的,可以优化的命令,来优化,这样可以减少磁盘占用量,加速恢复速度
    
    
# AOF重写配置参数
	auto-aof-rewrite-min-size:500m
    auto-aof-rewrite-percentage:增长率
        
        
# aof持久化的配置
appendonly yes #将该选项设置为yes,打开
appendfilename "appendonly.aof" #文件保存的名字
appendfsync everysec #采用第二种策略
no-appendfsync-on-rewrite yes #在aof重写的时候,是否要做aof的append操作,因为aof重写消耗性能,磁盘消耗,正常aof写磁盘有一定的冲突,这段期间的数据,允许丢失

1.3 混合持久化

# 可以同时开启aof和rdb,他们是相互不影响的

# redis 4.x以后,出现了混合持久化,其实就是aof+rdb,解决恢复速度问题

#开启了混合持久化,AOF在重写时,不再是单纯将内存数据转换为RESP命令写入AOF文件,而是将重写这一刻之前的内存做RDB快照处理

# 配置参数:必须先开启AOF
# 开启 aof
appendonly yes
# 开启 aof复写
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
# 开启 混合持久化
aof-use-rdb-preamble yes  # 这正有用的是这句话
# 关闭 rdb
save ""



# aof重写可以使用配置文件触发,也可以手动触发:bgrewriteaof

2 主从复制原理和方案

# 为什么需要主从
可能会有以下问题:
	1 机器故障
    2 容量瓶颈
    3 QPS瓶颈
# 主从解决了qps问题,机器故障问题
# 主从实现的功能
	一主一从,一主多从
    做读写分离
    做数据副本
    提高并发量

一个master可以有多个slave
一个slave只能有一个master
数据流向是单向的,从master到slave,从库只能读,不能写,主库既能读又能写


# redis主从赋值流程,原理
1. 副本(从)库通过slaveof 127.0.0.1 6379命令,连接主库,并发送SYNC给主库 
2. 主库收到SYNC,会立即触发BGSAVE,后台保存RDB,发送给副本库
3. 副本库接收后会应用RDB快照,load进内存
4. 主库会陆续将中间产生的新的操作,保存并发送给副本库
5. 到此,我们主复制集就正常工作了
6. 再此以后,主库只要发生新的操作,都会以命令传播的形式自动发送给副本库.
7. 所有复制相关信息,从info信息中都可以查到.即使重启任何节点,他的主从关系依然都在.
8. 如果发生主从关系断开时,从库数据没有任何损坏,在下次重连之后,从库发送PSYNC给主库
9. 主库只会将从库缺失部分的数据同步给从库应用,达到快速恢复主从的目的



# 主从同步主库是否要开启持久化?
	如果不开有可能,主库重启操作,造成所有主从数据丢失!
    
    
    
# 启动两台redis服务


# 主从复制配置
	-1 命令方式,在从库上执行
    	slaveof 127.0.0.1 6379 #异步
    	# 从库不能写了,以后只能用来读
        
        slaveof no one  # 从库:断开主从关系
    
    -2 配置文件方式,在从库加入
    	slaveof 127.0.0.1 6379 #配置从节点ip和端口
		slave-read-only yes #从节点只读,因为可读可写,数据会乱
    	autpass 123456

    	
# 辅助配置(给主库用的)
min-slaves-to-write 1
min-slaves-max-lag 3
#那么在从服务器的数量少于1个,或者三个从服务器的延迟(lag)值都大于或等于3秒时,主服务器将拒绝执行写命令

3 哨兵高可用


# 服务可用性高  
#主从复制不是高可用
#主从存在问题
#1 主从复制,主节点发生故障,需要做故障转移,可以手动转移:让其中一个slave变成master --》  哨兵
#2 主从复制,只能主写数据,所以写能力和存储能力有限---》集群


# 哨兵:Sentinel  实现高可用

# 工作原理:
    1 多个sentinel发现并确认master有问题
    2 选举触一个sentinel作为领导
    3 选取一个slave作为新的master
    4 通知其余slave成为新的master的slave
    5 通知客户端主从变化
    6 等待老的master复活成为新master的slave
    
   

#高可用搭建步骤
	第一步:先搭建一主两从
    第二步:哨兵配置文件,启动哨兵(redis的进程,也要监听端口,启动进程有配置文件)
    port 26379
    daemonize yes
    dir /root/redis/data
    bind 0.0.0.0
    logfile "redis_sentinel.log"
    sentinel monitor mymaster 127.0.0.1 6379 2
    sentinel down-after-milliseconds mymaster 30000


    port 26390
    daemonize yes
    dir /root/redis/data1
    bind 0.0.0.0
    logfile "redis_sentinel.log"
    sentinel monitor mymaster 127.0.0.1 6379 2
    sentinel down-after-milliseconds mymaster 30000


    port 26381
    daemonize yes
    dir /root/redis/data2
    bind 0.0.0.0
    logfile "redis_sentinel.log"
    sentinel monitor mymaster 127.0.0.1 6379 2
    sentinel down-after-milliseconds mymaster 30000
	
    第三步:启动三个哨兵
    
	./src/redis-sentinel ./sentinal_26379.conf
    ./src/redis-sentinel ./sentinal_26380.conf
    ./src/redis-sentinel ./sentinal_26381.conf

    第四步:停止主库,发现80变成了主库,以后79启动,变成了从库
    

作业

3台机器练习一下

4 集群原理及搭建

5 缓存优化

6 mysql 主从

7 django做读写分离

标签:主库,aof,AOF,redis,day04,----,rdb,sentinel
From: https://www.cnblogs.com/tengyifan888/p/17337988.html

相关文章

  • 切蛋糕
    题目描述有一个蛋糕,它是由长度是L的二进制组成的。现在需要把蛋糕切K-1刀,这样蛋糕就会被切成K份,每一份蛋糕其实就是一段连续的二进制,而且每一份蛋糕的二进制不能有前导0。小LW今年5岁了,所以她希望把每一份蛋糕的二进制转为十进制之后,都是5的幂,即可以表示成5^X,其中X是整数。求满......
  • js的forEach()方法,获取索引值index
    forEach()方法用于调用数组的每个元素,并将元素传递给回调函数。用法:1、forEach有3个参数:第一个参数可以获取循环一遍的值;第二个参数可以获取当前元素的索引值(下标);第三个参数可以获取当前数组;例:vararr=[1,2,3,4]arr.forEach(function(val,index,array){consol......
  • 封装小程序倒计时组件
    适用范围:支付宝,淘宝小程序效果: 组件目录结构:详情: index.axml<!--[{"value":["3","5"],"style":"","isTime":true},{"value":"秒","style":""}]--><viewclass="c......
  • Linux设备节点创建方式的演变历史
    引子  遵从"Everythingisafile"的思想,在Linux下想要操作设备的话,是需要通过一类叫做设备节点(devicenode)的特殊文件。设备节点通常位于/dev这个目录下,但是位于其它目录也是可以的。只要翻开一本介绍Linux驱动的书,或者在网上搜索相关的文章,很大概率上会教你在写好驱动代码后......
  • 《官方声称,GPS导航系统使用了相对的目的是什么?》 回复
    《官方声称,GPS导航系统使用了相对的目的是什么?》      https://tieba.baidu.com/p/8357957275    5 楼我说  “明天来回复这帖。”  ,  结果拖了好几天 。 用  @jmctian介绍的四星定位算法,  不用天地同时。  既然不用天地同......
  • 469-P5-LO-A20-E
    通用电气多线公司的469-P5-LO-A20-E配有增强型面板,是专为大中型电机设计的电机保护继电器。  通用电气多线公司的469-P5-LO-A20-E配有增强型面板,是专为大中型电机设计的电机保护继电器。继电器本身由演示金属外壳保护,具有抗腐蚀、防尘和耐高温的特性。装运时,继电器包装的宽......
  • GE RTT Desktop Test Set
    通用电气RTT桌面测试集是一个工具,帮助测试继电器,仪表和PLC的能力,提供单相电压和电流,驱动数字输入,并控制RTD。  海拔最大2000米控制权标称6va;最大14伏安规模长7.5英寸×宽5.75英寸×深3.25英寸干式数字输入接触电阻<10mΩ脉冲磁场抗扰度标准上午1000点......
  • M3AE: Multimodal Representation Learning for Brain Tumor Segmentation with Missi
     摘要 提出SimCLR,用于视觉表征的对比学习,简化了最近提出的对比自监督学习算法,为了理解是什么使对比预测任务能够学习有用的表示,系统研究了提出框架的主要组成部分,发现:(1)数据增强的组成在定义有效的预测任务中起着关键的作用(2)在表示和对比损失之间引入一个可学习的非线性变换......
  • Windows 与 虚拟机VirtualBox smb共享
    一、安装Samba更新系统:sudoaptupdatesudoaptupgrade安装Samba:sudoaptinstallsamba二、配置共享创建共享目录sudomkdir /samba_share允许用户访问,修改权限:sudochmod777 /samba_share三、配置Samba打开samba配置文件,sudovim /etc/samba/smb.conf按i进......
  • 469-P5-LO-A20-T
    469-P5-LO-A20-T拥有GEMultilin469系列的可选以太网连接,是一种电机管理继电器,可以利用其以太网功能在网络上运行,而不仅仅是RS242或RS485连接。  469-P5-LO-A20-T拥有GEMultilin469系列的可选以太网连接,是一种电机管理继电器,可以利用其以太网功能在网络上运行,而不仅仅是R......