1 redis 安装和配置
# redis 是什么
开源：基于c编写的，早起版本2w3千行
基于键值对的存储系统：字典形式
多种数据结构：字符串，hash，列表，集合，有序集合
高性能，功能丰富
#Redis特性（8个）
1 速度快：10w ops（每秒10w读写），数据存在内存中，c语言实现，数据单线程模型
2 持久化：rdb和aof
3 多种数据结构：
4 5大数据结构
BitMaps位图：布隆过滤器 本质是 字符串
HyperLogLog：超小内存唯一值计数，12kb HyperLogLog 本质是 字符串
GEO：地理信息定位 本质是有序集合
5 支持多种编程语言：基于tcp通信协议，各大编程语言都支持
6 功能丰富：发布订阅（消息） 事务（pipeline）
简单：源代码几万行，不依赖外部库
7 主从复制和高可用
主从复制：主服务器和从服务器，主服务器可以同步到从服务器中
高可用和分布式
2 源码安装
# 使用源码包
wget https://download.redis.io/redis-stable.tar.gz
# 解压
tar -xzvf redis-stable.tar.gz
# 改名
mv redis-stable/ redis
cd redis
make && make install
# /usr/local/bin/ 路径下会有可执行文件
# src目录下，就会有几个可执行文件
#redis-server--->redis服务器
#redis-cli---》redis命令行客户端
#redis-sentinel---》sentinel服务器，哨兵
#redis-benchmark---》redis性能测试工具
#redis-check-aof--->aof文件修复工具
#redis-check-dump---》rdb文件检查工具
mv redis.conf redis.conf.bak
vi redis.conf
# 修改配置文件启动
daemonize yes
pidfile /var/run/redis.pid
port 6379
dir ./data
logfile 6379.log
# 创建文件夹
mkdir data
# 启动
./bin/redis-server ./etc/redis.conf # 数据目录data在当前目录下
# 查看redis版本
redis-cli -v
redis-cli 7.2.5
3 redis-stack
# 下载地址：https://redis.io/downloads/ # centos的
wget https://packages.redis.io/redis-stack/redis-stack-server-7.2.0-v11.rhel7.x86_64.tar.gz
# 解压即用
tar -xzvf redis-stack-server-7.2.0-v11.rhel7.x86_64.tar.gz
# 文件夹重命名
mv redis-stack-server-7.2.0-v11 redis-stack-server
cd etc/
vi redis.conf
# 修改配置文件启动
daemonize yes
pidfile /var/run/redis1.pid
port 6380
dir ./data
logfile 6380.log
# 任意路径下敲
redis-server # 启动redis
# 查看redis版本
./bin/redis-cli -v
4 hash类型
###1---hget,hset,hdel
hget key field #获取hash key对应的field的value 时间复杂度为 o(1)
hset key field value #设置hash key对应的field的value值 时间复杂度为 o(1)
hdel key field #删除hash key对应的field的值 时间复杂度为 o(1)
#测试
hset user:1:info age 23
hget user:1:info age
hset user:1:info name lqz
hgetall user:1:info
hdel user:1:info age
###2---hexists,hlen
hexists key field #判断hash key 是否存在field 时间复杂度为 o(1)
hlen key #获取hash key field的数量 时间复杂度为 o(1)
hexists user:1:info name
hlen user:1:info #返回数量
###3---hmget，hmset
hmget key field1 field2 ...fieldN #批量获取hash key 的一批field对应的值 时间复杂度是o(n)
hmset key field1 value1 field2 value2 #批量设置hash key的一批field value 时间复杂度是o(n)
###4--hgetall,hvals，hkeys
hgetall key #返回hash key 对应的所有field和value 时间复杂度是o(n)
hvals key #返回hash key 对应的所有field的value 时间复杂度是o(n)
hkeys key #返回hash key对应的所有field 时间复杂度是o(n)
###小心使用hgetall
##1 计算网站每个用户主页的访问量
hincrby user:1:info pageview count
##2 缓存mysql的信息，直接设置hash格式
##其他操作 hsetnx，hincrby，hincrbyfloat
hsetnx key field value #设置hash key对应field的value（如果field已存在，则失败），时间复杂度o(1)
hincrby key field intCounter #hash key 对英的field的value自增intCounter 时间复杂度o(1)
hincrbyfloat key feld floatCounter #hincrby 浮点数 时间复杂度o(1)
5 列表类型
###插入操作###
#rpush 从右侧插入
rpush key value1 value2 ...valueN #时间复杂度为o(1~n)
#lpush 从左侧插入
#linsert
linsert key before|after value newValue #从元素value的前或后插入newValue 时间复杂度o(n) ，需要遍历列表
linsert listkey before b java
linsert listkey after b php
######删除操作#########
lpop key #从列表左侧弹出一个item 时间复杂度o(1)
rpop key #从列表右侧弹出一个item 时间复杂度o(1)
lrem key count value
#根据count值，从列表中删除所有value相同的项 时间复杂度o(n)
1 count>0 从左到右，删除最多count个value相等的项
2 count<0 从右向左，删除最多 Math.abs(count)个value相等的项
3 count=0 删除所有value相等的项
lrem listkey 0 a #删除列表中所有值a
lrem listkey -1 c #从右侧删除1个c
ltrim key start end #按照索引范围修剪列表 o(n)
ltrim listkey 1 4 #只保留下表1--4的元素
############查询操作############
lrange key start end #包含end获取列表指定索引范围所有item o(n)
lrange listkey 0 2
lrange listkey 1 -1 #获取第一个位置到倒数第一个位置的元素
lindex key index #获取列表指定索引的item o(n)
lindex listkey 0
lindex listkey -1
llen key #获取列表长度
############修改操作############
lset key index newValue #设置列表指定索引值为newValue o(n)
lset listkey 2 ppp #把第二个位置设为ppp
############实战############
实现timeLine功能，时间轴:微博关注的人，按时间轴排列，在列表中放入关注人的微博的即可
############其他操作############
blpop key timeout #lpop的阻塞版，timeout是阻塞超时时间，timeout=0为拥有不阻塞 o(1)
brpop key timeout #rpop的阻塞版，timeout是阻塞超时时间，timeout=0为拥有不阻塞 o(1)
#要实现栈的功能
lpush+lpop
#实现队列功能
lpush+rpop
#固定大小的列表
lpush+ltrim
#消息队列
lpush+brpop
6 集合操作
sadd key element #向集合key添加element（如果element存在，添加失败） o(1)
srem key element #从集合中的element移除掉 o(1)
scard key #计算集合大小
sismember key element #判断element是否在集合中
srandmember key count #从集合中随机取出count个元素，不会破坏集合中的元素
spop key #从集合中随机弹出一个元素
smembers key #获取集合中所有元素 ，无序，小心使用，会阻塞住
##### 集合操作######
sdiff user:1:follow user:2:follow #计算user:1:follow和user:2:follow的差集
sinter user:1:follow user:2:follow #计算user:1:follow和user:2:follow的交集
sunion user:1:follow user:2:follow #计算user:1:follow和user:2:follow的并集
sdiff|sinter|suion + store destkey... #将差集，交集，并集结果保存在destkey集合中
sdiffstore 另一个集合名字 boys girls
sinterstore 另一个集合名字 boys girls
#### 集合可以做什么
1 抽奖系统 ：通过spop来弹出用户的id，活动取消，直接删除
2 点赞，点踩，喜欢等，用户如果点了赞，就把用户id放到该条记录的集合中
3 标签：给用户/文章等添加标签，sadd user:1:tags 标签1 标签2 标签3
给标签添加用户，关注该标签的人有哪些
4 共同好友：集合间的操作
#### 总结####
sadd:可以做标签相关
spop/srandmember:可以做随机数相关
sadd/sinter：社交相关
7 有序集合
#有一个分值字段，来保证顺序
#集合有序集合
集合：无重复元素，无序，element
有序集合：无重复元素，有序，element+score
#列表和有序集合
列表：可以重复，有序，element
有序集合：无重复元素，有序，element+score
## API使用
zadd key score element #score可以重复，可以多个同时添加，element不能重复 o(logN)
zrem key element #删除元素，可以多个同时删除 o(1)
zscore key element #获取元素的分数 o(1)
zincrby key increScore element #增加或减少元素的分数 o(1)
zcard key #返回元素总个数 o(1)
zrank key element #返回element元素的排名（从小到大排）
zrange key 0 -1 #返回排名，不带分数 o(log(n)+m) n是元素个数，m是要获取的值
zrange player:rank 0 -1 withscores #返回排名，带分数
zrangebyscore key minScore maxScore #返回指定分数范围内的升序元素 o(log(n)+m) n是元素个数，m是要获取的值
zrangebyscore user:1:ranking 90 210 withscores #获取90分到210分的元素
zcount key minScore maxScore #返回有序集合内在指定分数范围内的个数 o(log(n)+m)
zremrangebyrank key start end #删除指定排名内的升序元素 o(log(n)+m)
zremrangebyrank user:1:rangking 1 2 #删除升序排名中1到2的元素
zremrangebyscore key minScore maxScore #删除指定分数内的升序元素 o(log(n)+m)
zremrangebyscore user:1:ranking 90 210 #删除分数90到210之间的元素
#实战
排行榜：音乐排行榜，销售榜，关注榜，游戏排行榜
# 其他操作
zrevrank #从高到低排序
zrevrange #从高到低排序取一定范围
zrevrangebyscore #返回指定分数范围内的降序元素
zinterstore #对两个有序集合交集
zunionstore #对两个有序集合求并集
8 慢查询
# 我们配置一个时间，如果查询时间超过了我们设置的时间，我们就认为这是一个慢查询
# 慢查询是一个先进先出的队列,固定长度,保存在内存中--->通过设置慢查询，以后超过我们设置时间的命令，就会放在这个队列中
# 后期我们通过查询这个队列，过滤出 慢命令--》优化慢命令
# 设置记录所有命令
config set slowlog-log-slower-than 0
# 最多记录100条
config set slowlog-max-len 100
# 持久化到本地配置文件
config rewrite
# 查看慢查询队列
slowlog get [n] #获取慢查询队列
'''
日志由4个属性组成：
1）日志的标识id
2）发生的时间戳
3）命令耗时
4）执行的命令和参数
'''
slowlog len #获取慢查询队列长度
slowlog reset #清空慢查询队列
9 发布订阅
# 发布订阅(观察者模式)：发布者发布了消息，所有的订阅者都可以收到，就是生产者消费者模型
# 原生实现
-发布消息：
publish channel message
-订阅
subscribe channel
-接收消息
-只要发布者一发布，订阅者都会受到
python+redis实现
import redis
# 连接到Redis服务器
r = redis.Redis(host='localhost', port=6379, db=0)
# 订阅者
sub = r.pubsub()
sub.subscribe('channel')
for message in sub.listen():
print(message)
import redis
# 连接到Redis服务器
r = redis.Redis(host='localhost', port=6379, db=0)
# 发布者
r.publish('channel', 'message')
10 bitmap位图
#本质是字符串
#操作比特位
b i g
01100011 01101001 01100111
set hello big #放入key位hello 值为big的字符串
getbit hello 0 #取位图的第0个位置，返回0
getbit hello 1 #取位图的第1个位置，返回1 如上图
# 我们可以直接操纵位
setbit key offset value #给位图指定索引设置值
setbit hello 7 1 #把hello的第7个位置设为1 这样，big就变成了cig
# 获取前3位中1的个数
bitcount name 0 3
11 hyperloglog
# 基于HyperLogLog算法：极小的空间完成独立数量统计,本质还是字符串
# 使用
-放值：pfadd uuids "uuid1" "uuid2" "uuid3" "uuid4"
-统计个数：pfcount uuids
-判断一个值是否在里面：pfadd uuids "uuid1"
# 用处
-统计日活用户
-去重：爬过的网址，就不爬了--》存一下爬过的
-黑白名单
# 注意
-百万级别独立用户统计，百万条数据只占15k
-错误率 0.81%
-无法取出单条数据，只能统计个数
12 geo
# geo 地理位置信息
-GEO（地理信息定位）：存储经纬度，计算两地距离，范围等
# js获取经纬度
if (navigator.geolocation) {
navigator.geolocation.getCurrentPosition(function(position) {
var latitude = position.coords.latitude;
var longitude = position.coords.longitude;
console.log("经度：" + longitude);
console.log("纬度：" + latitude);
});
} else {
console.log("浏览器不支持Geolocation API");
}
# 增加地理位置信息
geoadd key longitude latitude member
# 把北京地理信息天津到cities:locations中
geoadd cities:locations 116.28 39.55 beijing
# 获取天津的经纬度 geopos key member #获取地理位置信息
geopos cities:locations tianjin
# 根据经纬度--》文字
from geopy.geocoders import Nominatim
geolocator = Nominatim(user_agent="my_application")
def geolocate_point(latitude, longitude):
location = geolocator.reverse(f"{latitude}, {longitude}")
return location.address
# 统计两个地理位置之间的距离
geodist cities:locations beijing tianjin km
# 统计某个地理位置方圆xx公里，有xx
georadiusbymember cities:locations beijing 150 km
13 持久化
# 什么是持久化
redis的所有数据保存在内存中，对数据的更新将异步的保存到硬盘上
# 持久化的实现方式
快照：某时某刻数据的一个完成备份，
-mysql的Dump:写一个mysql自动定时备份和清理前后端程序
-redis的RDB：某一刻，把内存中得数据，保存到硬盘上这个操作就是rbd的持久化
写日志：任何操作记录日志，要恢复数据，只要把日志重新走一遍即可
-mysql的 Binlog
-Redis的 AOF
rdb
# rdb方案 ：三种方式
1 人工同步：客户端 ： save # 同步操作，会阻塞其他命令--》单线程架构
2 人工异步：客户端：bgsave # 异步操作，不会阻塞其他命令
3 配置文件
save 900 1 #配置一条
save 300 10 #配置一条
save 60 10000 #配置一条
save 60 5
# 最佳配置
save 900 1
save 300 10
save 60 10000
dbfilename dump-6379.rdb #以端口号作为文件名，可能一台机器上很多reids，不会乱
dir ./bigdiskpath #保存路径放到一个大硬盘位置目录
stop-writes-on-bgsave-error yes #出现错误停止
rdbcompression yes #压缩
rdbchecksum yes #校验
# 确定 RDB问题
耗时，耗性能：
不可控，可能会丢失数据
aof
# 客户端每写入一条命令，都记录一条日志，放到日志文件中，如果出现宕机，可以将数据完全恢复
# AOF的三种策略
日志不是直接写到硬盘上，而是先放在缓冲区，缓冲区根据一些策略，写到硬盘上
always：redis–》写命令刷新的缓冲区—》每条命令fsync到硬盘—》AOF文件
everysec（默认值）：redis——》写命令刷新的缓冲区—》每秒把缓冲区fsync到硬盘–》AOF文件
no:redis——》写命令刷新的缓冲区—》操作系统决定，缓冲区fsync到硬盘–》AOF文件
# 配置文件
appendonly yes #将该选项设置为yes，打开
appendfilename "appendonly-${port}.aof" #文件保存的名字
appendfsync everysec #采用第二种策略
dir /bigdiskpath #存放的路径
no-appendfsync-on-rewrite yes
appendonly yes
appendfilename "appendonly.aof"
appendfsync everysec
no-appendfsync-on-rewrite yes
# 放在了文件中
appendonly.aof.1.base.rdb ：永久的
appendonly.aof.1.incr.aof ：临时的
appendonly.aof.manifest： 哪些文件存了数据