目录
一、Redis简介
这是一个之前的一个新闻,很多平台接连二三的连续崩溃,原因是为什么呢?
总的来说两点:海量用户、高并发。
主要是因为关系型数据库,虽然能实现联查等关系查询,但是性能瓶颈,磁盘IO性能低下。扩展瓶颈,数据关系复杂,扩展性差,不便于大规模集群。
那怎么解决这种问题呢?降低磁盘IO次数,越低越好,使用内存存储。去除数据加密关系,越简单越好,不存储关系,仅存储数据。那就用Nosql解决。
1、NOSQL
NoSQL(NoSQL= Not Only SQL),意即“不仅仅是SQL”,是一项全新的数据库理念,泛指非关系型的数据库。随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型,web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库,则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,尤其是大数据应用难题。
2、NOSQL和关系型数据库比较
优点:
- 成本:nosql数据库简单易部署,基本都是开源软件,不需要像使用oracle那样花费大量成本购买使用,相比关系型数据库价格便宜。
- 查询速度:nosql数据库将数据存储于缓存之中,关系型数据库将数据存储在硬盘中,自然查询速度远不及nosql数据库。
- 存储数据的格式:nosql的存储格式是key,value形式、文档形式、图片形式等等,所以可以存储基础类型以及对象或者是集合等各种格式,而数据库则只支持基础类型。
- 扩展性:关系型数据库有类似join这样的多表查询机制的限制导致扩展很艰难。
缺点:
- 维护的工具和资料有限,因为nosql是属于新的技术,不能和关系型数据库10几年的技术同日而语。
- 不提供对sql的支持,如果不支持sql这样的工业标准(不遵循SQL标准),将产生一定用户的学习和使用成本。
- 不提供关系型数据库对事务的处理。
3、主流的NOSQL产品
3.1 键值(Key-Value)存储数据库
- 相关产品: Tokyo Cabinet/Tyrant、Redis、Voldemort、Berkeley DB
- 典型应用: 内容缓存,主要用于处理大量数据的高访问负载。
- 数据模型: 一系列键值对
- 优势: 快速查询
- 劣势: 存储的数据缺少结构化
3.2 列存储数据库
- 相关产品:Cassandra, HBase, Riak
- 典型应用:分布式的文件系统
- 数据模型:以列簇式存储,将同一列数据存在一起
- 优势:查找速度快,可扩展性强,更容易进行分布式扩展
- 劣势:功能相对局限
3.3文档型数据库
- 相关产品:CouchDB、MongoDB
- 典型应用:Web应用(与Key-Value类似,Value是结构化的)
- 数据模型: 一系列键值对
- 优势:数据结构要求不严格
- 劣势: 查询性能不高,而且缺乏统一的查询语法
3.4图形(Graph)数据库
- 相关数据库:Neo4J、InfoGrid、Infinite Graph
- 典型应用:社交网络数据模型:图结构
- 优势:利用图结构相关算法。
- 劣势:需要对整个图做计算才能得出结果,不容易做分布式的集群方案。
解决方案:
4、什么是Redis
概念:Redis (REmote DIctionary Server) 是用 C 语言开发的一个开源的高性能键值对(key-value)数据库
特征:
- 数据间没有必然的关联关系。
- 内部采用单线程机制进行工作。
- 高性能,官方提供测试数据,50个并发执行100000 个请求,读的速度是110000 次/s,写的速度是 81000次/s。
- 多数据类型支持。
字符串类型 string 列表类型 list 散列类型 hash 集合类型 set 有序集合类型 sorted_set - 持久化支持,可以进行数据灾难恢复。
5、启动Redis
服务器启动:
方式1:双击redis-server.exe
方式2:指令redis-server.exe redis.windows.conf
客户端连接:
二、Redis基本操作
1、大概操作
命令行模式工具使用思考:功能性命令、清除屏幕信息、帮助信息查阅、退出指令。
信息添加:
- 功能:设置 key,value 数据(一般key指的是建立的对象名称,value是存的值)
- 命令:set key value
信息查询: :
- 功能:根据 key 查询对应的 value,如果不存在,返回空(nil)
- 命令:get key
清除屏幕信息:
- 功能:清除屏幕中的信息
- 命令:clear
退出客户端命令行模式:
- 功能:退出客户端
- 命令:quit exit 按钮
帮助:
- 功能:获取命令帮助文档,获取组中所有命令信息名称
- 命令:help 命令名称、help @组名
三、 Redis 数据类型(5种常用)
Java | Redis |
---|---|
string | String |
hash | HashMap |
list | LinkedList |
set | HashSet |
sorted_set | TreeSet |
1、redis 数据存储格式
redis 自身是一个 Map,其中所有的数据都是采用 key : value 的形式存储。
数据类型指的是存储的数据的类型,也就是 value 部分的类型,key 部分永远都是字符串。
key的语法:
- 在一个项目中,key最好使用统一的命名模式。
- key区分大小写。
- key不要太长,尽量不要超过1024字节。不仅消耗内存,也会降低查找的效率。
- key不要太短,太短可读性会降低。
2、String
- 存储的数据:单个数据,最简单的数据存储类型,也是最常用的数据存储类型
- 存储数据的格式:一个存储空间保存一个数据
- 存储内容:通常使用字符串,如果字符串以整数的形式展示,可以作为数字操作使用
相关语法和操作:
==========================字符串类型 string==========================
添加/修改数据
set key value
获取数据
get key
删除数据 del key
添加/修改多个数据
mset key1 value1 key2 value2 …(m代表Multiple)
获取多个数据
mget key1 key2 …
获取数据字符个数(字符串长度)
strlen key
追加信息到原始信息后部(如果原始信息存在就追加,否则新建)
append key value
按照范围获取
GETRANGE key 开始下标 结束下标
替换
SETRANGE key 位置
先get然后在set
getset key value
业务场景一:==========================================================
大型企业级应用中,随着数据量的递增,分表操作是基本操作,使用多张表存储同类型数据,但是对应的主键
id 必须保证统一性,不能重复。Oracle 数据库具有 sequence 设定,可以解决该问题,但是 MySQL数
据库并不具有类似的机制,那么如何解决?
设置数值数据增加指定范围的值
incr key
incrby key increment
incrbyfloat key increment
设置数值数据减少指定范围的值
decr key
decrby key increment
业务场景二:==========================================================
“中国有嘻哈”启动海选投票,只能通过微信投票,每个微信号每 4 小时只能投1票。
电商商家开启热门商品推荐热门商品不能一直处于热门,每种商品热门期维持3天,3天后自动取消热门。
新闻网站会出现热点新闻,热点新闻最大的特征是时效性,如何自动控制热点新闻的时效性。
设置数据具有指定的生命周期
setex key seconds value
psetex key milliseconds value
设置key的过期时间
EXPIRE key seconds
查看key的剩余时间
ttl key
Tips 2:
redis 控制数据的生命周期,通过数据是否失效控制业务行为,适用于所有具有时效性限定控制的操作
业务场景三:==========================================================
5.2 hash
存储的困惑
对象类数据的存储如果具有较频繁的更新需求操作会显得笨重
hash哈希特点
新的存储需求:对一系列存储的数据进行编组,方便管理,典型应用存储对象信息
需要的存储结构:一个存储空间保存多个键值对数据
hash类型:底层使用哈希表结构实现数据存储
hash存储结构优化
如果field数量较少,存储结构优化为类数组结构
如果field数量较多,存储结构使用HashMap结构
主页高频访问信息显示控制,例如新浪微博大V主页显示粉丝数与微博数量
关注数focuss 粉丝数fans 微博数blogs
解决方案
在redis中为大V用户设定用户信息,以用户主键和属性值作为key,后台设定定时刷新策略即可
eg: user:id:3506728370:fans → 12210947
eg: user:id:3506728370:blogs → 6164
eg: user:id:3506728370:focuss → 83
在redis中以json格式存储大V用户信息,定时刷新(也可以使用hash类型)
eg: user:id:3506728370 →
{"id":3506728370,"name":"春晚","fans":12210862,"blogs":6164, "focus":83}
Tips 3:redis应用于各种结构型和非结构型高热度数据访问加速
key 的设置约定===数据库中的热点数据key命名惯例
表名:主键名:主键值:字段名
eg: order:id:9527:name : 王瑞豪
注意事项:==========================================================
数据操作不成功的反馈与数据正常操作之间的差异
① 表示运行结果是否成功
(integer) 0 → false 失败
(integer) 1 → true 成功
② 表示运行结果值
(integer) 3 → 3 3个
(integer) 1 → 1 1个
数据未获取到
(nil)等同于null
数据最大存储量
512MB
数值计算最大范围(java中的long的最大值)
9223372036854775807
3、hash
存储的困惑:对象类数据的存储如果具有较频繁的更新需求操作会显得笨重。
hash哈希特点:
- 新的存储需求:对一系列存储的数据进行编组,方便管理,典型应用存储对象信息
- 需要的存储结构:一个存储空间保存多个键值对数据
- hash类型:底层使用哈希表结构实现数据存储
hash存储结构优化:
- 如果field数量较少,存储结构优化为类数组结构
- 如果field数量较多,存储结构使用HashMap结构
相关语法和操作:
==========================hash哈希类型==========================
添加/修改数据
hset key field value
添加,但是有则不添加,无则添加
hsetnx key field value获取数据
hget key field
hgetall key
删除数据
hdel key field1 [field2]
添加/修改多个数据
hmset key field1 value1 field2 value2 …
获取多个数据
hmget key field1 field2 …
获取哈希表中字段的数量
hlen key
获取哈希表中是否存在指定的字段
hexists key field
获取哈希表中所有的字段名或字段值
hkeys key
hvals key
设置指定字段的数值数据增加指定范围的值
hincrby key field increment
hincrbyfloat key field increment
hash 类型数据操作的注意事项
1.hash类型下的value只能存储字符串,不允许存储其他数据类型,不存在嵌套现象。如果数据未获取
到,对应的值为(nil)
2.每个 hash 可以存储 2^32^-1个键值对
3.hash类型十分贴近对象的数据存储形式,并且可以灵活添加删除对象属性。但hash设计初衷不是为了
存储大量对象而设计的,切记不可滥用,更不可以将hash作为对象列表使用
4.hgetall 操作可以获取全部属性,如果内部field过多,遍历整体数据效率就很会低,有可能成为数
据访问瓶颈
业务场景一:==========================================================
string存储对象(json)与hash存储对象
Stirng存对象强调整体性一般用于读
hash存对象强调灵活性一般用于写
业务场景二:==========================================================
电商网站购物车设计与实现
购物车的redis存储模型
添加、浏览、更改数量、删除、清空
案例演示:
解决方案:
- 以客户id作为key,每位客户创建一个hash存储结构存储对应的购物车信息
- 将商品编号作为field,购买数量作为value进行存储
- 添加商品:追加全新的field与value
- 浏览:遍历hash
- 更改数量:自增/自减,设置value值
- 删除商品:删除field
- 清空:删除key
4、list
- 数据存储需求:存储多个数据,并对数据进入存储空间的顺序进行区分
- 需要的存储结构:一个存储空间保存多个数据,且通过数据可以体现进入顺序
- list类型:保存多个数据,底层使用双向链表存储结构实现
顺序表/链表/双向链表:
相关语法和操作:
==========================list==========================
添加/修改数据
lpush key value1 [value2] ……
rpush key value1 [value2] ……
获取数据
lrange key start stop
lindex key index
llen key
获取并移除数据
lpop key
rpop key
通过下标截取指定的长度,这个list已经被改变了,只剩下截取的元素
ltrim key start end
lset将列表中指定下标的值替换为另外一个值,更新操作
lset key 下标 新数据 # 如果不存在列表我们去更新就会报错
将某个具体的value插入到列中的某个元素的前面或者后面!
LINSERT mylist before "world" "other"
LINSERT mylist after "world" "other"
规定时间内获取并移除数据 b代表block阻塞
blpop key1 [key2] timeout
brpop key1 [key2] timeout
eg:lpush list1 a b
lpop list1 ===a
lpop list1 ===b
lpop list1 ===nil 立刻响应为空,但如果是blpop会阻塞,也就是会等,现在没数据不意味着未来
没有
blpop list1 30 获取数据,有则返回,没有则等待30秒
可以打开2个客户端演示
list 类型数据操作注意事项:
- list中保存的数据都是string类型的,数据总容量是有限的,最多2^3 2^-1个元素 (4294967295)。
- list具有索引的概念,但是操作数据时通常以队列的形式进行入队出队操作,或以栈的形式进行入栈出栈操作。
- 获取全部数据操作结束索引设置为-1。
- list可以对数据进行分页操作,通常第一页的信息来自于list,第2页及更多的信息通过数据库的形式加载。
5、Set
- 新的存储需求:存储大量的数据,在查询方面提供更高的效率。
- 需要的存储结构:能够保存大量的数据,高效的内部存储机制,便于查询。
- set类型:与hash存储结构完全相同,仅存储键,不存储值(nil),并且值是不允许重复的。
相关语法和操作:
==========================Set==========================
添加数据
sadd key member1 [member2]
获取全部数据
smembers key
删除数据
srem key member1 [member2]
获取集合数据总量
scard key
判断集合中是否包含指定数据
sismember key member
业务场景一:==========================================================
每位用户首次使用今日头条时会设置3项爱好的内容,但是后期为了增加用户的活跃度、兴趣点,必须让用户
对其他信息类别逐渐产生兴趣,增加客户留存度,如何实现?
业务分析
1.系统分析出各个分类的最新或最热点信息条目并组织成set集合
2.随机挑选其中部分信息
3.配合用户关注信息分类中的热点信息组织成展示的全信息集合
解决方案
随机获取集合中指定数量的数据
srandmember key [count]
随机获取集合中的某个数据并将该数据移出集合
spop key [count]
Tips 1:
redis 应用于随机推荐类信息检索,例如热点歌单推荐,热点新闻推荐,热卖旅游线路,应用APP推荐,
大V推荐等
业务场景二:==========================================================
1.脉脉为了促进用户间的交流,保障业务成单率的提升,需要让每位用户拥有大量的好友,事实上职场新人不
具有更多的职场好友,如何快速为用户积累更多的好友?
2.新浪微博为了增加用户热度,提高用户留存性,需要微博用户在关注更多的人,以此获得更多的信息或热门
话题,如何提高用户关注他人的总量?
3.QQ新用户入网年龄越来越低,这些用户的朋友圈交际圈非常小,往往集中在一所学校甚至一个班级中,如何
帮助用户快速积累好友用户带来更多的活跃度?
4.美团外卖为了提升成单量,必须帮助用户挖掘美食需求,如何推荐给用户最适合自己的美食?
解决方案
求两个集合的交、并、差集
sinter key1 [key2]
sunion key1 [key2]
sdiff key1 [key2]
求两个集合的交、并、差集并存储到指定集合中
sinterstore destination key1 [key2]
5.5 sorted_set
新的存储需求:数据排序有利于数据的有效展示,需要提供一种可以根据自身特征进行排序的方式
需要的存储结构:新的存储模型,可以保存可排序的数据
sorted_set类型:在set的存储结构基础上添加可排序字段
五.Jedis
我们要使用 Java 来操作 Redis,什么是Jedis 是 Redis 官方推荐的 java连接开发工具! 使用Java 操作
Redis 中间件!
1.导入对应的依赖
sunionstore destination key1 [key2]
sdiffstore destination key1 [key2]
将指定数据从原始集合中移动到目标集合中
smove source destination member
set 类型数据操作的注意事项
1.set 类型不允许数据重复,如果添加的数据在 set 中已经存在,将只保留一份
2.set 虽然与hash的存储结构相同,但是无法启用hash中存储值的空间
语法示例图解:
6、sorted_set
- 新的存储需求:数据排序有利于数据的有效展示,需要提供一种可以根据自身特征进行排序的方式
- 需要的存储结构:新的存储模型,可以保存可排序的数据
- sorted_set类型:在set的存储结构基础上添加可排序字段
相关语法和操作:
==========================sorted_set==========================
添加数据
zadd key score1 member1 [score2 member2]
获取全部数据
zrange key start(开始索引) stop(结束索引) [WITHSCORES] #[WITHSCORES]可以除了数据还
显示分值
zrevrange key start stop [WITHSCORES] 反转
删除数据
zrem key member [member ...]
获取集合数据总量
zcard key
四、Jedis
我们要使用 Java 来操作 Redis,Jedis 是 Redis 官方推荐的 java连接开发工具! 使用Java 操作 Redis 中间件!
1、导入对应的依赖
<!--导入jedis的包-->
<dependencies>
<!-- https://mvnrepository.com/artifact/redis.clients/jedis -->
<dependency>
<groupId>redis.clients</groupId>
<artifactId>jedis</artifactId>
<version>3.2.0</version>
</dependency>
</dependencies>
2、编码测试
import redis.clients.jedis.Jedis;
public class TestPing {
public static void main(String[] args) {
// 1、 new Jedis 对象即可
Jedis jedis = new Jedis("127.0.0.1",6379);
// jedis 所有的命令就是我们之前学习的所有指令!所以之前的指令学习很重要!
System.out.println(jedis.ping());
}
}
五、使用坐标完成Java和redis的连接
首先导入坐标依赖:
<!--redis依赖-->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
再创建config包,包下创建配置RedisTemplate的类,使其能够以JSON格式序列化和反序列化数据。
@Configuration
public class RedisConfig {
@Bean
public RedisTemplate<Object,Object> jsonRedisTemplate(RedisConnectionFactory redisConnectionFactory) throws UnknownHostException{
//1.创建自定义模板类
RedisTemplate<Object, Object> template = new RedisTemplate<Object, Object>();
//配置json类型的序列化工具
template.setKeySerializer(new StringRedisSerializer());//这样key会用字符串方式保存
template.setDefaultSerializer(new Jackson2JsonRedisSerializer<Object>(Object.class));
template.setConnectionFactory(redisConnectionFactory);
return template;
}
}
RedisTemplate<Object, Object>:这是一个Spring提供的模板类,用于与Redis进行交互。泛型<Object,Object>表示key和value的类型都是Object。
RedisConnectionFactory:这是Redis连接工厂,用于创建与Redis服务器的连接。
template.setKeySerializer(new StringRedisSerializer()):这行代码设置了key的序列化工具,将key以字符串形式保存到Redis中。
template.setDefaultSerializer(new Jackson2JsonRedisSerializer<>(Object.class)):这行代码设置了默认的序列化工具,使用Jackson2JsonRedisSerializer将对象序列化为JSON格式。
template.setConnectionFactory(redisConnectionFactory):将Redis连接工厂设置给模板,模板会使用这个工厂与Redis交互。
然后就是去测试类里创建方法:
方案一(字符串处理):
@Autowired
StringRedisTemplate stringRedisTemplate;
@Test
public void show1(){
// 1.key相关
Set<String> keys = stringRedisTemplate.keys("*");
for (String key : keys) {
System.out.println(key);
}
// 2.各种类型支持
stringRedisTemplate.opsForValue();
stringRedisTemplate.opsForList();//List
stringRedisTemplate.opsForHash();//hash
stringRedisTemplate.opsForSet();//set
stringRedisTemplate.opsForZSet();//zset
//3.举例字符串
stringRedisTemplate.opsForValue().set("name","许老师");
String name = stringRedisTemplate.opsForValue().get("name");
System.out.println(name);
//4.操作list列表
stringRedisTemplate.opsForList().leftPush("myList1","曹丕");
stringRedisTemplate.opsForList().leftPush("myList1","曹植");
stringRedisTemplate.opsForList().leftPushAll("mylistAll","曹操","曹丕","曹植");
List<String> list = stringRedisTemplate.opsForList().range("mylistAll",0,2);
System.out.println(list);
}
首先在一开始就定义了StringRedisTemplate,他是用来专门用于处理字符串类型的键和值。
stringRedisTemplate.keys("*"):获取Redis中所有的键(使用*作为通配符),并存储在Set<String>中。然后通过for循环打印每个键。
后面的opsForValue()、opsForList()、opsForHash()、opsForSet()、opsForZSet()都是操作对应的数据然后返回一个可以操作Redis字符串数据类型的接口。
stringRedisTemplate.opsForValue().set("name","许老师");:将字符串键"name"的值设置为"许老师",通过接口操作。
后面的stringRedisTemplate.opsForList().leftPush("myList1", "曹丕");:将字符串"曹丕"从左侧推入到列表"myList1"中,后面两端代码都是。
List<String> list = stringRedisTemplate.opsForList().range("mylistAll",0,2);:获取列表"mylistAll"中从索引0到2的所有元素,并打印出来。
方案二(通用模板):
@Autowired
RedisTemplate redisTemplate;
@Test
public void show2(){
ValueOperations valueOperations = redisTemplate.opsForValue();
valueOperations.set("name","薛老师");
String name = (String) valueOperations.get("name");
System.out.println(name);
redisTemplate.opsForValue();//String
redisTemplate.opsForList();//List
redisTemplate.opsForHash();//hash
redisTemplate.opsForSet();//set
redisTemplate.opsForZSet();//zset
Student stu1 = new Student(1,"薛老师","洗脚");
redisTemplate.opsForValue().set("stu1",stu1);
Student ss1 = (Student)redisTemplate.opsForValue().get("stu1");
System.out.println(ss1);
redisTemplate.opsForList().leftPushAll("mylist","睡觉","游戏");
List<String> list = redisTemplate.opsForList().range("mylist",0,-1);
for (int i = 0; i < list.size(); i++) {
String s = list.get(i);
System.out.println(s);
}
System.out.println("打印默认序列策略"+redisTemplate.getDefaultSerializer());
}
首先定义了一个通用的模板对象,RedisTemplate是一个通用模板类,用于与Redis进行交互,可以处理多种数据类型。
ValueOperations valueOperations = redisTemplate.opsForValue();:获取操作字符串数据类型的接口ValueOperations。
valueOperations.set("name", "薛老师");:将字符串键"name"的值设置为"薛老师",get("name")是将键name对应的值打印出来。
后面的opsForValue()、opsForList()等等都是用来操作字符串类型的数据、操作列表(List)类型的数据等等。
后面Student操作是将对象通过opsForValue()方法存储到Redis中。在获取打印。
list操作也是一样的原理,存入再通过rang()方法获取元素并打印。
方案三(自定义处理):
// 法意:定义配置类JavaConfig,自定义序列化策略
@Autowired
RedisTemplate jsonRedisTemplate;
@Test
public void show3(){
//保存对象
Student stu = new Student(1,"彭老师","拉面");
jsonRedisTemplate.opsForValue().set("stu",stu);
//获取对象
Object s1 = jsonRedisTemplate.opsForValue().get("stu");
String jsonS1 = JSONObject.toJSONString(s1);
Student s11 = JSONObject.parseObject(jsonS1,Student.class);
System.out.println(s11);
Student stu2 = new Student(2,"彭老师","拉面");
Student stu1 = new Student(2,"彭老师","拉面");
Student stu3 = new Student(2,"彭老师","拉面");
List<Student> students = Arrays.asList(stu1, stu2, stu3);
jsonRedisTemplate.opsForValue().set("stus",students);
//必须Object接受,利用ObjectMapper对象转换,如果强制转换会报错
Object data = jsonRedisTemplate.opsForValue().get("stus");
String dataJson = JSONObject.toJSONString(data);
//将JSON类型转为List
List<Student> stus = JSONObject.parseArray(dataJson, Student.class);
System.out.println(stus);
}
这里首先实例化了一个jsonRedisTemplate,这个RedisTemplate已经通过配置类(如RedisConfig)自定义了序列化策略,用于将对象以JSON格式存储和检索。
前面的语法基本一致,但是jsonRedisTemplate可以直接调用比如opsForValue()等方法进行保存数据,获取数据的方式有些不同,Object s1 = jsonRedisTemplate.opsForValue().get("stu");从Redis中获取键"stu"对应的对象,并存储在Object类型的变量s1中。再通过获取到的对象转换为JSON字符串,再通过parseObject()方法,将刚才的对象转换的json字符串和对象类名传入方法中,就可以得到对象本身了。
保存获取多个对象跟保存单个对象也是一样的原理,必须Object接受,利用ObjectMapper对象转换,如果强制转换会报错。
注意jsonRedisTemplate都是使用opsForValue()方法来保存获取对象的。
标签:存储,set,hash,Redis,key,使用,数据,基本概念 From: https://blog.csdn.net/m0_64481525/article/details/141280297