首页 > 数据库 >Redis数据存储和读写

Redis数据存储和读写

时间:2024-06-02 09:43:24浏览次数:25  
标签:存储 数据结构 读写 Redis 字符串 序列化 数据

今天工作群里,有小伙伴问了一个问题,从Redis获取的数据,一会是0,一会是OK。

这引起了我们对Redis数据存储和读写的疑问。

以下是整理的一些技术研究内容。

在 Redis 中,所有的数据存储都是基于字符串的。无论你插入的是 String、int 还是 DateTime 类型的数据,最终都会以字符串的形式存储在 Redis 中。具体来说:

  1. String 类型数据:

    • 存储:直接以字符串形式存储,无需额外处理。
    • 取出:直接取出字符串即可。
  2. int 类型数据:

    • 存储:将 int 类型转换为字符串,然后存储。
    • 取出:从 Redis 中取出字符串后,再转换为 int 类型。
  3. DateTime 类型数据:

    • 存储:通常将 DateTime 类型转换为某种标准格式的字符串(如 ISO 8601 格式),然后存储。
    • 取出:从 Redis 中取出字符串后,再解析为 DateTime 类型。

具体的操作示例如下:

插入数据

import redis
from datetime import datetime

# 连接到 Redis
r = redis.StrictRedis(host='localhost', port=6379, db=0)

# 存储 String 数据
r.set('my_string', 'Hello, Redis!')

# 存储 int 数据
r.set('my_int', str(12345))

# 存储 DateTime 数据
now = datetime.now().isoformat()
r.set('my_datetime', now)

取出数据

# 取出 String 数据
my_string = r.get('my_string').decode('utf-8')

# 取出 int 数据
my_int = int(r.get('my_int'))

# 取出 DateTime 数据
my_datetime = datetime.fromisoformat(r.get('my_datetime').decode('utf-8'))

数据类型转换:当你从 Redis 取出数据时,Redis 返回的是字节字符串,你需要根据存储的数据类型进行相应的转换:

  • **String 数据:**直接解码为字符串。
  • **int 数据:**先解码为字符串,然后转换为整数。
  • **DateTime 数据:**先解码为字符串,然后解析为 DateTime 对象。

这种方式虽然简单直接,但需要在应用层处理数据的序列化和反序列化。

我们可以根据需要选择不同的序列化格式(如 JSON、Protobuf 等)来存储更复杂的数据结构。

这种设计会出现数据序列化和反序列化的性能问题吗?  

数据的序列化和反序列化确实会引入一些性能开销,但在大多数情况下,这些开销是可以接受的。具体的性能影响取决于以下几个因素:

  1. 数据量大小: 如果数据量较小,序列化和反序列化的开销通常是微不足道的。但是对于大数据量,这些操作的成本会显著增加。

  2. 序列化方式: 不同的序列化方式有不同的性能特征。例如,简单的字符串序列化通常比复杂的格式(如 JSON、XML 或 Protobuf)要快。

  3. 数据类型和复杂度: 简单的数据类型(如整数和字符串)比复杂的数据类型(如对象或嵌套结构)更容易序列化和反序列化。

为了减少序列化和反序列化的性能问题,可以考虑以下几种优化方法:

  1. 选择高效的序列化格式: 对于简单的数据类型,直接使用字符串或二进制格式可以减少开销。对于复杂数据类型,可以选择性能更好的序列化格式,如 MessagePack 或 Protobuf。

  2. 减少数据量: 仅存储和传输必要的数据,尽量减少每次操作的数据量。

  3. 批量操作: 批量操作可以减少网络开销。例如,使用 Redis 的批量命令(如 MSET 和 MGET)一次性操作多个键值对。

  4. 缓存计算结果: 对于需要频繁计算的数据,可以将计算结果缓存到 Redis 中,避免每次都进行序列化和反序列化操作。

Redis内部数据的存储原理是什么?  

Redis 是一个基于内存的高性能键值存储系统,采用了多种数据结构来优化数据存储和访问效率。下面是 Redis 内部数据存储的一些关键原理和机制:

数据结构

Redis 支持多种数据结构,每种数据结构有其特定的存储方式:

  1. 字符串(String)

    • 存储:Redis 的字符串是二进制安全的,最长可以存储 512 MB 的数据。字符串数据结构采用简单动态字符串(SDS)来实现,这种结构允许高效的字符串操作和内存管理。
    • 数据结构:SDS 是一种带有元数据(如长度和空余空间)的动态数组。
  2. 哈希(Hash)

    • 存储:哈希表用于存储键值对集合,适合存储对象的属性数据。
    • 数据结构:采用哈希表(dict)实现。小哈希表(元素少于一定数量时)采用 ziplist(压缩列表)优化存储,大哈希表则使用标准的哈希表实现。
  3. 列表(List)

    • 存储:列表用于存储有序的字符串集合,支持快速的头尾插入和删除操作。
    • 数据结构:列表小于一定大小时使用 ziplist 实现,较大时使用双向链表(quicklist)实现。
  4. 集合(Set)

    • 存储:集合用于存储无序的字符串集合,支持快速的添加、删除和成员检查操作。
    • 数据结构:小集合使用整数数组(intset)实现,大集合使用哈希表实现。
  5. 有序集合(Sorted Set)

    • 存储:有序集合在集合的基础上为每个成员关联一个分数,成员按分数排序。
    • 数据结构:采用跳表(skiplist)和哈希表联合实现,跳表用于排序,哈希表用于快速查找。
  6. 位图(Bitmap)

    • 存储:位图用于高效地存储和操作大量的二进制数据。
    • 数据结构:底层实现为字符串,按位操作。
  7. HyperLogLog

    • 存储:用于基数估计算法,估算集合中不重复元素的数量。
    • 数据结构:底层使用稀疏和稠密两种表示法来优化空间使用。
  8. 地理空间(Geo)

    • 存储:用于存储地理位置信息。
    • 数据结构:基于有序集合实现,通过 GEOADD、GEORADIUS 等命令操作。

内存管理

Redis 采用多种内存管理技术来优化性能和内存使用:

  1. 内存分配:Redis 使用 jemalloc 作为默认的内存分配器,可以高效地管理内存碎片和分配。
  2. 对象共享:对于常用的小对象(如小整数),Redis 会在内部共享这些对象,减少内存开销。
  3. 内存压缩:对于字符串等数据,Redis 可以使用压缩技术来减少内存使用。
  4. LRU/LFU 淘汰:当内存达到设定的上限时,Redis 可以根据设定的策略(如 LRU 或 LFU)淘汰不常用的数据。

持久化

为了防止数据丢失,Redis 提供了多种持久化机制:

  1. RDB 快照:定期将内存中的数据快照保存到磁盘。优点是数据恢复速度快,但可能丢失最近的数据。
  2. AOF 日志:记录每个写操作,定期将日志刷新到磁盘。优点是数据持久化更可靠,但恢复速度较慢。
  3. 混合模式:结合 RDB 和 AOF 的优点,先加载 RDB 快照,然后应用 AOF 日志。

哨兵和集群

为了实现高可用性和扩展性,Redis 提供了哨兵模式和集群模式:

  1. 哨兵模式:通过哨兵进程监控 Redis 主从节点的状态,自动进行故障转移。
  2. 集群模式:将数据分片存储到多个节点上,通过哈希槽(hash slot)实现数据分布和访问。

Redis 内部通过这些机制和原理,提供了高效、可靠的键值存储和访问服务。

  以上。   周国庆 2024/6/2

 

标签:存储,数据结构,读写,Redis,字符串,序列化,数据
From: https://www.cnblogs.com/tianqing/p/18226805

相关文章

  • (11.1)iic串口读写EEPROM实验:EEPROM介绍
    一、EEPROM简介EEPROM(ElectricallyErasableProgrammableReadOnlyMemory),带电可擦除可编程只读存储器,是一种掉电后数据不丢失的非易失性存储器,用户可以通过高于普通电压的作用来擦除和编程(重写)非易失性存储器主要包括:EEPROM:以字节为单位改写;结构复杂,成本高;存储......
  • 深入理解Redis事务、事务异常、乐观锁、管道
    Redis事务与MySQL事务不一样。原子性:MySQL有UndoLog机制,支持强原子性,和回滚。Redis只能保证事务内指令可以不被干扰的在同一批次执行,且没有机制保证全部成功则提交,部分失败则回滚。隔离性:MySQL的隔离性指多个事务可以并发执行,MySQL有MVCC机制。而Redis没有,Redis是事务提交前......
  • 【Redis】 使用Java操作Redis的客户端
    文章目录......
  • Linux上的redis的安装和配置
    上传redis压缩包到linux上解压文件命令: tar-zxvfredis-6.2.4.tar.gz 进入解压好的redis文件编译make安装到指定目录makeinstallPREFIX=/usr/local/redis从解压文件中复制配置文件到reids中cp/root/redis-6.2.4/redis.conf/usr/local/redis/bin/修改配置文件re......
  • Redis笔记——对象之 SET
    是什么?        Redis的Set是一个无序的、不重复的集合字符串集合。        如果底层数据编码为INTSET,其实是有序的,不过不推荐依赖这个,整体还是看作无序来使用为好。场景        无序集合场景。如关注了那些公众号,Set提供了查交集、并集的功能......
  • 初步搭建一个自己的对象存储服务---Minio
    docker安装1、拉取镜像dockerpullminio/minio2、启动镜像dockerrun-p9000:9000-p9001:9001--nameminio-d--restart=always-e"MINIO_ACCESS_KEY=admin"-e"MINIO_SECRET_KEY=admin123456"-v/home/data:/data-v/home/config:/root/.miniominio/m......
  • Linux线程之读写锁小结
    读写锁(rwlock)与互斥锁(MutexLock)相比,有如下特点:更加细致的区分了读和写,给共享资源分别上了“读”锁和“写”锁。“写”独占,“读”共享,“写”锁优先级更高如果共享资源在绝大多数情况下是“读”操作,可以提高程序的并发性能。常用的函数原型总结如下:pthread_rwlock_trwlock......
  • Redis笔记——底层数据结构之压缩列表
    是什么?        本质上就是紧凑的列表。        压缩列表在Redis中有两种编码方式,分别是ZIPLIST与LISTTPACK。LISTPACK从Redis5.0引入,直至Redis7.0完全替换了ZIPLIST,可以看作是ZIPLIST的进阶版。有什么作用?        在List文章中,提......
  • C语言文件操作指南:读写与管理
    在C语言编程中,文件操作是一个重要的主题。无论是读取配置文件、记录日志,还是处理大量数据,文件操作都是必不可少的。本文将介绍C语言中文件操作的基本概念和常用方法,帮助你轻松掌握这项技能。一、文件操作的基本概念在C语言中,文件操作主要包括以下几步:打开文件:创建一个文件指......
  • 通过Restful接口实现对数据库进行基本的读写操作
    一、创建springboot项目这里使用的springboot项目与我们上次使用的一样,所以创建方法跟下文一致即可。SpringBoot+MySQL的简单运用(HelloWorldAPI)-CSDN博客二、配置数据库连接2.1创建数据库首先我们要创建一个数据库,应用于本次项目。打开MySQL,输入密码登录。(MySQL安......