redis 新数据类型
bitmaps
操作Ascii码的数据类型,能够有效的提高内存使用效率和开发效率
setbit:设置初始值
gebit:取值
bitcount: 统计数据被设置为1饿数量
bitmaps和set数据的对比:
很明显,这种情况使用bitmaps能节省很多的内存空间,尤其是随着时间推移节省的内存还是非常可观的
但是bitmaps并不是万金油,假如该网站每天的独立访问用户很少,假如只有10w(大量的僵尸用户),那么两者的对比如下表所示:很显然,这时候使用bitmaps就不太合适了,因为基本上大部分都是0.
HyperLogLog
应用场景
HyperLogLog可用于解决与统计相关的功能需求,比如统计网站的页面访问量,虽然可以使用Redis的incr、incrby轻松实现。但像 独立访客、独立IP数、搜索记录数等需要去重和计数的问题如何解决?这种求集合中不重复元素个数的问题称为基数问题。"
解决基数问题有很多种方案:
数据存储在MySQL 表中,使用distinct count计算不重复个数
使用Redis 提供的 hash、setbitmaps等数据结构来处理
以上的方案结果精确,但随着数据不断增加,导致占用空间越来越大,对于非常大的数据集是不切实际的。Redis推出了HyperLogLog,这种数据结构能够降低一定的精度来平衡存储空间。
数据存储在MySQL 表中,使用distinct count计算不重复个数
使用Redis 提供的 hash、setbitmaps等数据结构来处理
以上的方案结果精确,但随着数据不断增加,导致占用空间越来越大,对于非常大的数据集是不切实际的。
Redis推出了HyperLogLog,这种数据结构能够降低一定的精度来平衡存储空间。
优点
Redis HyperLogLog是用来做基数统计的算法,HyperLogLog的优点是,在输入元素的数量或者体积非常非常大时,计算基数所需的空间总是固定的、并且是很小的。
在Redis里面,每个HyperLogLog 键只需要花费12 KB 内存,就可以计算接近 2^64 个不同元素的基数。这和计算基数时,元素越多耗费内存就越多的集合形成鲜明对比。但是,因为 HyperLogLog只会根据输入元素来计算基数,而不会储存输入元素本身,所以HyperLogLog不能像集合那样,返回输入的各个元素。这也是其占用内存少的原因。
用来做基数统计的算法,优点是在输入的元素的数量或者体积非常大时,计算基数所需的空间总是固定的,并且是很小的。在redis中,每个HyperLogLog健只需要占用12kb的内存。
常用的命令
1.pfadd:将元素添加到指定的HyperLogLog数据结构中,如果执行命令后words估计的近似基数发生变化,咋返回1,否则返回0
2.pfcount:计算words的近似基数
3.pfmerge:将一个或多个hyperloglog数据结构合并后的结果放到另一个hyperloglog中。
3.GeoSpatial
Redis 3.2 中增加了对 GEO 类型的支持。GEO,Geographic,地理信息的缩写。该类型,就是元素的2维坐标,在地图上就是经纬度。redis 基于该类型,提供了经纬度设置,查询,范围查询,距离查询,经纬度 Hash等常见操作。
常用命令
1.geoadd:添加位置信息
2.geopos:获取指定地址的坐标值
3.geodist:获取两个位置之间的直线距离
可选参数:
- m表示单位为米[默认值]。
- km 表示单位为千米。
- mi表示单位为英里。
- ft 表示单位为英尺。
如果用户没有显式地指定单位参数,那么geodist默认使用米作为单位。
4.georadius
以给定的经纬度为中心,找出某一半径内的元素
longitude:经度 latitude:纬度 radius:半径 可选参数:单位
标签:HyperLogLog,redis,元素,Redis,三种,内存,数据结构,基数 From: https://www.cnblogs.com/wiseleer/p/16906039.html