- 2024-11-19动态IP黑白名单过滤的设计与实现(上篇设计思想)
文章目录需求分析方案设计1、设计过程2、最终方案3、扩展知识-布隆过滤器需求分析一些恶意用户(可能是黑客、爬虫、DDoS攻击者)可能频繁请求服务器资源,导致资源占用过高。因此我们需要一定的手段实时阻止可疑或恶意的用户,减少攻击风险。通过IP封禁,可以有效拉
- 2024-11-18极致高效的数据处理:位图、布隆过滤器与哈希切分的奇妙之旅
文章目录前言
- 2024-11-02【C++】布隆过滤器的概念与特点解析
目录00.引入01.布隆过滤器的概念特点1:极低的内存消耗特点2:快速查询特点3:假阳性误判(禁止删除)02.布隆过滤器的底层实现00.引入上一篇博客介绍了位图这一数据结构,它可以在大量整数中快速查找某一数据是否存在,并且内存占用率很低(例如,查找40亿个整数只需0.5G空间)。博客链
- 2024-10-21一文彻底弄清Redis的布隆过滤器
布隆过滤器(BloomFilter)是一种空间效率极高的数据结构,用于快速判断一个元素是否在集合中。它能够节省大量内存,但它有一个特点:可能存在误判,即可能会认为某个元素存在于集合中,但实际上不存在;而对于不存在的元素,它保证一定不会误判。布隆过滤器适合在对存储空间要求极为严格,同时能接
- 2024-09-30【已解决】打开知乎网页出现乱码问题
之前一直使用MicrosoftEdge浏览器,访问知乎网一直没问题,今天突然出现了乱码,不管怎样刷新都没有用,而且刷新后还不一样:英文没有问题,中文出现了乱码。网上搜了一下,好像是关于cookie的问题,为了防止各种搜索引擎的爬虫。我寻思着我也没用爬虫啊,然后打开另一个浏览器试了一下发
- 2024-07-08redis缓存的穿透及解决的方案
概念缓存穿透是指查询一个一定不存在的数据,如果从存储层查不到数据则不写入缓存,这将导致这个不存在的数据每次请求都要到DB去查询,可能导致DB挂掉。这种情况大概率是遭到了攻击。解决方案方案一:将每次查询到为null的值存入redis优点:简单缺点:消耗内存,可能会出现数据不一
- 2024-03-27布隆过滤器原理及应用场景
布隆过滤器(BloomFilter)是一种高效的数据结构,用于快速判断一个元素是否属于一个集合中(会有误判),它以极低的内存消耗和高效的查找速度而著称。布隆过滤器的原理基于哈希函数和位数组。原理解释:初始化:布隆过滤器由一个长度为m的位数组(bitarray)和k个哈希函数(hashfunction)组
- 2024-03-15什么是布隆过滤器(Bloom Filter)?以及布隆过滤器的详细说明。
什么是布隆过滤器(BloomFilter)?以及布隆过滤器的详细说明。布隆过滤器(BloomFilter): 是一种空间效率高、时间复杂度低的数据结构,用于判断一个元素是否属于一个集合。它通过使用多个哈希函数和位数组来实现快速的成员存在性检测,但有一定的误判率。结构:位数组(BitArray):布隆过
- 2024-01-22如何降低股票投资中的决策误判概率(一):我们为什么会产生决策误判
如果希望在股票投资领域赚钱,需要先知道如何才能亏的一无所有。我从小就对人们为什么会产生决策误判,为什么会做出正确决策这两个问题始终非常感兴趣,工作和接触投资以后,愈发加深,我决定把对这两个问题的感悟写下来以做记录。这篇只记录关于投资领域的决策误判问题。第一,情绪问题
- 2024-01-19Redis篇-redis使用场景-缓存-缓存穿透-02
问题一:项目中哪些场景使用了redis呢?1缓存穿透缓存穿透:查询一个不存在的数据,mysql查询不到数据也不会直接写入缓存,就会导致每次请求都查数据库。1.1解决方案一方案一:缓存空数据,查询返回的数据为空,仍把这个空结果进行缓存;{key:1,value:null}优点:简单;缺点:消耗内存,可能会发
- 2024-01-14布隆过滤器详解——转载自IT老暖男
前言我们之前讲了Redis的缓存雪崩、穿透、击穿。在文章里我们说了解决缓存穿透的办法之一,就是布隆过滤器,但是上次并没有讲如何使用布隆过滤器。作为暖男的老哥,给你们补上,请叫我IT老暖男。什么是布隆过滤器布隆过滤器(BloomFilter),是1970年,由一个叫布隆的小伙子提出的,距今已
- 2023-12-30为了降低个人股票投资者的决策误判概率,我们做了一款软件
对于个人股票投资者而言,避免投资决策误判是最重要且最首要的,盈利多少都是次要的。这是一个什么样的软件?这是一个面向个人股票投资者的决策辅助工具【棱镜】,它旨在将你的分析决策逻辑转化为由文字和框架转化为算法,让计算机和算法辅助你共同决策,降低决策误判概率。网站:prismray
- 2023-08-07布隆过滤器
布隆过滤器1.作用判断某一个值是否存在2.组成很长的二进制数组和一系列hash函数3.使用使用hash函数对该值进行hash运算,并将布隆过滤器中相应的位置设置为14.判断某一个数据在布隆过滤器中是否存在对该值使用布隆过滤器的一系列hash函数进行hash运算,然后判断对应的位置
- 2023-07-25布隆过滤器
在做数据新增和插入操作时,往往需要先写一个查询语句查询数据库是否存在该条数据,若存在则只做更新,若不存在则插入 但这样容易增加数据库的负担,若表的数据量比较大,查询速度会很慢,且可能超出数据库的连接池最大数量可通过布隆过滤器进行优化数据新增逻辑1、什么是布隆过滤器以
- 2023-06-28布隆过滤器
一、作用布隆过滤器(BloomFilter)可以用于检索一个元素是否存在于一个集合中。二、底层数据结构bitmap(位图):相当于是一个以bit位为单位的数组,数组中每个单元只能存储二进制数0或1。存储数据:通过多个hash函数,根据hash计算数组对应的位置改为1。查询数据:使用相同hash函数获取到多
- 2023-06-19浅析布隆过滤器
最后更新时间2021-10-05.布隆过滤器(BloomFilter)是1970年由布隆提出的。它可以检索一个元素是否存在于集合中。它的优点是空间效率高,查询时间极快,缺点是有一定的误判率,而且删除困难。1.背景编程中,经常会有判断一个元素是否存在一个集合中:网络爬虫程序:判断一个地址
- 2023-04-14品味布隆过滤器的设计之美
布隆过滤器是一个精巧而且经典的数据结构。你可能没想到:RocketMQ、Hbase、Cassandra、LevelDB、RocksDB这些知名项目中都有布隆过滤器的身影。对于后端程序员来讲,学习和理解布隆过滤器有很大的必要性。来吧,我们一起品味布隆过滤器的设计之美。1缓存穿透我们先来看一个
- 2023-03-21Redis缓存穿透-布隆过滤器
Redis缓存穿透-布隆过滤器缓存穿透我举个蘑菇博客中的案例来说,我现在有一个博客详情页,然后博客详情页中的内容假设是存储在Redis中的,然后通过博客的Uid进行获取,正常的情
- 2023-01-07布隆过滤器与Redis的BitMap之区别
布隆过滤器特点:占用空间更小;可以用来判断一个数据是否存在;布隆过滤器说有,那么该数据不一定,但是布隆说没有一定没有;优点:节省空间;缺点:1.会出现误判;
- 2022-12-28液位传感器检测有泡沫液体会误判吗?
液位传感器是用来检测液体状态的一种传感器,通过传感器检测来判断水箱内是否缺水,从而提示用户及时加水。当传感器在检测一些比较特殊的液体时,例如洗手液、清洗液等容易产生泡
- 2022-12-13【过滤器】布隆过滤器
介绍二进制存储 速度极快通过特殊算法 设置下标,存在显示1,不存在为0 特点查询速度快 使用场景可以用在Redis缓存之前解决问题缓存穿透黑名单等 缺点可能会有1%
- 2022-11-06布隆过滤器使用Demo
实现代码/***@NameBuLongDemo*@Authorqzz*@Date2022/9/717:53*/publicclassBuLongDemo{//预计要插入多少数据privatestaticintsize=1
- 2022-10-21机器学习—决策树—决策树的剪枝
1决策树的剪枝当输入的原始数据有较多的变量时,通过决策树算法生成的决策树可能会非常的庞大。这样的一颗决策树在训练集上有很好的表现,但是在测试集上的表现往往不甚理想
- 2022-10-03Redis 缓存穿透, 缓存击穿, 缓存雪崩的解决方案与布隆过滤器
缓存穿透解决方案设置空值布隆过滤器优点可以将存在的缓存,位置设置为1,然后当不存在的参数过来的时候,会匹配到0上,这样就会直接返回不存在缺点存
- 2022-09-27【Redis】哨兵机制
哨兵其实就是一个运行在特殊模式下的redis进程,主从库实例运行的同时,它也在运行。哨兵主要负责的就是三大任务:监控、选主和通知。我们先看监控。监控是指哨兵进程在运行