首页 > 其他分享 >如何实现一个工业级哈希表

如何实现一个工业级哈希表

时间:2023-04-24 14:33:05浏览次数:33  
标签:数据 列表 链表 如何 寻址 冲突 哈希 工业 散列

1、散列表碰撞攻击

 

在极端情况下,攻击者通过精心构造的数据,使得所有的数据都散列到同一个槽里,如果使用链表冲突解决方法,散列表就会退化为链表,查询时间复杂度就从 O(1) 退化为 O(n)。

可能因为查询操作消耗大量 CPU 或者线程资源,导致系统无法响应其他请求,从而达到拒绝服务攻击(DoS)的目的。

 

2、如何设计散列函数?

散列函数设计的好坏,决定了散列表冲突的概率大小,也直接决定了散列表的性能。那什么才是好的散列函数呢?

 

  • 散列函数的设计不能太复杂,过于复杂的散列函数,会消耗很多计算时间,影响到性能。
  • 散列函数生成的值要尽可能随机并且均匀分布,最小化散列冲突,并且散列到每个槽里的数据也会比较平均。
 

3、装载因子过大了怎么办?动态扩容

 

装载因子 load fator,散列表中关键字个数和散列表长度之比,用于度量所有关键字填充哈希表后饱和的程度。

装载因子越大,说明散列表中的元素越多,空闲位置越少,散列冲突的概率就越大。不仅插入数据的过程要多次寻址或者拉很长的链,查找的过程也会因此变得很慢。

 

针对散列表,当装载因子过大时,我们可以进行动态扩容,重新申请一个更大的散列表,将数据搬移到这个新散列表中。

 

针对散列表的扩容,因为散列表的大小变了,数据的存储位置也变了,所以我们需要通过散列函数重新计算每个数据的存储位置。

 

装载因子阈值需要选择得当。如果太大,会导致冲突过多;如果太小,会导致内存浪费严重。

 

4、如何避免低效地扩容?

 

当有新数据要插入时,我们将新数据插入新散列表中,并且从老的散列表中拿出一个数据放入到新散列表。每次插入一个数据到散列表,我们都重复上面的过程。经过多次插入操作之后,老的散列表中的数据就一点一点全部搬移到新散列表中了。这样没有了集中的一次性数据搬移,插入操作就都变得很快了。

 

这期间的查询操作怎么来做呢?对于查询操作,为了兼容了新、老散列表中的数据,我们先从新散列表中查找,如果没有找到,再去老的散列表中查找。

通过这样均摊的方法,将一次性扩容的代价,均摊到多次插入操作中,就避免了一次性扩容耗时过多的情况。这种实现方式,任何情况下,插入一个数据的时间复杂度都是 O(1)。

5、如何选择冲突解决方法?

两种主要的散列冲突的解决办法:开放寻址法和链表法。

比如,Java 中 LinkedHashMap 就采用了链表法解决冲突,ThreadLocalMap 是通过线性探测的开放寻址法来解决冲突。

 

1. 开放寻址法

使用开放寻址法解决冲突的散列表,装载因子的上限不能太大,这种方法比链表法更浪费内存空间。

总结一下,当数据量比较小、装载因子小的时候,适合采用开放寻址法。这也是 Java 中的ThreadLocalMap使用开放寻址法解决散列冲突的原因。

2. 链表法

链表法对内存的利用率比开放寻址法要高:链表结点可以在需要的时候再创建,不需要事先申请好。

总结一下,基于链表的散列冲突处理方法比较适合存储大对象、大数据量的散列表,而且,比起开放寻址法,它更加灵活,支持更多的优化策略,比如用红黑树代替链表。

标签:数据,列表,链表,如何,寻址,冲突,哈希,工业,散列
From: https://www.cnblogs.com/binyue/p/17349419.html

相关文章

  • 如何通过C#/VB.NET代码将PowerPoint转换为HTML
    利用PowerPoint可以很方便的呈现多媒体信息,且信息形式多媒体化,表现力强。但难免在某些情况下我们会需要将PowerPoint转换为HTML格式。因为HTML文档能独立于各种操作系统平台(如Unix,Windows等)。并且它可以加入图片、声音、动画、影视等内容,还能从一个文件跳转到另一个文件,与世界各地......
  • 技术干货|如何利用 ChunJun 实现数据实时同步?
    实时同步是ChunJun的⼀个重要特性,指在数据同步过程中,数据源与⽬标系统之间的数据传输和更新⼏乎在同⼀时间进⾏。在实时同步场景中我们更加关注源端,当源系统中的数据发⽣变化时,这些变化会⽴即传输并应⽤到⽬标系统,以保证两个系统中的数据保持⼀致。这个特性需要作业运⾏过程中......
  • Anki 如何同步 无需网络如何 手机和电脑进行同步
    Anki如何同步无需网络如何手机和电脑进行同步 直接覆盖同步,谁覆盖谁,谁就是最新的。 Anki本地文件    C:\Users\john\AppData\Roaming\Anki2\testAnki手机文件    \\P30\内部存储\AnkiDroid#test为当前项目的名字,所有的文件均在目录下,C:\Users\john\App......
  • 如何解决安卓七,客户端用的webview打包视频切换有暂停图标
    可以用video中的html5poster属性poster="data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7"data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7为最小的base64图片并且透明也可以选择黑色:data:image/gif;b......
  • 【触想智能】工业平板电脑的特点与应用领域分析
    平板电脑是我们日常生活、办公用得最多的产品之一,然而平板电脑有商业用途和工业用途之分,在功能和设计上有比较大的区别。商业用的平板电脑,我们生活和办公经常使用,了解的人比较多,但是说到工业平板电脑,了解的人就比较少了。工业平板电脑是应用在工业环境下的一种工业计算机......
  • 如何解决RabbitMQ消息积压
    如果你在你简历上写上了熟悉RabbitMQ,那么你在面试时很有可能会被问到,如何解决MQ消息积压?要想将此问题回答完美,一定要多方面考虑。首先,我们要搞清楚是什么原因导致的消息积压。我列举了以下三种:1)流量变大,而RabbitMQ服务器配置偏低,导致消息产生速度大于消费速度;2)消费者故障,从而消......
  • SpringSecurity从入门到精通:如何查看具体的过滤器&入门案例认证流程图讲解
    如何查看具体的过滤器  入门案例认证流程图讲解 概念速查:Authentication接口:它的实现类,表示当前访问系统的用户,封装了用户相关信息AuthenticationManager接口:定义了认证Authentication的方法UserDetailsService接口:加载用户特定数据的核心接口,里面定义了......
  • Windows Defender MsMpEng.exe占用内存过高 如何关闭
    如何解决MsMpEng.exe占用内存过高?我们将展示4种方法来帮助您解决MsMpEng.exe占用内存过高的问题,以优化您的电脑性能。✔1.通过组策略编辑器关闭WindowsDefender防病毒程序1.按“Win+R”在运行框中输入“gpedit.msc”,再单击“确定”打开本地组策略编辑器。2.通过以下路径......
  • Hystrix 如何在不引入 Archaius 的前提下实现动态配置更新
    Hystrix简介Hystrix是Netflix开源的一个限流熔断降级组件,防止依赖服务发生错误后,将调用方的服务拖垮。这里对Hystrix本身不做过多介绍。Hystrix目前处于维护状态(不再更新),但是还有大量项目对它进行了使用,因此仍然非常重要。基本用法在Hystrix中,HystrixCommand是非常......
  • redis之哈希类型-列表类型-集合类型-有序集合-慢查询-pipeline-发布订阅-Bitmap位图-H
    目录redis之哈希类型-列表类型-集合类型-有序集合-慢查询-pipeline-发布订阅-Bitmap位图-HyperLogLog-GEO地理位置昨日内容回顾今日内容详细1哈希类型2列表类型3集合类型4有序集合5慢查询6pipeline与事务7发布订阅8Bitmap位图9HyperLogLog10GEO地理位置redis之哈希类型......