首页 > 其他分享 >sync.Map的实现原理

sync.Map的实现原理

时间:2024-09-24 10:14:27浏览次数:1  
标签:Map map read sync 并发 原理 操作

在 Go 语言中,sync.Map 是一个并发安全的映射结构,专门用于在高并发场景下处理键值对数据。它的并发安全是通过内部实现机制来保证的,而不是依赖外部的锁机制(如 sync.Mutexsync.RWMutex)来手动保护操作。

sync.Map 并发安全的实现原理

sync.Map 采用了一种更复杂的数据结构和操作策略来实现并发安全。它的核心设计可以分为以下几个方面:

1. 读写分离机制

sync.Map 的内部结构是通过读写分离实现的,主要由两个部分组成:

  • 只读部分(read map):用于存储稳定的数据。读取操作主要从这个只读部分进行,避免锁的使用。
  • 脏数据部分(dirty map):当数据发生修改(写入、删除)时,会被移动到脏数据区域,写入的同时加锁来确保并发安全。

2. 快速读取路径

  • 无锁读取:如果数据已经存在于 read map 中(即稳定的数据),读取操作不需要加锁,这使得 sync.Map 的读操作非常高效。
  • 写时复制:当数据在 read map 中不存在时,可能存在于 dirty map 中。此时需要升级锁并从 dirty map 读取或写入数据。

3. 写入时的锁保护

  • 当需要写入(StoreDelete)时,sync.Map 会在 dirty map 中进行操作。写操作会加锁,以确保并发写入时的安全性。
  • 每次写入时,sync.Map 都会检查 read mapdirty map 之间的数据是否需要同步(比如数据量超过某个阈值时),并对脏数据部分进行清理和迁移。

4. 懒惰同步(Lazy Synchronization)

当读操作频繁时,sync.Map 会把部分脏数据逐步迁移到 read map,从而减少读操作对锁的依赖。这种延迟同步策略保证了读操作可以尽量避免锁竞争,从而提升读取性能。

5. 原子操作

sync.Map 的部分操作(如 LoadOrStoreLoadAndDelete 等)采用了原子操作。它们的实现使用了底层的原子性检查和赋值操作,确保这些操作能够在并发环境中保持一致性。

关键操作说明

  1. 读操作 (Load)

    • 首先从 read map 中读取,如果找到,直接返回。
    • 如果在 read map 中没有找到,则会尝试从 dirty map 中读取,同时可能会触发一次锁定操作。
  2. 写操作 (Store)

    • 写操作会锁定 sync.Map,以保证在并发环境下对 dirty map 的安全写入。
    • 如果脏数据变多或写入频繁,可能会触发 read map 的同步,将一些脏数据迁移到 read map
  3. 删除操作 (Delete)

    • 删除操作也会加锁,并删除 dirty map 中的数据。
  4. 批量操作 (Range)

    • Range 操作遍历 sync.Map 中的所有数据,确保在遍历期间不会发生并发冲突。

代码示例

package main

import (
    "fmt"
    "sync"
)

func main() {
    var m sync.Map

    // 写入数据
    m.Store("foo", 42)
    m.Store("bar", 100)

    // 读取数据
    value, ok := m.Load("foo")
    if ok {
        fmt.Println("foo:", value)
    }

    // 删除数据
    m.Delete("foo")

    // 使用 Range 遍历所有元素
    m.Range(func(key, value interface{}) bool {
        fmt.Println(key, value)
        return true
    })
}

sync.Map 的优点

  • 读性能高:在读多写少的场景下表现非常优异,因为 read map 读取时不需要加锁,减少了锁竞争。
  • 自动并发控制sync.Map 不需要手动管理锁机制,减少了编写并发安全代码的复杂度。
  • 适合高并发场景:特别是在大量读取的情况下,sync.Map 的性能优于传统的 map + sync.RWMutex 的方案。

何时使用 sync.Map

  • 读多写少的场景:当并发访问主要是读操作,写操作较少时,sync.Map 的读写分离机制使得它具有很高的性能。
  • 需要简单并发访问:当需要并发访问 map,而且不想手动管理锁时,sync.Map 是一个非常方便的工具。

何时不使用 sync.Map

  • 写操作非常频繁sync.Map 在写操作上需要加锁,如果写操作占比很高,可能不如手动加锁的传统 map 方案效率高。

标签:Map,map,read,sync,并发,原理,操作
From: https://www.cnblogs.com/echo1937/p/18428503

相关文章

  • 面向对象程序设计——mapの简析
    1.map的定义Key就是map底层关键字的类型,T是map底层value的类型,set默认要求Key⽀持⼩于⽐较,如果不⽀持或者需要的话可以⾃⾏实现仿函数传给第⼆个模版参数,map底层存储数据的内存是从空间配置器申请的。⼀般情况下,我们都不需要传后两个模版参数。map底层是⽤红⿊树实现,增删......
  • 密码学承诺原理与应用 - 概览
    作者:@warm3snowhttps://github.com/warm3snow微信公众号:密码应用技术实战博客园首页:https://www.cnblogs.com/informatics/标签:技术分享模板目录简介承诺方案原理符号定义方案定义常见承诺方案和原理哈希承诺ElGamal承诺Pedersen承诺零知识证明承诺Sigma承诺Sigma承诺正确......
  • 【解密 Kotlin 扩展函数】扩展函数的底层原理(十八)
    导读大纲1.1.1从Java调用扩展函数1.1.2扩展函数无法重载1.1.1从Java调用扩展函数在编译器底层下,扩展函数是一种静态方法,它接受接收器对象作为第一个参数调用它不涉及创建适配器对象或任何其他运行时开销这使得从Java使用扩展函数变得非常简单调用静态......
  • rsync+inotify
    一、rsync简介rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具RemoteSync可以远程同步。它使用一种称为“Rsync演算法”的技术,只传输文件的不同部分,而不是每次都整份传送,这使得它在备份和同步大量数据时非常高效。rsync可以镜像保存整个目录树和文件系统,保持原......
  • 联邦学习(Federated Learning)原理与代码实战案例讲解
    联邦学习(FederatedLearning)原理与代码实战案例讲解关键词:联邦学习集中式学习数据隐私保护分布式机器学习同态加密安全多方计算1.背景介绍1.1问题的由来随着大数据时代的到来,数据孤岛现象日益严重。许多组织拥有大量的本地数据,但由于法律、安全或商业原因,这些数据......
  • 简单得实现IOC容器控制反转和依赖注入,并分析原理
    目录IOC容器依赖反转/注入AnnotationConfigApplicationContextspring容器启动类(相当于spring容器)完整简单理解代码参考文章链接:https://blog.csdn.net/heyl163_/article/details/132515809IOC容器Component注解:标记是否要创建bean,传入bean的名称@Target(Elem......
  • AI 大模型原理与应用:AI 可以 7 24 小时工作提供经济价值
    AI大模型原理与应用:AI可以7*24小时工作、提供经济价值1.背景介绍1.1问题的由来近年来,人工智能(AI)发展迅速,已经渗透到我们生活的方方面面。从智能手机上的语音助手,到电商平台的个性化推荐,再到自动驾驶汽车,AI正以惊人的速度改变着世界。然而,传统的AI模型通常......
  • 非洲猪瘟病毒检测仪的工作原理
    单通道非洲猪瘟病毒检测仪在非洲猪瘟的防控中发挥着重要作用,其工作原理和功能特点主要体现在以下几个方面:一、工作原理单通道非洲猪瘟病毒检测仪主要基于PCR(聚合酶链反应)技术和荧光检测技术进行工作。具体来说,其工作原理包括以下几个步骤:样品处理:首先,需要收集疑似感染非洲猪......
  • LLM大模型: Denoising Diffusion Probabilistic Models 原理解析与核心代码
      根据文本生成图片是AI的核心应用之一,2020年后主流的生成方式都是基于DenoisingDiffusionProbabilisticModels原理的,逐渐替代了之前使用GAN的方式生成图片!那么DDPM为啥能取代GAN了?其优势在哪?或者说GAN的劣势在哪?  1、CLIP模型都知道吧?text和image都通过各自的enco......
  • 语音识别与语音控制的原理介绍
    硬件平台机器硬件:OriginBot(导航版/视觉版)PC主机:Windows(>=10)/Ubuntu(>=20.04)扩展硬件:X3语音版运行案例首先进入OriginBot主控系统,运行一下指令。请注意,部分操作OriginBot内暂未放入,请根据内容进行适当处理。cd/userdata/dev_ws/#配置TogetheROS环境source/opt/tros/setup.ba......