首页 > 其他分享 >golang channel底层结构和实现

golang channel底层结构和实现

时间:2022-10-04 16:27:14浏览次数:73  
标签:队列 sendq goroutine golang 缓冲区 recvq channel 底层

一、介绍

Golang 设计模式: 不要通过共享内存来通信,而要通过通信实现内存共享

channel是基于通信顺序模型(communication sequential processes, CSP)的并发模式,可以让一个 goroutine 发送特定值到另一个 goroutine 的通信机制

channel中的数据遵循先入先出(First In First Out)的规则,保证收发数据的顺序

 

二、结构

channel的源码在runtime包下的chan.go文件, 参见chan.go

 以下时channel的部分结构:

type hchan struct {
	qcount   uint
	dataqsiz uint
	buf      unsafe.Pointer
	elemsize uint16
	closed   uint32
	elemtype *_type
	sendx    uint
	recvx    uint
	recvq    waitq
	sendq    waitq
	lock mutex
}


type waitq struct {
	first *sudog
	last  *sudog
}

 

其中:

qcount: 队列中剩余的元素个数

dataqsiz: 环形队列长度,即可以存放的元素个数, make初始化时指定

buf: 缓存区,实际上就是环形队列(有环形队列就有缓冲区,否则没有缓冲区),指向环形队列首部的指针,基于环形队列实现,大小等于make初始化channel时指定的环形队列长度,如果make初始化channel时不指定dataqsiz,则buf=0。只有缓冲型的channel才有buf

elemsize: 每个元素的大小

closed: channel关闭标志

elemtype: 元素类型

sendx: 写入数据的索引,即从哪个位置开始写入数据,取值[0, dataqsiz)

recvx: 读取数据的索引,即从哪个位置开始读取数据,取值[0, dataqsiz)

recvq: 接收等待队列,链表结构,长度无限长, 读取数据的goroutine等待队列, 如果channel的缓冲区为空或者没有缓冲区,读取数据的goroutine被阻塞,加入到recvq等待队列中。因读阻塞的goroutine会被向channel写入数据的goroutine唤醒

sendq: 发送等待队列,链表结构,长度无限长, 写入数据的goroutine等待队列, 如果channel的缓冲区为满或者没有缓冲区,写入数据的goroutine被阻塞,加入到sendq等待队列中。因写阻塞的goroutine会被从channel读取数据的goroutine唤醒

lock: 并发控制锁, 同一时刻,只允许一个, channel不允许并发读写

 

1 结构图

 

 

其中:

环形队列中的0表示没有数据,1表示有数据; G表示一个goroutine
dataqsiz表示环形队列的长度为6, 即可缓存6个元素
buf指向环形队列首部,此时还可以缓存2个元素
qcount表示环形队列中有4个元素
sendx表示下一个发送的数据在环形队列index=5的位置写入,取值[0, 6)
recvx表示从环形队列index=1的位置读取数据,取值[0, 6)
sendq, recvq: 虚线表示,此时转态下的channel可能有等待队列

 

三、channel的创建

1 声明channel类型

//同时读写的channel
var 变量 chan 类型

//只能写入数据的channel
var 变量 chan<- 类型

//只能读取数据的channel
var 变量 <-chan 类型 

其中:

类型:channel内的数据类型,golang支持的合法类型

声明的channel此时还是nil,需要配合make函数初始化之后才能使用

 

2 创建channel

//无缓冲的channel
变量 := make(chan 数据类型)

//有缓冲的channel
变量 := make(chan 数据类型, dataqsiz)

  

四、向channel发送数据

1 发送数据的格式

变量 <- 值

 

2 写数据的过程

1) 流程图如下:

 

其中:

G表示一个goroutine
虚线表示sendq中堵塞的G被唤醒的流程,如果G没有被唤醒,则一直堵塞下去,此时关闭channel,会触发panic

 

2) 过程描述:

1) 如果channel是nil(没有初始化), 发送数据则一直会堵塞,这是一个BUG
2) 如果等待接收队列recvq 不为空,说明没有缓冲区或者缓冲区没有数据,直接从recvq取出一个G数据写入,把G唤醒,结束发送过程
3) 如果等待接收队列recvq为空,且缓冲区有空位,那么就直接将数据写入缓冲区sendx位置, sendx++, qcount++, 结束发送过程
4) 如果等待接收队列recvq为空,缓冲区没有空位,将数据写入G,然后把G放到等待发送队列sendq中进行阻塞,等待被唤醒, 结束发送过程。当被唤醒的时候,需要写入的数据已经被读取出来,且已经完成了写入操作

 

五、从channel接收数据

1 接收数据的格式

1) 阻塞接收数据

程序阻塞直到收到数据并赋值

data := <-ch  

 

2) 非阻塞接收数据

非阻塞的通道接收方法可能造成高的 CPU 占用

//ok表示是否接收到数据
data, ok := <-ch

  

3) 接收数据并忽略

程序阻塞直到接收到数据,但接收到的数据会被忽略

<-ch

  

4) 循环接收

channel是可以进行遍历的,遍历的结果就是接收到的数据

for data := range ch {
    //done
}

 

5) SELECT语句接收

select 的特点是只要其中有一个 case 已经完成,程序就会继续往下执行,而不会考虑其他 case 的情况
在一个 select 语句中,Go语言会按顺序从头至尾评估每一个发送和接收的语
如果其中的多条case语句可继续执行(即没有被阻塞),那么就从这些case语句中任意选择一条
如果没有case语句可以执行(即所有的通道都被阻塞):
  1) 如果有 default 语句,执行 default 语句,同时程序的执行会从 select 语句后的语句中恢复
  2) 如果没有 default 语句,那么 select 语句将被阻塞,直到至少有一个case可以进行下去

 

select {
    case <- chan1:
       //done
    case chan2 <- 2:
       //done
    default:
       //done
}

  

2 读取数据的流程

1) 流程图如下:

其中:

G表示一个goroutine
虚线表示recvq中堵塞的G被唤醒的流程,如果G没有被唤醒,则一直堵塞下去,此时关闭channel,会得到channel类型的零值

 

2) 过程描述:

1 如果等待发送队列sendq不为空,且没有缓冲区,直接从sendq中取出G,读取数据,最后把G唤醒,结束读取过程
2 如果等待发送队列sendq不为空,有缓冲区(此时缓冲区满了),从缓冲区中首部读出数据,把sendq出列的G中数据写入缓冲区尾部,把G唤醒,结束读取过程
3 如果等待发送队列sendq为空,且环形队列无元素,将goruntime加入等待接收队列recvq中进行堵塞,等待被唤醒
4 如果等待发送队列sendq为空,环形队列有元素,直接从缓冲区读取数据,结束读取过程

六、关闭channel

1 格式

close(ch)

 

2 过程描述

1) 首先校验chan是否已被初始化,然后加锁之后再校验是否已被关闭过,如果校验都通过了,那么将closed字段设值为1
2) 遍历recvq和sendq,并将所有的goroutine 加入到glist中
3) 将所有glist中的goroutine加入调度队列,等待被唤醒
4) recvq中的goroutine接收到对应数据的零值,sendq中的goroutine会直接panic

 

七、channel发送、接收数据过程可能产生的问题

1 向一个nil的channel发送/读取数据会一直堵塞下去?该如何唤醒?

会一直堵塞下去,不会被唤醒,可能会造成泄露,这是一个BUG

 

2 等待发送队列(sendq)中有数据,如果一直没有gouruntine从channel里面读数据会不会造成泄漏?

会造成泄露,channel用完了,最好要close

 

3 向已经关闭的channel读/写数据会发生什么?

写已经关闭的 channel 会触发panic

读已经关闭的 channel,能一直读到数据:

  1) 如果 channel 关闭前,buf内有元素还未读,会正确读到 channel 内的值,且返回的第二个 bool 值为 true

  2) 如果 channel 关闭前,buf内有元素已经被读完,channel 内无值,返回 channel 元素的零值,第二个 bool 值为 false

 

4 触发 panic 的三种情况

1) 向一个关闭的 channel 进行写操作

2) 关闭一个为 nil 的 channel

3) 重复关闭一个 channel

标签:队列,sendq,goroutine,golang,缓冲区,recvq,channel,底层
From: https://www.cnblogs.com/gudanaimei/p/16612181.html

相关文章

  • golang GC原理
    一、堆栈栈(heap):由操作系统自动分配释放。一般函数内部执行中声明的变量,函数返回时直接释放,不会引起垃圾回收,对性能无影响堆(stack):一般由程序员分配释放,若程序......
  • 前端程序员学习 Golang gin 框架实战笔记之一开始玩 gin
    原文链接我是一名五六年经验的前端程序员,现在准备学习一下Golang的后端框架gin。以下是我的学习实战经验,记录下来,供大家参考。https://github.com/gin-gonic/gin1.......
  • Redis核心设计原理(深入底层C源码)
    Redis基本特性1.非关系型的键值对数据库,可以根据键以O(1)的时间复杂度取出或插入关联值2.Redis的数据是存在内存中的3.键值对中键的类型可以是字符串,整......
  • 【Golang】go语言中如何控制goroutine的数量
    一、现状在Go语言中,goroutine的创建成本很低,调度效率高,Go语言在设计时就是按以数万个goroutine为规范进行设计的,数十万个并不意外,但是goroutine在内存占用方面确实具有有......
  • Golang:输出Emoji表情符号
    Emojiisasimplegolangpackage.译文:Emoji是一个简单的golang包。文档​​https://github.com/kyokomi/emoji​​​​https://pkg.go.dev/github.com/kyokomi/emoji/v2​......
  • Golang:第七章 Golang 常量
    常量:程序编译阶段就确定下来的值,程序运行时无法改变该值定义常量//定义的时候就要初始化constconstantName[type]=valueeg:constPIfloat32=3.14//简写......
  • 浅谈 Golang 插件机制
    我们知道类似Java等半编译半解释型语言编译生成的都是类似中间态的字节码,所以在Java里面我们想要实现程序工作的动态扩展,可以通过Java的字节码编辑技术([[动态代理#A......
  • arthas底层实现原理剖析
    前言经常在应用的启动或者运行过程中需要动态的查看数据,或者实时的验证我们写的代码的结构与执行过程,此时需要一种工具能够动态的检测程序运行的状态,内存数据,线程情况,最好......
  • 【Golang开发面经】百度(三轮技术面)
    文章目录​​写在前面​​​​笔试​​​​一面​​​​算法:判断是否为镜面二叉树​​​​算法:二叉树的俯视图​​​​一个协程被网络io卡住了,对应的线程会不会卡住?​​​​......
  • Golang:go-version一个对语义化版本进行解析、比较的库
    go-versionisalibraryforparsingversionsandversionconstraints,andverifyingversionsagainstasetofconstraints.go-versioncansortacollectionofv......