首页 > 其他分享 >Go runtime 调度器精讲(十):异步抢占

Go runtime 调度器精讲(十):异步抢占

时间:2024-09-16 20:25:01浏览次数:9  
标签:异步 抢占 gp 精讲 式调度 func Go runtime

原创文章,欢迎转载,转载请注明出处,谢谢。


0. 前言

前面介绍了运行时间过长和系统调用引起的抢占,它们都属于协作式抢占。本讲会介绍基于信号的真抢占式调度。

在介绍真抢占式调度之前看下 Go 的两种抢占式调度器:

抢占式调度器 - Go 1.2 至今

  • 基于协作的抢占式调度器 - Go 1.2 - Go 1.13
    改进:通过编译器在函数调用时插入抢占检查指令,在函数调用时检查当前 Goroutine 是否发起了抢占请求,实现基于协作的抢占式调度。
    缺陷:Goroutine 可能会因为垃圾收集和循环长时间占用资源导致程序暂停。
  • 基于信号的抢占式调度器 - Go 1.14 至今
    改进:实现了基于信号的真抢占式调度
    缺陷 1:垃圾收集在扫描栈时会触发抢占式调度。
    缺陷 2:抢占的时间点不够多,不能覆盖所有边缘情况。

注:该段文字来源于 抢占式调度器

协作式抢占是通过在函数调用时插入 抢占检查 来实现抢占的,这种抢占的问题在于,如果 goroutine 中没有函数调用,那就没有办法插入 抢占检查,导致无法抢占。我们看 Go runtime 调度器精讲(七):案例分析 的示例:

//go:nosplit
func gpm() {
	var x int
	for {
		x++
	}
}

func main() {
	var x int
	threads := runtime.GOMAXPROCS(0)
	for i := 0; i < threads; i++ {
		go gpm()
	}

	time.Sleep(1 * time.Second)
	fmt.Println("x = ", x)
}

禁用异步抢占:

# GODEBUG=asyncpreemptoff=1 go run main.go

程序会卡死。这是因为在 gpm 前插入 //go:nosplit 会禁止函数栈扩张,协作式抢占不能在函数栈调用前插入 抢占检查,导致这个 goroutine 没办法被抢占。

而基于信号的真抢占式调度可以改善这个问题。

1. 基于信号的真抢占式调度

这里我们说的异步抢占指的就是基于信号的真抢占式调度。

异步抢占的实现在 :

func preemptone(pp *p) bool {
	...
	// Request an async preemption of this P.
	if preemptMSupported && debug.asyncpreemptoff == 0 {
		pp.preempt = true                                       
		preemptM(mp)                                            // 异步抢占
	}

	return true
}

进入 preemptM

func preemptM(mp *m) {
	...
	if mp.signalPending.CompareAndSwap(0, 1) {                  // 更新 signalPending
		signalM(mp, sigPreempt)                                 // signalM 给线程发信号
	}
	...
}

// signalM sends a signal to mp.
func signalM(mp *m, sig int) {
	tgkill(getpid(), int(mp.procid), sig)
}

func tgkill(tgid, tid, sig int)

调用 signalM 给线程发 sigPreempt(_SIGURG:23)信号。线程接收到该信号会做相应的处理。

1.1 线程处理抢占信号

线程是怎么处理操作系统发过来的 sigPreempt 信号的呢?

线程的信号处理在 sighandler

func sighandler(sig uint32, info *siginfo, ctxt unsafe.Pointer, gp *g) {\
    // The g executing the signal handler. This is almost always
	// mp.gsignal. See delayedSignal for an exception.
	gsignal := getg()
	mp := gsignal.m

    if sig == sigPreempt && debug.asyncpreemptoff == 0 && !delayedSignal {
		// Might be a preemption signal.
		doSigPreempt(gp, c)
		// Even if this was definitely a preemption signal, it
		// may have been coalesced with another signal, so we
		// still let it through to the application.
	}
    ...
}

进入 doSigPreempt

// doSigPreempt handles a preemption signal on gp.
func doSigPreempt(gp *g, ctxt *sigctxt) {
	// Check if this G wants to be preempted and is safe to
	// preempt.
	if wantAsyncPreempt(gp) {
		if ok, newpc := isAsyncSafePoint(gp, ctxt.sigpc(), ctxt.sigsp(), ctxt.siglr()); ok {
			// Adjust the PC and inject a call to asyncPreempt.
			ctxt.pushCall(abi.FuncPCABI0(asyncPreempt), newpc)
		}
	}

	// Acknowledge the preemption.
	gp.m.preemptGen.Add(1)
	gp.m.signalPending.Store(0)
}

首先,doSigPreempt 调用 wantAsyncPreempt 判断是否做异步抢占:

// wantAsyncPreempt returns whether an asynchronous preemption is
// queued for gp.
func wantAsyncPreempt(gp *g) bool {
	// Check both the G and the P.
	return (gp.preempt || gp.m.p != 0 && gp.m.p.ptr().preempt) && readgstatus(gp)&^_Gscan == _Grunning
}

如果是,继续调用 isAsyncSafePoint 判断当前执行的是不是异步安全点,线程只有执行到异步安全点才能处理异步抢占。安全点是指 Go 运行时认为可以安全地暂停或抢占一个正在运行的 Goroutine 的位置。异步抢占的安全点确保 Goroutine 在被暂停或切换时,系统的状态是稳定和一致的,不会出现数据竞争、死锁或未完成的重要计算。

如果是异步抢占的安全点。则调用 ctxt.pushCall(abi.FuncPCABI0(asyncPreempt), newpc) 执行 asyncPreempt

// asyncPreempt saves all user registers and calls asyncPreempt2.
//
// When stack scanning encounters an asyncPreempt frame, it scans that
// frame and its parent frame conservatively.
//
// asyncPreempt is implemented in assembly.
func asyncPreempt()                                       

//go:nosplit
func asyncPreempt2() {                          // asyncPreempt 会调用到 asyncPreempt2
	gp := getg()
	gp.asyncSafePoint = true
	if gp.preemptStop {                         
		mcall(preemptPark)                      // 抢占类型,如果是 preemptStop 则执行 preemptPark 抢占
	} else {
		mcall(gopreempt_m)                      
	}
	gp.asyncSafePoint = false
}

asyncPreempt 调用 asyncPreempt2 处理 gp.preemptStop 和非 gp.preemptStop 的抢占。对于非 gp.preemptStop 的抢占,我们在 Go runtime 调度器精讲(八):运行时间过长的抢占 也介绍过,主要内容是将运行时间过长的 goroutine 放到全局队列中。接着线程执行调度获取下一个可运行的 goroutine。

1.2 案例分析

还记得在 Go runtime 调度器精讲(七):案例分析 中最后留下的思考吗?

//go:nosplit
func gpm() {
	var x int
	for {
		x++
	}
}

func main() {
	var x int
	threads := runtime.GOMAXPROCS(0)
	for i := 0; i < threads; i++ {
		go gpm()
	}

	time.Sleep(1 * time.Second)
	fmt.Println("x = ", x)
}

# GODEBUG=asyncpreemptoff=0 go run main.go 

为什么开启异步抢占,程序还是会卡死?

从前面的分析结合我们的 dlv debug 发现,在安全点判断 isAsyncSafePoint 这里总是返回 false,无法进入 asyncpreempt 抢占该 goroutine。并且,由于协作式抢占的抢占点检查被 //go:nosplit 禁用了,导致协作式和异步抢占都无法抢占该 goroutine。

2. 小结

本讲介绍了异步抢占,也就是基于信号的真抢占式调度。至此,我们的 Go runtime 调度器精讲基本结束了,通过十讲内容大致理解了 Go runtime 调度器在做什么。下一讲,会总览全局,把前面讲的内容串起来。


标签:异步,抢占,gp,精讲,式调度,func,Go,runtime
From: https://www.cnblogs.com/xingzheanan/p/18416290

相关文章

  • mongo集群同步数据异常,手动同步节点副本数据
    转载请注明出处:数据同步方案当副本集节点的复制进程落后太多,以至于主节点覆盖了该节点尚未复制的oplog条目时,副本集节点就会变为“陈旧”。节点跟不上,就会变得“陈旧”。出现这种情况时,必须删除副本集节点的数据,然后执行初始同步,从而完全重新同步该节点。MongoDB提供了......
  • 基于django+vue扶贫助农与产品合作系统【开题报告+程序+论文】-计算机毕设
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容研究背景在当前全球减贫事业与乡村振兴战略的双重背景下,扶贫助农已成为推动社会经济均衡发展的重要途径。随着信息技术的飞速发展,互联网+农业模式......
  • 基于django+vue峰数公司医疗设备管理系统【开题报告+程序+论文】-计算机毕设
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容研究背景随着医疗技术的飞速发展,医疗设备的种类与数量日益增多,成为医疗机构日常运营中不可或缺的重要组成部分。峰数公司,作为一家致力于提供高质量......
  • 基于django+vue分类学科竞赛管理系统-后台2023【开题报告+程序+论文】-计算机毕设
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容研究背景随着教育改革的深入和对学生综合素质培养重视程度的提升,学科竞赛作为提升学生创新能力、实践能力和团队协作精神的重要途径,其规模和影响力......
  • 基于django+vue房屋租赁管理系统【开题报告+程序+论文】-计算机毕设
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容研究背景随着城市化进程的加速和人口流动的增加,房屋租赁市场日益繁荣,成为城市居住形态的重要组成部分。然而,传统的房屋租赁管理方式往往依赖于纸质......
  • 基于django+vue房屋租赁管理系统【开题报告+程序+论文】-计算机毕设
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容研究背景随着城市化进程的加速和人口流动性的增强,房屋租赁市场日益繁荣,成为现代都市生活中不可或缺的一部分。然而,传统的房屋租赁方式往往依赖于中......
  • 基于django+vue房屋租赁管理系统【开题报告+程序+论文】-计算机毕设
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容研究背景在城市化进程加速的今天,房屋租赁市场日益繁荣,成为解决居民居住需求的重要途径。然而,传统的房屋租赁管理方式往往依赖于纸质记录或简单的电......
  • 并发与并行的区别:深入理解Go语言中的核心概念
    在编程中,并发与并行的区别往往被忽视或误解。很多开发者在谈论这两个概念时,常常把它们混为一谈,认为它们都指“多个任务同时运行”。但实际上,这种说法并不完全正确。如果我们深入探讨并发和并行的区别,会发现它不仅是词语上的不同,更是编程中非常重要的抽象层次,特别是在Go语言......
  • Go runtime 调度器精讲(九):系统调用引起的抢占
    原创文章,欢迎转载,转载请注明出处,谢谢。0.前言第八讲介绍了当goroutine运行时间过长会被抢占的情况。这一讲继续看goroutine执行系统调用时间过长的抢占。1.系统调用时间过长的抢占看下面的示例:funclongSyscall(){ timeout:=syscall.NsecToTimeval(int64(5*time......
  • 基于python和django网上订餐系统在线点餐系统外卖系统
    前言......