首页 > 其他分享 >用GoRoutines高性能同时进行多个Api调用

用GoRoutines高性能同时进行多个Api调用

时间:2023-03-02 20:14:34浏览次数:46  
标签:github string goroutine 调用 高性能 https Api com GoRoutines

用GoRoutines高性能同时进行多个Api调用

转载请注明来源:https://janrs.com/2023/03/用goroutines同时进行多个api调用/

Golang是高效的,非常高效。这种效率在很大程度上要归功于它在处理并发性问题时的独特抽象。例如,Java将其线程映射为操作系统线程,而Go使用自己的goroutines调度器将其轻量级goroutines从操作系统线程中进一步抽象出来。简而言之,Golang在使用操作系统线程方面非常节俭;如果一个goroutine被阻塞了,Go的调度器会在它的位置上切换另一个goroutine,以尽可能地保持线程的忙碌。由于每个CPU核心处理的线程数量有限(而且产生新的线程是很昂贵的),保持这些线程的工作是一件很好的事情。

那么,我们如何使用Golang来并发地进行多个http调用呢?如果你使用过C#或现代JavaScript,你可能使用过async/await来进行多个api调用。Golang并不那么容易,但这都是以效率为名义的。Go总是至少有一个goroutine在运行,它负责运行main()。我们可以在函数调用前用关键字go催生新的例程。如果你从事过Java/C#的异步调用,那么goroutine可能会让你想起上下文的概念。[文章来源:janrs.com] Go Scheduler允许开发者制作成千上万个这种轻量级的goroutines,并为我们管理每个goroutines所花费的CPU时间。每当一个以go为前缀的函数被执行时,就会创建一个新的goroutine来运行该函数,主goroutine在生成一个新的goroutine后立即继续前进,直到它遇到一个阻塞操作符(类似于C#或Js中的await)。


原始调用

让我们从一个简单的控制台应用开始,它调用了几个GitHub配置文件,并检查连接是否成功。起初,这里没有goroutines,所有的调用都是连续进行的,效率不高。


// Auth: janrs.com
package main

import "fmt"
import "net/http"

func main() {
	links := []string{
		"https://github.com/fabpot",
		"https://github.com/andrew",
		"https://github.com/taylorotwell",
		"https://github.com/egoist",
		"https://github.com/HugoGiraudel",
	}

	checkUrls(links)
}

func checkUrls(urls []string) {
	for _, link := range urls {
		checkUrl(link)
	}
}

func checkUrl(url string) {
	_, err := http.Get(url)

	if err != nil {
		fmt.Println("We could not reach:", url)
	} else {
		fmt.Println("Success reaching the website:", url)
	}
}

高性能调用

首先,我们需要添加一个叫做通道的东西。由于在自己的goroutine中运行的Golang函数只是简单的函数,我们需要一种方法,通过它内部的goroutine可以把它们的结果告诉外部的goroutine;这就是使用通道来实现的。我们通过以下方式初始化它们: c := make(chan string) 我们能够使用<- 箭头将结果值发送到我们的通道,我们也可以使用这个箭头将通道的值分配出去。

第二,我们需要添加一个跟踪器,来跟踪我们应该期待多少个值从这个通道出来。这可以通过使用sync.WaitGroup.WaitGroup的类型来完成。

落实这两个想法,代码如下。

import (
	"fmt"
	"net/http"
	"sync"
)

func main() {
	links := []string{
		"https://github.com/fabpot",
		"https://github.com/andrew",
		"https://github.com/taylorotwell",
		"https://github.com/egoist",
		"https://github.com/HugoGiraudel",
	}

	checkUrls(links)
}

func checkUrls(urls []string) {
	c := make(chan string)
	var wg sync.WaitGroup

	for _, link := range urls {
		wg.Add(1)   // 这告诉wg,现在这里有一个待处理的操作。
		go checkUrl(link, c, &wg)
	}

	go func() {
		wg.Wait()	// 这将阻止Goroutine,直到WaitGroup计数器为零。#janrs.com
		close(c)    // 通道需要被关闭,否则下面的循环将永远持续下去
	}() 

    // 这个简略的循环是一个无休止的循环的语法糖,它只是在等待结果通过'c'通道进入。
	for msg := range c {
		fmt.Println(msg)
	}
}

func checkUrl(url string, c chan string, wg *sync.WaitGroup) {
	defer (*wg).Done()
	_, err := http.Get(url)

	if err != nil {
		c <- "#janrs.com#We could not reach:" + url    // 将结果输入通道
	} else {
		c <- "Success reaching the website:" + url    // 将结果输入通道
	}
}

转载请注明来源:https://janrs.com/2023/03/用goroutines同时进行多个api调用/

标签:github,string,goroutine,调用,高性能,https,Api,com,GoRoutines
From: https://www.cnblogs.com/yangjianyong-bky/p/17172979.html

相关文章

  • 大型网站技术架构02 网站的高性能架构、网站的可用性架构
    大型网站核心架构要素1.性能2.可用性3.伸缩性4.扩展性5.安全性 瞬时响应:网站的高性能架构1.网站性能测试:  1).不同视角下的网站性能     a......
  • 高性能属性分析
    性能指标是评估软件的一项很重要的属性,不管是对于用户还是程序员来说。对于某些特别的网站来说,性能指标更是重中之重,访问量过多造成的崩溃,或者是某些重要的信息不能及......
  • 阅读笔记《大型网站技术架构核心原理与案例分析》《高性能网站建设指南》
     软工三班曹亚凯在周四的专业课上阅读了两位业界前辈的专业参考书,因为小组要做的针对性研究探讨方面是关于网站性能的,所以针对于网站性能优化,根据其前辈书中的知识做一......
  • 关于亚马逊SP-API接口PII申请的一些建议
    网站域名以及你提交的所有资料,不要重复,比如域名,不要你之前申请的时候填写过,被拒绝了,后来申请又填写,这就是资料重复了,资料重复了,你申请公共的亚马逊SP-API开发者PII权限是......
  • 【磐河旅行】之酒店API接口对接实录
    1、项目需求概述:通过对接第三方磐河旅行的酒店API接口实现在我们的APP、微信小程序、H5上可提供用户酒店查询、酒店预订、退订等功能。效果如下图:  2、酒店接口功......
  • JavaSE API
    JavaSEAPI排序java.lang.Comparablejava.lang.Comparatorjava.lang.Object它是所有类型的根父类一个类如果没有显式声明它的父类,这个类的直接父类就是Object理解......
  • Android Studio 友盟api实现apk多渠道打包
    本篇主要给大家介绍利用友盟api实现Android多渠道打包,进入友盟的官网,注册账号,添加对应的应用。1.添加友盟库的依赖2.在manifest.xml中声明appkey,以及渠道占位符3.builde......
  • mac系统上hdfs java api的简单使用
    1、背景在上一节中,我们简单学习了在命令行上如何操作hdfsshellapi,此处我们通过java程序来操作一下。2、环境准备需要在本地环境变量中配置HADOOP_HOME或在程序启动......
  • mac系统上hdfs java api的简单使用
    目录1、背景2、环境准备3、环境搭建3.1引入jar包3.2引入log4j.properties配置文件3.3初始化HadoopApi4、javaapi操作4.1创建目录4.2上传文件4.3列出目录下有哪些文......
  • API 小白入门教程
    正如汽车行业必须达到一定的规模,才能让企业只生产一个部件。软件产业现在已经足够大了,尤其当你接受所谓的“软件吞噬世界”此类的说法时更是如此。因此,和汽车工业不再生产......