luckzack
作者相关精选
Go每日一库之7:fsnotify(跨平台文件监听)
腾讯云 开发者社区 2核2G云服务器82元/年 立即购买 > 文档建议反馈控制台 首页 学习 活动 专区 工具 TVP 最新优惠活动 文章/答案/技术大牛 发布 社区首页>专栏>Go每日一库之7:fsnotify(跨平台文件监听)Go每日一库之7:fsnotify(跨平台文件监听)
发布于 2023-09-14 08:19:07 4410 举报 文章被收录于专栏:人人都是架构师简介
上一篇文章Go 每日一库之 viper中,我们介绍了 viper 可以监听文件修改进而自动重新加载。
其内部使用的就是fsnotify
这个库,它是跨平台的。今天我们就来介绍一下它。
快速使用
先安装:
代码语言:javascript 复制$ go get github.com/fsnotify/fsnotify
后使用:
代码语言:javascript 复制package main
import (
"log"
"github.com/fsnotify/fsnotify"
)
func main() {
watcher, err := fsnotify.NewWatcher()
if err != nil {
log.Fatal("NewWatcher failed: ", err)
}
defer watcher.Close()
done := make(chan bool)
go func() {
defer close(done)
for {
select {
case event, ok := <-watcher.Events:
if !ok {
return
}
log.Printf("%s %s\n", event.Name, event.Op)
case err, ok := <-watcher.Errors:
if !ok {
return
}
log.Println("error:", err)
}
}
}()
err = watcher.Add("./")
if err != nil {
log.Fatal("Add failed:", err)
}
<-done
}
fsnotify
的使用比较简单:
- 先调用
NewWatcher
创建一个监听器; - 然后调用监听器的
Add
增加监听的文件或目录; - 如果目录或文件有事件产生,监听器中的通道
Events
可以取出事件。如果出现错误,监听器中的通道Errors
可以取出错误信息。
上面示例中,我们在另一个 goroutine 中循环读取发生的事件及错误,然后输出它们。
编译、运行程序。在当前目录创建一个新建文本文档.txt
,然后重命名为file1.txt
文件,输入内容some test text
,然后删除它。观察控制台输出:
2020/01/20 08:41:17 新建文本文档.txt CREATE
2020/01/20 08:41:25 新建文本文档.txt RENAME
2020/01/20 08:41:25 file1.txt CREATE
2020/01/20 08:42:28 file1.txt REMOVE
其实,重命名时会产生两个事件,一个是原文件的**RENAME**
事件,一个是新文件的**CREATE**
事件。
注意,fsnotify
使用了操作系统接口,监听器中保存了系统资源的句柄,所以使用后需要关闭。
事件
上面示例中的事件是fsnotify.Event
类型:
// fsnotify/fsnotify.go
type Event struct {
Name string
Op Op
}
事件只有两个字段,Name
表示发生变化的文件或目录名,Op
表示具体的变化。Op
有 5 种取值:
// fsnotify/fsnotify.go
type Op uint32
const (
Create Op = 1 << iota
Write
Remove
Rename
Chmod
)
在快速使用中,我们已经演示了前 4 种事件。Chmod
事件在文件或目录的属性发生变化时触发,在 Linux 系统中可以通过chmod
命令改变文件或目录属性。
事件中的Op
是按照位来存储的,可以存储多个,可以通过&
操作判断对应事件是不是发生了。
if event.Op & fsnotify.Write != 0 {
fmt.Println("Op has Write")
}
我们在代码中不需要这样判断,因为Op
的String()
方法已经帮我们处理了这种情况了:
// fsnotify.go
func (op Op) String() string {
// Use a buffer for efficient string concatenation
var buffer bytes.Buffer
if op&Create == Create {
buffer.WriteString("|CREATE")
}
if op&Remove == Remove {
buffer.WriteString("|REMOVE")
}
if op&Write == Write {
buffer.WriteString("|WRITE")
}
if op&Rename == Rename {
buffer.WriteString("|RENAME")
}
if op&Chmod == Chmod {
buffer.WriteString("|CHMOD")
}
if buffer.Len() == 0 {
return ""
}
return buffer.String()[1:] // Strip leading pipe
}
应用
fsnotify
的应用非常广泛,在 godoc 上,我们可以看到哪些库导入了fsnotify
。只需要在fsnotify
文档的 URL 后加上?imports
即可:
https://godoc.org/github.com/fsnotify/fsnotify?importers。有兴趣打开看看,要 fq。
上一篇文章中,我们介绍了调用viper.WatchConfig
就可以监听配置修改,自动重新加载。下面我们就来看看WatchConfig
是怎么实现的:
// viper/viper.go
func WatchConfig() { v.WatchConfig() }
func (v *Viper) WatchConfig() {
initWG := sync.WaitGroup{}
initWG.Add(1)
go func() {
watcher, err := fsnotify.NewWatcher()
if err != nil {
log.Fatal(err)
}
defer watcher.Close()
// we have to watch the entire directory to pick up renames/atomic saves in a cross-platform way
filename, err := v.getConfigFile()
if err != nil {
log.Printf("error: %v\n", err)
initWG.Done()
return
}
configFile := filepath.Clean(filename)
configDir, _ := filepath.Split(configFile)
realConfigFile, _ := filepath.EvalSymlinks(filename)
eventsWG := sync.WaitGroup{}
eventsWG.Add(1)
go func() {
for {
select {
case event, ok := <-watcher.Events:
if !ok { // 'Events' channel is closed
eventsWG.Done()
return
}
currentConfigFile, _ := filepath.EvalSymlinks(filename)
// we only care about the config file with the following cases:
// 1 - if the config file was modified or created
// 2 - if the real path to the config file changed (eg: k8s ConfigMap replacement)
const writeOrCreateMask = fsnotify.Write | fsnotify.Create
if (filepath.Clean(event.Name) == configFile &&
event.Op&writeOrCreateMask != 0) ||
(currentConfigFile != "" && currentConfigFile != realConfigFile) {
realConfigFile = currentConfigFile
err := v.ReadInConfig()
if err != nil {
log.Printf("error reading config file: %v\n", err)
}
if v.onConfigChange != nil {
v.onConfigChange(event)
}
} else if filepath.Clean(event.Name) == configFile &&
event.Op&fsnotify.Remove&fsnotify.Remove != 0 {
eventsWG.Done()
return
}
case err, ok := <-watcher.Errors:
if ok { // 'Errors' channel is not closed
log.Printf("watcher error: %v\n", err)
}
eventsWG.Done()
return
}
}
}()
watcher.Add(configDir)
initWG.Done() // done initializing the watch in this go routine, so the parent routine can move on...
eventsWG.Wait() // now, wait for event loop to end in this go-routine...
}()
initWG.Wait() // make sure that the go routine above fully ended before returning
}
其实流程是相似的:
- 首先,调用
NewWatcher
创建一个监听器; - 调用
v.getConfigFile()
获取配置文件路径,抽出文件名、目录,配置文件如果是一个符号链接,获得链接指向的路径; - 调用
watcher.Add(configDir)
监听配置文件所在目录,另起一个 goroutine 处理事件。
WatchConfig
不能阻塞主 goroutine,所以创建监听器也是新起 goroutine 进行的。代码中有两个sync.WaitGroup
变量,initWG
是为了保证监听器初始化, eventsWG
是在事件通道关闭,或配置被删除了,或遇到错误时退出事件处理循环。
然后就是核心事件循环:
- 有事件发生时,判断变化的文件是否是在 viper 中设置的配置文件,发生的是否是创建或修改事件(只处理这两个事件);
- 如果配置文件为符号链接,若符合链接的指向修改了,也需要重新加载配置;
- 如果需要重新加载配置,调用
v.ReadInConfig()
读取新的配置; - 如果注册了事件回调,以发生的事件为参数执行回调。
总结
fsnotify
的接口非常简单直接,所有系统相关的复杂性都被封装起来了。这也是我们平时设计模块和接口时可以参考的案例。
参考
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。 如有侵权请联系 cloudcommunity@tencent.com 删除 go 接口 跨平台 配置 事件 评论 登录后参与评论 推荐阅读 编辑精选文章 换一批 我独到的技术见解--大型前端项目的常见问题和解决方案 1994 亿级大表冷热分级的工程实践 1663 Design2Code:前端离失业还有多远 1811 眼看他搭中台,眼看他又拆了 11981 QQ 25年技术巡礼丨技术探索下的清新设计,打造轻盈简约的QQ9 1559 【万字长文】论如何构建一个资金账户系统 | 技术创作特训营第一期 4034 Go 语言跨平台文件监听库 fsnotify 怎么使用? 打包go开源 Go 语言作为静态编译型语言,每次修改配置文件后,我们都需要重新编译,修改的配置信息才可以生效,而动态编译型语言修改配置文件可以自动生效,相对来说更方便一些。 frank. 2023-03-13 1.2K0 聊聊dapr的fswatcher go github.com/fsnotify/fsnotify@v1.4.9/kqueue.go code4it 2021-03-08 3220 自动监控文件并上传S3对象存储服务器 | Golang node.jswindowshttps官方文档github 本地平台:Windows 10 专业版 21H2 (19044.1826)、开发语言:go1.18.3 windows/amd64 ZGGSONG 2022-09-23 1.1K0 Go程序动态加载YAML配置文件 goyaml程序配置事件 有些情况下,我们希望程序在运行时能够根据配置文件的变化自动调整其行为,无需手动重启。这种模式在微服务和分布式系统中尤其常见,允许我们在不打断服务的情况下动态调整系统参数。 运维开发王义杰 2023-08-10 6740 每日一库:fsnotify简介 操作系统监控权限事件文件系统 fsnotify是一个用Go编写的文件系统通知库。它提供了一种观察文件系统变化的机制,例如文件的创建、修改、删除、重命名和权限修改。它使用特定平台的事件通知API,例如Linux上的inotify,macOS上的FSEvents,以及Windows上的ReadDirectoryChangesW。 孟斯特 2023-10-19 2810 在 K8S 中 Java OOM dump 文件存储方案 java容器服务对象存储kubernetes 本文试图解决在 k8s 环境下 java 内存溢出时候 dump 文件的存储问题。 谢正伟 2021-05-27 9.1K1 Golang-配置管理Viper go Viper 是一个完整的 Go 应用程序配置解决方案,优势就在于开发项目中你不必去操心配置文件的格式而是让你腾出手来专注于项目的开发。其特性如下: 小许code 2023-02-09 9820 Golang语言 监控文件变化小程序. go小程序 package main import ( "log" "github.com/go-fsnotify/fsnotify" ) func main() { watcher, err := fsnotify.NewWatcher() if err != nil { log.Fatal(err) } defer watcher.Close() done := make(chan bool) go func() { for { select { case event := 李海彬 2018-03-20 1.6K0 Kubernetes中Nginx配置热加载 nginxkubernetes容器go Nginx本身是支持热更新的,通过nginx -s reload指令,实际通过向进程发送HUB信号实现不停服重新加载配置,然而在Docker或者Kubernetes中,每次都需要进容器执行nginx -s reload指令,单docker容器还好说,可以在外面通过exec指定容器执行该指令进行热加载,Kubernetes的话,就比较难受了 李俊鹏 2022-09-21 8810 组件分享之后端组件——Go 的文件系统通知组件fsnotify gonode.jsandroidlinuxios 近期正在探索前端、后端、系统端各类常用组件与工具,对其一些常见的组件进行再次整理一下,形成标准化组件专题,后续该专题将包含各类语言中的一些常用组件。 cn華少 2022-04-24 3750 go 源码学习之---Tail 源码分析 gojava大数据githttp 已经有两个月没有写博客了,也有好几个月没有看go相关的内容了,由于工作原因最近在做java以及大数据相关的内容,导致最近工作较忙,博客停止了更新,正好想捡起之前go的东西,所以找了一个源码学习 coders 2018-09-27 1.1K0 浅析gowatch监听文件变动实现原理 windowslinux打包 刚开始接触go时,发现go程序和php程序的其中一个不同是php是解释性语言,go是编译型语言,即每次在有程序改动后,需要重新运行 go run或go build进行重新编译,更改才能生效,实则不便。于是乎在网络上搜索发现了gowatch这个包,该包可通过监听当前目录下相关文件的变动,对go文件实时编译,提高研发效率。那gowatch又是如何做到监听文件变化的呢? Go学堂 2023-01-31 1.3K0 Go每日一库之6:viper goportredis程序配置 上一篇文章介绍 cobra 的时候提到了 viper,今天我们就来介绍一下这个库。 luckzack 2023-09-13 2700 Go标准库之读写文件(File) 编程算法 Go标准库之读写文件(File) 创建一个空文件 package main import ( "log" "os" ) func main() { file, err := os.Create("empty.txt") if err != nil { log.Fatal("create file err", err) } log.Println(file) file.Close() } 获取文件的信息 package main i 程序员同行者 2019-02-22 4730 【Go API 开发实战 6】基础 2:配置文件读取 api 从上面这些特性来看,Viper 毫无疑问是非常强大的,而且 Viper 用起来也很方便,在初始化配置文件后,读取配置只需要调用viper.GetString()、viper.GetInt() 和 viper.GetBool()等函数即可。 腾讯技术工程官方号 2019-05-16 2K0 5.Go语言之配置文件读取学习记录 gostringyaml函数配置 描述: 作为开发者相信对应用程序的配置文件并不陌生吧,例如 Java Spring Boot 里的 class 目录中程序配置,当然go语言相关项目也是可以根据配置文件的格式内容进行读取的,常规的配置文件格式有 json、ini、yaml (个人推荐)、properties 等,我们可以使用其为程序配置一些初始化的可变参数,例如 数据库字符串链接以及认证密码等等。 全栈工程师修炼指南 2023-05-03 1K0 Nginx容器配置如何热更新? nginx容器 Nginx作为WEB服务器被广泛使用。其自身支持热更新,在修改配置文件后,使用nginx -s reload命令可以不停服务重新加载配置。然而对于Dockerize的Nginx来说,如果每次都进到容器里执行对应命令去实现配置重载,这个过程是很痛苦的。本文介绍了一种kubernetes集群下nginx的热更新方案。 极客运维圈 2020-06-01 4.6K0 手把手,带你从零封装Gin框架(二):配置初始化 & 全局变量 编程 配置文件是每个项目必不可少的部分,用来保存应用基本数据、数据库配置等信息,避免要修改一个配置项需要到处找的尴尬。这里我使用 viper 作为配置管理方案,它支持 JSON、TOML、YAML、HCL、envfile、Java properties 等多种格式的配置文件,并且能够监听配置文件的修改,进行热重载,详细介绍大家可以去官方文档查看 用户10002156 2024-01-08 9260 基于 Go 语言开发在线论坛增补篇:通过 Viper 读取配置文件并实现热加载 gojava编程算法 之前我们在论坛项目中使用了单例模式全局加载配置文件,这样做有一个弊端,就是不支持热加载,每次修改配置文件,需要重启应用,不太灵活,所以这篇教程我们引入 Viper 重构配置读取逻辑,并支持配置文件的热加载(所谓热加载指的是配置文件修改后无需重启应用即可生效)。 学院君 2020-05-07 1.9K0 每日一库:使用Viper处理Go应用程序的配置 go监控解决方案命令行配置 在开发Go应用程序时,处理配置是一个常见的需求。配置可能来自于配置文件、环境变量、命令行参数等等。Viper是一个强大的库,可以帮助我们处理这些配置。 孟斯特 2023-10-19 2080 luckzack0 LV.1 文章 201 获赞 670 专栏 1 作者相关精选 换一批 目录- 简介
- 快速使用
- 事件
- 应用
- 总结
- 参考
腾讯云开发者
热门产品
热门推荐
更多推荐
Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号:粤B2-20090059 深公网安备号 44030502008569
腾讯云计算(北京)有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287
标签:文件,err,配置文件,fsnotify,一库,跨平台,go,Go From: https://www.cnblogs.com/cheyunhua/p/18288943