首页 > 其他分享 >Go 每日一库之 fsnotify

Go 每日一库之 fsnotify

时间:2023-04-16 21:00:13浏览次数:50  
标签:err buffer 一库 fsnotify 事件 监听器 Go Op

上一篇文章Go 每日一库之 viper中,我们介绍了 viper 可以监听文件修改进而自动重新加载。
其内部使用的就是fsnotify这个库,它是跨平台的。今天我们就来介绍一下它。

快速使用

先安装:

$ go get github.com/fsnotify/fsnotify

后使用:

package main

import (
  "log"

  "github.com/fsnotify/fsnotify"
)

func main() {
  watcher, err := fsnotify.NewWatcher()
  if err != nil {
    log.Fatal("NewWatcher failed: ", err)
  }
  defer watcher.Close()

  done := make(chan bool)
  go func() {
    defer close(done)

    for {
      select {
      case event, ok := <-watcher.Events:
        if !ok {
          return
        }
        log.Printf("%s %s\n", event.Name, event.Op)
      case err, ok := <-watcher.Errors:
        if !ok {
          return
        }
        log.Println("error:", err)
      }
    }
  }()

  err = watcher.Add("./")
  if err != nil {
    log.Fatal("Add failed:", err)
  }
  <-done
}

fsnotify的使用比较简单:

  • 先调用NewWatcher创建一个监听器;
  • 然后调用监听器的Add增加监听的文件或目录;
  • 如果目录或文件有事件产生,监听器中的通道Events可以取出事件。如果出现错误,监听器中的通道Errors可以取出错误信息。

上面示例中,我们在另一个 goroutine 中循环读取发生的事件及错误,然后输出它们。

编译、运行程序。在当前目录创建一个新建文本文档.txt,然后重命名为file1.txt文件,输入内容some test text,然后删除它。观察控制台输出:

2020/01/20 08:41:17 新建文本文档.txt CREATE
2020/01/20 08:41:25 新建文本文档.txt RENAME
2020/01/20 08:41:25 file1.txt CREATE
2020/01/20 08:42:28 file1.txt REMOVE

其实,重命名时会产生两个事件,一个是原文件的RENAME事件,一个是新文件的CREATE事件。

注意,fsnotify使用了操作系统接口,监听器中保存了系统资源的句柄,所以使用后需要关闭。

事件

上面示例中的事件是fsnotify.Event类型:

// fsnotify/fsnotify.go
type Event struct {
  Name string
  Op   Op
}

事件只有两个字段,Name表示发生变化的文件或目录名,Op表示具体的变化。Op有 5 中取值:

// fsnotify/fsnotify.go
type Op uint32

const (
  Create Op = 1 << iota
  Write
  Remove
  Rename
  Chmod
)

快速使用中,我们已经演示了前 4 种事件。Chmod事件在文件或目录的属性发生变化时触发,在 Linux 系统中可以通过chmod命令改变文件或目录属性。

事件中的Op是按照位来存储的,可以存储多个,可以通过&操作判断对应事件是不是发生了。

if event.Op & fsnotify.Write != 0 {
  fmt.Println("Op has Write")
}

我们在代码中不需要这样判断,因为OpString()方法已经帮我们处理了这种情况了:

// fsnotify.go
func (op Op) String() string {
  // Use a buffer for efficient string concatenation
  var buffer bytes.Buffer

  if op&Create == Create {
    buffer.WriteString("|CREATE")
  }
  if op&Remove == Remove {
    buffer.WriteString("|REMOVE")
  }
  if op&Write == Write {
    buffer.WriteString("|WRITE")
  }
  if op&Rename == Rename {
    buffer.WriteString("|RENAME")
  }
  if op&Chmod == Chmod {
    buffer.WriteString("|CHMOD")
  }
  if buffer.Len() == 0 {
    return ""
  }
  return buffer.String()[1:] // Strip leading pipe
}

应用

fsnotify的应用非常广泛,在 godoc 上,我们可以看到哪些库导入了fsnotify。只需要在fsnotify文档的 URL 后加上?imports即可:

https://godoc.org/github.com/fsnotify/fsnotify?importers。有兴趣打开看看,要 fq。

上一篇文章中,我们介绍了调用viper.WatchConfig就可以监听配置修改,自动重新加载。下面我们就来看看WatchConfig是怎么实现的:

// viper/viper.go
func WatchConfig() { v.WatchConfig() }

func (v *Viper) WatchConfig() {
  initWG := sync.WaitGroup{}
  initWG.Add(1)
  go func() {
    watcher, err := fsnotify.NewWatcher()
    if err != nil {
      log.Fatal(err)
    }
    defer watcher.Close()
    // we have to watch the entire directory to pick up renames/atomic saves in a cross-platform way
    filename, err := v.getConfigFile()
    if err != nil {
      log.Printf("error: %v\n", err)
      initWG.Done()
      return
    }

    configFile := filepath.Clean(filename)
    configDir, _ := filepath.Split(configFile)
    realConfigFile, _ := filepath.EvalSymlinks(filename)

    eventsWG := sync.WaitGroup{}
    eventsWG.Add(1)
    go func() {
      for {
        select {
        case event, ok := <-watcher.Events:
          if !ok { // 'Events' channel is closed
            eventsWG.Done()
            return
          }
          currentConfigFile, _ := filepath.EvalSymlinks(filename)
          // we only care about the config file with the following cases:
          // 1 - if the config file was modified or created
          // 2 - if the real path to the config file changed (eg: k8s ConfigMap replacement)
          const writeOrCreateMask = fsnotify.Write | fsnotify.Create
          if (filepath.Clean(event.Name) == configFile &&
            event.Op&writeOrCreateMask != 0) ||
            (currentConfigFile != "" && currentConfigFile != realConfigFile) {
            realConfigFile = currentConfigFile
            err := v.ReadInConfig()
            if err != nil {
              log.Printf("error reading config file: %v\n", err)
            }
            if v.onConfigChange != nil {
              v.onConfigChange(event)
            }
          } else if filepath.Clean(event.Name) == configFile &&
            event.Op&fsnotify.Remove&fsnotify.Remove != 0 {
            eventsWG.Done()
            return
          }

        case err, ok := <-watcher.Errors:
          if ok { // 'Errors' channel is not closed
            log.Printf("watcher error: %v\n", err)
          }
          eventsWG.Done()
          return
        }
      }
    }()
    watcher.Add(configDir)
    initWG.Done()   // done initializing the watch in this go routine, so the parent routine can move on...
    eventsWG.Wait() // now, wait for event loop to end in this go-routine...
  }()
  initWG.Wait() // make sure that the go routine above fully ended before returning
}

其实流程是相似的:

  • 首先,调用NewWatcher创建一个监听器;
  • 调用v.getConfigFile()获取配置文件路径,抽出文件名、目录,配置文件如果是一个符号链接,获得链接指向的路径;
  • 调用watcher.Add(configDir)监听配置文件所在目录,另起一个 goroutine 处理事件。

WatchConfig不能阻塞主 goroutine,所以创建监听器也是新起 goroutine 进行的。代码中有两个sync.WaitGroup变量,initWG是为了保证监听器初始化,
eventsWG是在事件通道关闭,或配置被删除了,或遇到错误时退出事件处理循环。

然后就是核心事件循环:

  • 有事件发生时,判断变化的文件是否是在 viper 中设置的配置文件,发生的是否是创建或修改事件(只处理这两个事件);
  • 如果配置文件为符号链接,若符合链接的指向修改了,也需要重新加载配置;
  • 如果需要重新加载配置,调用v.ReadInConfig()读取新的配置;
  • 如果注册了事件回调,以发生的事件为参数执行回调。

总结

fsnotify的接口非常简单直接,所有系统相关的复杂性都被封装起来了。这也是我们平时设计模块和接口时可以参考的案例。

标签:err,buffer,一库,fsnotify,事件,监听器,Go,Op
From: https://www.cnblogs.com/cheyunhua/p/17324057.html

相关文章

  • Django基础 - 09路由URL控制与解析
     一、URL路由配置1.1 主路由:主程序目录下的urls.py; 对应属性ROOT_URLCONFurlpatterns=[path('admin/',admin.site.urls),path('index/',index),#配置子路由#include()导入mainapp模块下urls.py中声明的所有子路由path('user/',include......
  • Django基础 - 10请求与响应
     环境准备#1.开启一个新的项目advanceDjango(venv)E:\PythonLearn\djangoDemo>django-adminstartprojectadvanceDjango#2.配置项目同名APP下的settings.py,advanceDjango/advanceDjango/settings.pyALLOWED_HOSTS=['*']TEMPLATES=['DIRS�......
  • Django基础 - 06Model模型的关联关系及对象继承
     一、 一对一关系:实名认证表一对一关系: models.OneToOneField主表的数据是相对重要的(UserEntity), 从表需要主动声明关系(RealProfile)对象获取: 从表获取主表数据, 直接使用字段, 对象.字段名.属性名; 主表获取从表数据: 隐性的, 对象.模型名.属性名1.1 声明一对一......
  • django保存图片并返回url
    场景描述前端传递一个表单,表单中有title,description,以及image等信息,image在这里传递的是二进制文件后端需要将这些数据保存到一个数据库中。image需要保存到指定文件夹下,并且数据库中保存的是image的路径,之后我们可以通过浏览器访问类似127.0.0.1:8000/xxx/a.jpg访问到这......
  • golang语言下,在x86的linux平台上编译arm64二进制
    转载自:https://www.annhe.net/article-4542.html================== 编译etcd测试工具benchmark:CGO_ENABLED=0GOOS=linuxGOARCH=arm64gobuild.  概述有很多开源软件并没有提供arm安装包或者二进制,或者能通过包管理工具安装但是版本比较旧(比如Pandoc)。如果想......
  • mongodb--聚合操作
    一、简单介绍mongodb的聚合操作分为管道操作和MapReduce操作等。聚合管道操作:将文档在一个管道处理完毕后,把处理的结果传递给下一个管道进行再次处理MapReduce操作:是将集合中的批量文档进行分解处理,然后将处理后的各个结果进行合并输出 二、聚合管道操作1、语法结构:pipl......
  • Golang - Option模式(2)(函数选项模式)
    函数式选项模式(FunctionalOptionsPattern)函数式选项模式是一种在Go中构造结构体的模式,它通过设计一组非常有表现力和灵活的API来帮助配置和初始化结构体。优缺点选项模式有很多优点,例如:支持传递多个参数并且在参数发生变化时保持兼容性;支持任意顺序传递参数;支持默认值;方......
  • Linux logout命令
    Linuxlogout命令Linuxlogout命令用于退出系统。logout指令让用户退出系统,其功能和login指令相互对应。语法logout实例退出系统:[[email protected]~]#logout......
  • Django框架基础3
      本节主要分为两个内容:Django模板加载与响应模板精讲(模板变量、模板标签、判断逻辑(if和for))一、Django模板加载与响应  Django的模板系统将Python代码与HTML代码解耦,动态地生成HTML页面。Django项目可以配置一个或多个模板引擎,但是通常使用Django的模板系统......
  • googleTest demo
    googletest的目录在的官方目录在https://github.com/google/googletest.git。作为用户,googleTest的库可以认为提供了两个东西:各种宏,如TEST,TEST_F,通过#include"gtest/gtest.h",即可使用。gtest_main的库libgtest_main.a,即提供了一个主函数,可以和一个测试套的“容器”。静态库......