首页 > 其他分享 >Fluent Operator 2.5.0 发布:新增多个插件

Fluent Operator 2.5.0 发布:新增多个插件

时间:2023-09-19 19:14:06浏览次数:54  
标签:PR fluent 插件 Fluentd Fluent Operator Bit

日前,Fluent Operator 发布了 v2.5.0。

Fluent Operator v2.5.0 新增 11 个 features, 其中 Fluent Bit 新增支持 7 个插件, Fluentd 新增支持 1 个插件。此外,对 Fluent Operator 也进行了增强,调整了默认参数,以便适应更多场景,并对 helm chart 进行了优化,用户可以更方便的进行安装,并修复了部分 bug。

以下将重点介绍:

Fluent Bit 增加多个插件

1. Prometheus Exporter 插件

Fluent Bit 新增了输出插件 Prometheus Exporter,Prometheus Exporter 输出插件允许您从 Fluent Bit 中获取 metrics 并暴露它们,以便 prometheus 实例可以抓取它们。

相关 PR:https://github.com/fluent/fluent-operator/pull/840。

2. Forward 插件

Fluent Bit 新增了输入插件 Forward,Forward 是 Fluent Bit 和 Fluentd 用于在对等设备之间路由消息的协议。使用该插件可以监听 Forward 消息的输入。

相关 PR:https://github.com/fluent/fluent-operator/pull/843。

3. GELF 插件

Fluent Bit 新增了输出插件 GELF,GELF 是 Graylog 扩展日志格式。GELF 输出插件允许使用 TLS、TCP 或 UDP 协议将 GELF 格式的日志直接发送到 Graylog 输入端。

相关 PR: https://github.com/fluent/fluent-operator/pull/882。

4. OpenTelemetry 插件

Fluent Bit 新增了输入插件 OpenTelemetry,OpenTelemetry 插件可让您按照 OTLP 规范,从各种 OpenTelemetry 输出程序、OpenTelemetry 收集器或 Fluent Bit 的 OpenTelemetry 输出插件获取 OpenTelemetry 格式的数据。

相关 PR:https://github.com/fluent/fluent-operator/pull/890。

5. HTTP 插件

Fluent Bit 新增了输入插件 HTTP,HTTP 输入插件允许 Fluent Bit 打开一个 HTTP 端口,然后以动态方式将数据路由到该端口。该插件支持动态标签,允许你通过同一个输入发送带有不同标签的数据。

相关 PR:https://github.com/fluent/fluent-operator/pull/904。

6. MQTT 插件

Fluent Bit 新增了输入插件 MQTT,MQTT 输入插件允许通过 TCP 连接从 MQTT 控制包中获取消息/数据。要接收的传入数据必须是 JSON map 格式的数据。

相关 PR:https://github.com/fluent/fluent-operator/pull/911。

7. Collectd 插件

Fluent Bit 新增了输入插件 MQTT,Collectd 输入插件允许您从 Collectd 服务端接收数据。

相关 PR:https://github.com/fluent/fluent-operator/pull/914。

Fluentd 主要变化

新增 Grok parser 插件

Fluentd 新增 Grok parser 插件。Grok 是一个第三方的解析器,Grok 是一个简化和重用正则表达式的宏,最初由 Jordan Sissel 开发。如果您熟悉 Grok 模式,那么 Grok parser 插件非常有用。

Grok parser 插件的版本涵盖如下:

fluent-plugin-grok-parser fluentd ruby
>= 2.0.0 >= v0.14.0 >= 2.1
< 2.0.0 >= v0.12.0 >= 1.9

相关 PR: https://github.com/fluent/fluent-operator/pull/861。

增加对 Fluentd 作为 DaemonSet 运行的支持

目前,Fluentd 以 StatefulSet 的形式运行,但我们希望将 Fluentd 作为一个完整的日志方面的进程来运行,这就需要在 Fluentd 中包含一些输入插件(tail、systemd)。所以我们需要将 Fluentd 作为 DaemonSet 的方式来运行。

在该 PR 中,我们引入了将 Fluentd 作为 DaemonSet 运行的选项支持。默认情况下,Fluentd 将作为 StatefulSet 运行,但用户也可以通过启用 agent 模式,将 Fluend 作为 DaemonSet 运行。如果开始了agent 模式,那么在创建 DaemonSet 时会忽略 StatefulSet 特定字段,反之亦然。

此外,Fluend 可以作为 DaemonSet 或 StatefulSet 运行,而不能同时作为 DaemonSet 和 StatefulSet 运行。如果我们启用 DaemonSet,StatefulSet 将被删除,Fluentd 将作为 DaemonSet 运行。

相关 PR:https://github.com/fluent/fluent-operator/pull/839。

其他优化

  • 在 Fluent-bit config 中删除重复的 Cluster parsers;
  • 调整 Fluent Bit 的多项默认参数;
  • 为 Fluentd 添加 ImagePullSecret 参数;
  • 将 Fluent Bit 升级到 2.1.9 版本;
  • 优化 Fluent Operator 的 helm chart 中的各项参数;
  • ...

致谢贡献者

该版本贡献者共有 16 位,他们分别是:

  • gregorycuellar
  • Nyefan
  • WaywardWizard
  • alexandrevilain
  • yash97
  • husnialhamdani
  • L1ghtman2k
  • wenchajun
  • leonsteinhaeuser
  • vincent-vinf
  • Rajan-226
  • sharkeyl
  • ikolesnikovrevizto
  • karan56625
  • ajax-bychenok-y
  • sjliu1

这些贡献者大部分来自海外,这表明 Fluent Operator 是一个全球化的项目,越来越受欢迎和具有影响力,在此感谢各位贡献者!也非常欢迎大家参与这个开源项目和社区!

关于新版本的具体变化,您还可以参考 release note: https://github.com/fluent/fluent-operator/releases/tag/v2.5.0。

本文由博客一文多发平台 OpenWrite 发布!

标签:PR,fluent,插件,Fluentd,Fluent,Operator,Bit
From: https://www.cnblogs.com/kubesphere/p/17715524.html

相关文章

  • eclipse打开文件位置插件
    网上找到的easyexplorer其实不太好用,不能打开文件目录,而且在导航栏没有图标,需要手点击找文件夹。好用的还是OpenExplorer。故转载文章如下:     所谓“工欲善其事,必先利其器”,eclipse作为Java开发常用工具,一些小的使用技巧往往会对工作带来很大的便利,或者一些小工具可以大......
  • 子表JS插件技术
    1.利用Jquery操作table实现表格中增加行,提供三种关于增加表格行的方法,可以在表头中点击增加操作,可以在操作的下拉框中插入一行(默认插入当前行的上一行),当编辑到最后一行的时候也会自动的增加一行。2.利用Jquery操作table实现表格行的复制功能,如果需要录入的内容相同,可以直接使用操作......
  • 教你用API插件开发一个AI快速处理图片小助手
    本文分享自华为云社区《【案例教学】华为云API图引擎服务GES的便捷性—AI帮助快速处理图片小助手》,作者:华为云PaaS服务小智。调用云服务、API、SDK、调试、查看……“我”都行,一起来体验用HuaweiCloudAPI实现AI快速处理图片。1IntelliJIDEA之API插件介绍API插件支持 VSCod......
  • 教你用API插件开发一个AI快速处理图片小助手
    本文分享自华为云社区《【案例教学】华为云API图引擎服务GES的便捷性—AI帮助快速处理图片小助手》,作者:华为云PaaS服务小智。调用云服务、API、SDK、调试、查看……“我”都行,一起来体验用HuaweiCloudAPI实现AI快速处理图片。1IntelliJIDEA之API插件介绍API插件支持VS......
  • 12 款神级 IDEA 插件
    日常的业务功能开发,大部分情况下,核心代码差不多只占了项目的20%,剩下的80%基本就是一些体力活,配置项等;这80%的代码,却消耗了我们大量的时间,而这部分代码,也不会对我们带来大的提升,今天给大家推荐12款我个人常用的优质的插件,旨在快速帮大家完成这80%体力代码,将更多的时间投入在核心功......
  • VCSA证书过期时当存在第三方的插件或解决方案证书更新报错问题处理
    VCSA证书过期时当存在第三方的解决方案证书更新报错问题处理  测试环境存在Zerto时已经通过验证TaskSteps:SSHtoPSCRuntheCertificateManagertoolfrom /usr/lib/vmware-vmca/bin/certificate-managerSelecttoReplaceMachineSSLCertificatewithCustomSig......
  • WEB组态编辑器插件(BY组态)介绍
    BY组态是一款非常优秀的纯前端的【web组态插件工具】,采用标准HTML5技术,基于B/S架构进行开发,支持WEB端呈现,支持在浏览器端完成便捷的人机交互,简单的拖拽即可完成可视化页面的设计。可无缝嵌入到vue项目,react项目等,由于是原生js开发,对于前端的集成没有框架的限制。可快速构建和部署......
  • vim插件使用python编写+AXI非对齐传输如何发送+verdi配置搜索顺序+verible和verilator
    vim插件使用python编写虽然vim有自己的一套语法格式,但是学习成本放着呢,语言那么多,啥都学哪学的过来嘛。不过vim确实是支持python的,但是是python2,而不是python3,因此语法上的一些问题要兼容下。这个是官方手册,正确而可靠的部分。https://vimdoc.sourceforge.net/htmldoc/if_pyth......
  • 「开源系统」mybatis-plus代码生成工具(自己基于官方的封装的,打包成了maven插件的方式)
    mybatis-plus代码生成工具本工具基于MyBatis-Plus的代码生成器,MyBatis-Plus官网:https://baomidou.com/,请尊重原作者作品。demo:https://gitee.com/javalaoniu/mybatis-code-maven-plugin-demo插件:https://gitee.com/javalaoniu/mybatis-plus-code-maven-plugin生成的项目......
  • 10个不能错过的IntelliJ IDEA插件
    为一名开发人员,你需要一些工具,能让你更聪明更高效地工作,无论你是在处理长时间的编译时间,重复的手动任务,还是其他任何生产力瓶颈。其中一个强大的工具是IntelliJIDEA,这是一个流行的Java集成开发环境(IDE)。在本文中,我们将介绍10个最佳的IntelliJIDEA插件,用来增加生产力,提高工作效率......