最近群里有小伙伴有说到自己的日志存储路径先是从客户端到Kafka，再通过消费kafka到ElasticSearch。现在要将ES换成Loki面临需要同时支持Kafka和Loki插件的工具。小白查了下当前市面上满足需求且足够可靠的工具分别为Fluentd、Logstash以及Vector。
- Fluentd
CNCF已毕业的云原生日志采集客户端。与kubernetes结合比较紧密，插件丰富且有大厂背书。不足之处在于受ruby限制，在日志量大（建议使用FluentBit）时本身的资源消耗不小。
- Logstash
ELK栈中老牌的日志采集和聚合工具，使用广泛且插件丰富，不足之处在于资源消耗整体比较高，单机日志并发处理效率不高。
- Vector
刚开源不久的轻量级日志客户端，产品集成度比较高，资源消耗极低。不足之处就是当下产品似乎没有还没有广泛的最佳实践。
官方性能报告 https://vector.dev/#performance
以下是vector分别对上述产品做的一个性能测试对比，大家可以参考下：
Test | Vector | FluentBit | FluentD | Logstash |
TCP to Blackhole | 86mib/s | 64.4mib/s | 27.7mib/s | 40.6mib/s |
File to TCP | 76.7mib/s | 35mib/s | 26.1mib/s | 3.1mib/s |
Regex Parsing | 13.2mib/s | 20.5mib/s | 2.6mib/s | 4.6mib/s |
TCP to HTTP | 26.7mib/s | 19.6mib/s | <1mib/s | 2.7mib/s |
TCP to TCP | 69.9mib/s | 67.1mib/s | 3.9mib/s | 10mib/s |
那么接下来进入主题吧，当我们需要将Kafka里的日志存进Loki时，我们有哪些方法实现，先来看个简单的
标签：插件,mib,kafka,topic,Loki,日志,Kafka,loki From： https://blog.51cto.com/u_15820126/5738627