首页 > 数据库 >es,logstash,redis,filebeat

es,logstash,redis,filebeat

时间:2022-11-29 23:36:03浏览次数:45  
标签:filebeat 9200 redis 192.168 49.219 type logstash

logstash从redis中拿取数据后会删除reids中的key,就无法在redis中查询到beats输入的值。

----filebeat.yml
filebeat.inputs:
- type: tcp
host: "0.0.0.0:8000"


output.redis:
hosts: ["192.168.49.219:6379"]
password: "huang"
db: 5
key: "school"
timeout: 3



----logstash.conf
input {
tcp {
type => "tcp"
port => 8888
}
beats {
type => "beats"
port => 9999
}
redis {
type => "redis"
data_type => "list"
host => "192.168.49.219"
port => "6379"
password => "huang"
db => 5
key => "school"
}

}

output {
stdout {}

if [type] == "tcp" {
elasticsearch {
hosts => ["192.168.49.217:9200","192.168.49.218:9200","192.168.49.219:9200"]
index => "logstash-tcp-%{+YYYY.MM.dd}"
}
} else if [type] == "beats" {
elasticsearch {
hosts => ["192.168.49.217:9200","192.168.49.218:9200","192.168.49.219:9200"]
index => "logstash-beats-%{+YYYY.MM.dd}"
}
} else if [type] == "redis" {
elasticsearch {
hosts => ["192.168.49.217:9200","192.168.49.218:9200","192.168.49.219:9200"]
index => "logstash-redis-%{+YYYY.MM.dd}"
}
} else {
elasticsearch {
hosts => ["192.168.49.217:9200","192.168.49.218:9200","192.168.49.219:9200"]
index => "logstash-other-%{+YYYY.MM.dd}"
}
}
}

标签:filebeat,9200,redis,192.168,49.219,type,logstash
From: https://blog.51cto.com/u_15667024/5897226

相关文章

  • redis 及其在 python 内的使用
    2022-11-2923:03:17星期二Redis简介    redis是一个Key-Value数据库,Value支持string(字符串),list(列表),set(集合),zset(有序集合),hash(哈希类型)等类型。是一......
  • redis集群之主从复制集群的原理和部署
    最近在复盘redis的知识,所以本文开始希望介绍下redis的集群架构、原理以及部署;本文主要介绍redis的主从复制集群,包括其架构模型,原理,高可用等;一、主从集群的介绍  redis......
  • redis分布式锁-解决同一资源多人获取锁定与释放问题
    业务逻辑大概是,一个螺丝刀,有人在用了,其他人无法使用,等待使用完成后另外一个人才能使用描述下一路遇见的问题分布式情况下需要用到分布式锁(用redis)开启使用螺丝刀时,需要......
  • Redis详解(二)——AOF
    转载Redis详解(二)——AOF前言RDB持久化存在一个缺点是一定时间内做一次备份,如果redis意外down掉的话,就会丢失最后一次快照后的所有修改(数据有丢失)。对于数据完整性要......
  • redis入门
    概述redis是什么Redis(RemoteDictionaryServer),即远程字典服务,是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多......
  • linux中使用docker创建redis容器镜像
    redis也是一种数据库,创建过程基本与mysql容器差不多,不过语法上稍有不同cd/rootmkdirredisdockersearchredisdockerpullredisdockerimagesdockerrun-p638......
  • redis 配置说明
    #Redis配置文件#当配置中需要配置内存大小时,可以使用1k,5GB,4M等类似的格式,其转换方式如下(不区分大小写)##1k=>1000bytes#1kb=>1024bytes#1m=>1000000......
  • Linux(CentOS) Docker 部署Logstash (sqlserver 同步到Elasticsearch)
    网上搜了一下基本都是mysql同步到elasticsearch的案例,虽然没有Sqlserver得案例,但是想一下步骤也大致相同。1.拉取镜像使用以下命令拉去与elasticsearch版本一致logstas......
  • 基于redis实现秒杀下单
    秒杀下单应该思考的内容:下单时需要判断两点:秒杀是否开始或结束,如果尚未开始或已经结束则无法下单库存是否充足,不足则无法下单下单核心逻辑分析:当用户开始进行下......
  • redis安装过程中执行make命令编译报错
    报错信息:cdsrc&&makeallmake[1]:Enteringdirectory/root/data/redis-4.0.0/src'CCMakefile.depmake[1]:Leavingdirectory/root/data/redis-4.0.0/src'mak......