首页 > 其他分享 >Win下ELK日志搜集系统搭建

Win下ELK日志搜集系统搭建

时间:2023-08-15 14:35:49浏览次数:45  
标签:ELK filebeat 8.4 windows Win 64 日志 logstash

从官网下载

elasticsearch

传送门:Download Elasticsearch | Elastic

filebeat

传送门:Download Filebeat • Lightweight Log Analysis | Elastic

filebeat

传送门:Download Kibana Free | Get Started Now | Elastic

logstash

传送门:Download Logstash Free | Get Started Now | Elastic

在此上传8.4.2的解压包下载路径

elasticsearch-8.4.2-windows-x86\_64.zip

filebeat-8.4.2-windows-x86\_64.zip

kibana-8.4.2-windows-x86\_64.zip

logstash-8.4.2-windows-x86\_64.zip

使用nssm将elasticsearch、kibana注册成Windows服务

传送门:NSSM - the Non-Sucking Service Manager

nssm-2.24.zip

elasticsearch

Win下ELK日志搜集系统搭建_ELK

Kibana

Kibana配置文件修改

文件路径:kibana-8.4.2\config 配置文件的修改内容如下:

Win下ELK日志搜集系统搭建_ELK_02

Win下ELK日志搜集系统搭建_配置文件_03

将下载后的nssm.exe文件复制到Kibana的bin目录里,双击执行

绑定启动文件和启动路径,服务就注册好了

使用nssm将Kibana注册成服务

Win下ELK日志搜集系统搭建_elasticsearch_04

启动好之后

查看 elasticsearch http://127.0.0.1:9200

Win下ELK日志搜集系统搭建_ELK_05

查看 Kinbana http://127.0.0.1:5601

Win下ELK日志搜集系统搭建_elasticsearch_06

配置logstash文件

在logstash-8.4.2\config解压的config文件夹下新建logstash的配置文件

Win下ELK日志搜集系统搭建_ELK_07

配置的文件内容如下

#input是日志文件的来源处,可以从log文件中读取,也可以从后台端口服务中启用
#这边配置的是从beats(filebeats)中上传读取的,
input {
beats {
   port => 5044
}
}
#filter是过滤器,可以用来匹配日志,利用自定义字段区分判断日志归属
filter{
   grok{
       #通过\\\[和\\\]来匹配对应数据
       match => {"message" => "\\\[%{DATA:date}\\\]\\\[%{DATA:level}\\\]\\\[%{DATA:proc}\\\] %{DATA:msg}"}
}
   json{
source => "message"
}
if \[mptype\] {
mutate {
  add\_field => {
    "index\_name" => "%{mptype}-%{+YYYY.MM.dd}"
  }
}
} else {
mutate {
  add\_field => {
    "index\name" => "未知模块日志"
  }
}
}
}
#output主要是日志的输出,基本上都是发送到elasticsearch
output {
elasticsearch {
  hosts => \["http://localhost:9200"\]
  index => "mp\%{index\_name}"
}
stdout { codec => rubydebug }
}

配置完之后启用cmd命令行启动logstash

命令如下:

D:\\ELK\\logstash-8.4.2\\bin\\logstash.bat  -f  D:\\ELK\\logstash-8.4.2\\config\\lostash-local.conf
#指定logstash.bat启动,并且以刚刚定义的config文件启动

当出现这个的时候就代表logstash启动成功

Win下ELK日志搜集系统搭建_配置文件_08

查看 logstash页面

http://127.0.0.1:9600/

Win下ELK日志搜集系统搭建_elasticsearch_09

beats(filebeat)配置启动文件

打开解压的文件夹filebeat-8.4.2-windows-x86\_64

Win下ELK日志搜集系统搭建_ELK_10

修改配置文件 filebeat.yml

内容如下

Win下ELK日志搜集系统搭建_配置文件_11

Win下ELK日志搜集系统搭建_ELK_12

配置完之后启用cmd命令行启动filebeat

命令如下:

D:\\ELK\\filebeat-8.4.2-windows-x86\_64\\filebeat.exe  -e -c  D:\\ELK\\filebeat-8.4.2-windows-x86\_64\\filebeat.yml

注意:要先启动logstash,再启动filebeat,不然会报端口错误

Kibana界面使用

Win下ELK日志搜集系统搭建_elasticsearch_13

左边打开菜单栏,进入开发工具

这边显示的是一个控制台

Win下ELK日志搜集系统搭建_elasticsearch_14

使用命令查看所有可用日志文件

GET /\_cat/indices?v

Win下ELK日志搜集系统搭建_ELK_15

运行之后搜索出这些文件

下面进入到stack Management

Win下ELK日志搜集系统搭建_ELK_16

按步骤点击创建视图,关联上前面的索引

Win下ELK日志搜集系统搭建_配置文件_17

Win下ELK日志搜集系统搭建_配置文件_18

下面就是查看成果的时候了,进入discover视图

Win下ELK日志搜集系统搭建_ELK_19

从这边选择你刚刚创建的视图,进行日志查看

Win下ELK日志搜集系统搭建_配置文件_20

如果出现这样的页面,不用担心,

Win下ELK日志搜集系统搭建_配置文件_21

调整一下你日志的输出时间,然后点击刷新

Win下ELK日志搜集系统搭建_elasticsearch_22

Win下ELK日志搜集系统搭建_ELK_23

这样的日志信息太杂乱了,我们要给他进行修剪一下

Win下ELK日志搜集系统搭建_elasticsearch_24

将主要输出内容筛选出来,主要的输出内容都在【message】这个字段里

Win下ELK日志搜集系统搭建_ELK_25

顺带的,我们再把时间日期格式修改一下

Win下ELK日志搜集系统搭建_ELK_26

Win下ELK日志搜集系统搭建_elasticsearch_27

Win下ELK日志搜集系统搭建_配置文件_28

最后的结果,是不是就顺眼很多了

Win下ELK日志搜集系统搭建_elasticsearch_29

标签:ELK,filebeat,8.4,windows,Win,64,日志,logstash
From: https://blog.51cto.com/u_14299064/7088399

相关文章

  • C# Winform 鼠标穿透
    以前在玩射击游戏的时候,狙击枪的设定一般是开镜才有准星,所以想是不是可以自己造一个默认准星出来,思路是现在窗口上画一个准星,然后把窗体其他区域都透明,然后设置鼠标穿透;结果是:UpdateLayeredWindow的不规则窗口中,添加鼠标穿透功能导致不规则窗口失效。GraphicsPathForm的不规则......
  • C# Winform 使用 BarTender打印条码
    -1.使用软件BarTender设计打印模板贴一个入门级使用教程:https://blog.csdn.net/ononeway/article/details/119912602我在项目中使用的是txt文本格式保存的字段以及数据,第一行是绑定数据的字段,第二行是字段对应的数据。点击查看代码"ITEM_CODE","ITEM_DESC","UOM_NAME","V......
  • 在Windows Server 2008上启用自动文件夹备份
    要在WindowsServer2008上启用自动文件夹备份,您可以使用内置的Windows备份功能。下面是如何设置它的方法:1.点击“开始”按钮并选择“服务器管理器”,打开“服务器管理器”。2.在“服务器管理器”窗口中,单击左侧窗格中的“功能”。3.在右侧的功能面板中点击[添加功能]。4......
  • windows使用命令格式化U盘
    1、DISKPART命令格式化U盘Diskpart是Windows下一个非常强大的磁盘管理工具,可以用于删除、创建、格式化分区等操作。使用CMD命令行执行Diskpart命令,也可以对U盘进行格式化。1.连接U盘,打开CMD命令行窗口。2.在命令行窗口中输入“diskpart”进入磁盘管理工具。3.输入“listd......
  • SpringBoot 3.0日志系统设计LoggingSystem详解
    0前言SpringBoot对日志的配置和加载进行了封装,让我们可以很方便地使用一些日志框架,只需要定义对应日志框架的配置文件,如LogBack、Log4j、Log4j2等,代码内部便可以直接使用。如我们在resources目录下定义了一个logbackxml文件,文件内容是logback相关配置,然后就可以直接在代码在使用L......
  • 开源数据库Mysql_DBA运维实战 (DCL/日志)
    SQL(StructuredQueryLanguage即结构化查询语言)a.DDL语句 数据库定义语言:数据库,表,视图,索引,存储过程,函数,创建删除ALTER(CREATEDROPALTER) b.DML语句数据库操纵语言:插入数据INSERT、删除数据DELETE、更新数据UPDATEc.DQL语句 数据库查询语言:查询数据SELECTd.DCL语句数......
  • Java 日志系列:JUL 使用和原理分析
    目录一、简介二、使用三、日志级别四、Logger继承关系五、配置文件六、原理解析一、简介JUL全称JavautilLogging是java原生的日志框架,使用时不需要另外引用第三方类库,相对其他日志框架使用方便,学习简单,能够在小型应用中灵活使用。Loggers:被称为记录器,应用程序通过获......
  • windows10下SQL Server2019安装
    1、下载安装包后,管理员身份执行                 备注:取消poly后:          控制器名称:SQLSERVER2019C    等待~~~  需要安装管理工具:   具体可参考:sqlserver2019安装后没......
  • AcWing 852. spfa判断负环
    题目给定一个$n$个点$m$条边的有向图,图中可能存在重边和自环,边权可能为负数。请你判断图中是否存在负权回路。输入格式第一行包含整数$n$和$m$。接下来$m$行每行包含三个整数$x,y,z$,表示存在一条从点$x$到点$y$的有向边,边长为$z$。输出格式如果图中存在负......
  • windows杀死占用端口的进程
    首先按住win+r键,输入cmd,然后按回车进入命令行窗口。1、根据端口号查询进程idnetstat-ano|findstr端口号这里使用的端口是8000,输出结果如下:TCP0.0.0.0:80000.0.0.0:0LISTENING10344结果的最后一列就是占用端口的进程号p_id,这里103......