首页 > 系统相关 >centos7 绿色版安装单机版 ELK 7.9.2

centos7 绿色版安装单机版 ELK 7.9.2

时间:2023-12-15 09:33:05浏览次数:40  
标签:ELK 单机版 绿色版 elk project elasticsearch 7.9 data logstash

参考:https://www.cnblogs.com/yancool/p/16518032.html

参考:https://www.cnblogs.com/xiaonuanxin/p/17667944.html

 

1、修改内核参数

vim /etc/security/limits.conf

*           soft    nofile          65535
*           hard    nofile          65535
*           soft    nproc           65535
*           hard    nproc           65535

2、修改系统参数

vim /etc/sysctl.conf

fs.file-max = 65535
net.ipv4.ip_local_port_range = 1024 65535
vm.max_map_count=262144

运行

sysctl -p

3、创建elk用户

useradd -d /home/elk -m elk

passwd elk

 

4、从官网下载elasticsearch 7.9.2,官网地址:https://www.elastic.co/cn/downloads/past-releases#elasticsearch

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.9.2-linux-x86_64.tar.gz

5、解压

tar zxvf elasticsearch-7.9.2-linux-x86_64.tar.gz -C /data/project/

6、修改elasticsearch配置,配置文件/data/project/elasticsearch-7.9.2/config/elasticsearch.yml

cluster.name: my-application

node.name: node-1

path.data: /data/project/elasticsearch-7.9.2/data

path.logs: /data/project/elasticsearch-7.9.2/logs

network.host: 0.0.0.0

http.port: 9200

discovery.seed_hosts: ["node-1"]

cluster.initial_master_nodes: ["node-1"]

修改/etc/hosts文件

192.168.1.63  node-1

7、默认的启动堆栈是4g,如果系统配置不高可以适当减少。配置文件/data/project/elasticsearch-7.9.2/config/jvm.options。-Xms和-Xmx要相同不然启动会报错

-Xms500M
-Xmx500M

8、授权目录,切换elk用户启动elasticsearch

chown -R elk:elk /data/project/elasticsearch-7.9.2/
su elk /data/project/elasticsearch-7.9.2/bin/elasticsearch -d

9、验证elasticsearch有没有部署成功,浏览器输入:http://ip:9200/,如果显示json包含版本等信息即部署成功

10、部署logstash,在官网下载logstash 7.9.2,官网地址:https://www.elastic.co/cn/downloads/past-releases#logstash

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.9.2.tar.gz

11、解压

tar zxvf logstash-7.9.2.tar.gz -C /data/project/

12、修改logstash的配置,配置文件/data/project/logstash-7.9.2/config/logstash-sample.conf

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

#input {
#  beats {
#    port => 5044
#  }
#}
input {
  file {
    path => ['/var/log/*.log']
  }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }
}

13、logstash默认的启动堆栈是4g,如果系统配置不高可以适当减少,配置文件/data/project/logstash-7.9.2/config/jvm.options

-Xms400M
-Xmx400M

14、授权目录,切换elk用户启动logstash。配置文件有beats则会监听5044端口

chown -R elk:elk /data/project/logstash-7.9.2/
su elk nohup /data/project/logstash-7.9.2/bin/logstash -f /data/project/logstash-7.9.2/config/logstash-sample.conf &

 15、部署kibana,在官网下载kibana 7.9.2,官网地址:https://www.elastic.co/cn/downloads/past-releases#kibana

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.9.2-linux-x86_64.tar.gz

16、解压

tar -zxvf kibana-7.9.2-linux-x86_64.tar.gz -C /data/project/

17、修改kibana的配置,配置文件/data/project/kibana-7.9.2-linux-x86_64/config/kibana.yml

# 修改内容
i18n.locale: "zh-CN"
server.port: 5601
server.host: "192.168.1.63"     #kibana本机的地址
elasticsearch.hosts: "http://192.168.1.63:9200"  #ES主节点地址+端口
kibana.index: ".kibana

18、授权目录,切换elk用户启动kibana

chown -R elk:elk /data/project/kibana-7.9.2-linux-x86_64/
su elk nohup /data/project/kibana-7.9.2-linux-x86_64/bin/kibana &

19、验证kibana有没有部署成功,浏览器输入:http://ip:9200/

 

 

下面是扩展内容

 一、注:官方还推荐使用filebeat,其占用资源少,只负责收集日志,没有其他性能开销,官网地址:https://www.elastic.co/cn/downloads/past-releases#filebeat

 可配置filebeat收集日志后直接输出到elasticsearch,也可以配置输出到logstash

安装步骤如下:

1、先解压缩包,然后修改配置文件

vim filebeat.yml

#输入日志

filebeat.inputs:

# Each - is an input. Most options can be set at the input level, so
# you can use different inputs for various configurations.
# Below are the input specific configurations.

- type: log

  # Change to true to enable this input configuration.
  enabled: true

  # Paths that should be crawled and fetched. Glob based paths.
  paths:
    - /data/project/jar/logs/service-progress/error.log
    - /data/project/jar/logs/service-system/error.log

 

#直接输出到elasticsearch
output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["localhost:9200"]

#输出到logstash
output.logstash:
  # The Logstash hosts
  hosts: ["localhost:5044"]

如果是配置输出到logstash,还需要相应的修改logstash的配置文件

vim config/logstash-sample.conf

input {
  beats {
    path => 5044
  }
}

然后启动filebeat,logstash

nohup ./filebeat -e -c filebeat.yml >/dev/null 2>&1 &

nohup ./bin/logstash -f /home/elk/logstash/config/logstash-sample.conf &

 

标签:ELK,单机版,绿色版,elk,project,elasticsearch,7.9,data,logstash
From: https://www.cnblogs.com/lfxx/p/17877878.html

相关文章

  • ELK的架构与原理
    小白也能学的日志收集系统ELK原创 对抗一下 步步运维步步坑 2023-11-2711:46 发表于四川收录于合集#中间件4个#运维技术11个介绍ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称(但是后期出现的filebeat(beats中的一种)可以用来替代logsta......
  • Docker部署ELK日志系统
    Docker部署ELK日志系统皓林 Java老王 2023-12-0515:27 发表于广东 一、Docker安装Elasticsearch官网镜像地址:https://hub.docker.com/_/elasticsearch1.1 下载镜像 查看镜像sudo dockerpullelasticsearch:7.6.1sudo dockerimages1.2 运行 elasticsear......
  • linux-ELK安装配置
    前言:  ELK是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch、Logstash和Kibana。   •Elasticsearch是一个搜索和分析引擎。   •Logstash是服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到诸如Elasticsearch等存储库中。......
  • ELK日志拆分
    当然,下面是一个完整的示例,包括Filebeat和Logstash的配置,以便实现按项目进行索引拆分的日志收集:**Filebeat配置示例:**```yamlfilebeat.inputs:-type:logenabled:truepaths:-/opt/logs/qfzs-assistant/log_info.logfields:project:"assistant"-type:logen......
  • ELK 日志保留三天
    如果你希望只保留3天的日志数据,你可以通过使用Elasticsearch的索引生命周期管理(ILM)功能来实现。ILM允许你定义自动化的索引生命周期策略,包括日志数据的保留时间。以下是一个示例,演示如何配置针对每个项目的3天日志保留策略:1.首先,确保你的Elasticsearch版本支持索引生命周期管理......
  • 最新版本——Hadoop3.3.6单机版完全部署指南
    大家好,我是独孤风,大数据流动的作者。本文基于最新的Hadoop3.3.6的版本编写,带大家通过单机版充分了解ApacheHadoop的使用。本文更强调实践,实践是大数据学习的重要环节,也能在实践中对该技术有更深的理解,所以一些理论知识建议大家多阅读相关的书籍(都在资料包中)。本文档版权......
  • 单机ELK接收kafka日志环境搭建
    单机ELK接收kafka日志环境搭建1、安装elk单机环境参考以下链接:https://www.cnblogs.com/zuouncle/p/17332191.html2、搭建kafka下载kafka:https://archive.apache.org/dist/kafka/2.6.2/解压:tar-zxvfkafka_2.12-2.6.2.tgzmv kafka_2.12-2.6.2kafka创建文件夹:mkdir-p......
  • 使用Navicat For MSSQL连接绿色版SQLServer2008R2问题解决
    问题1、创建连接时出现错误:[IM002][Microsoft][ODBC驱动程序管理器]未发现数据源名称并且未指定默认驱动程序(0)Navicat来连接SQLserver,这里确实有点麻烦,出现错误[IM002][Microsoft][ODBC驱动程序管理器]未发现数据源名称并且未指定默认驱动程序(0),解决方法:进入Navicat的安装......
  • ELK
    一、安装镜像dockerpullelasticsearch:7.2.0dockerpullmobz/elasticsearch-head:5dockerpullkibana:7.2.0dockerpulllogstash:7.2.0 二、安装ElasticSearch1.dockerrun-d--restart=always--namees-p9200:9200-p9300:9300-e"discovery.type=single-node&qu......
  • elk分布式日志系统2
    《接着上篇文章elk分布式日志系统1,继续学习》 【Filebeat+Logstash+es】  --------------------------filter不做任何处理,直接输出到logstash----------------------------  1,输出日志到logstash 编辑配置文件filebeat.yml,  关闭output.elasticsearch配置   2,编......