首页 > 其他分享 >使用docker搭建ELK分式日志同步方案

使用docker搭建ELK分式日志同步方案

时间:2024-07-05 17:58:43浏览次数:16  
标签:ELK 容器 logstash elasticsearch docker 搭建 日志 分式

ELK作为业界最常用日志同步方案,我们今天尝试一下使用docker快速搭建一套ELK方案。ELK使用国内加速源拉取的镜像比较旧,有条件的朋友可以拉取官网的源。elasticsearch作为日志储存库(数据库),kibana的作用通过elasticsearch的API接口调取其中数据作可视化分析,logstash的作用就是将程序生成的日志同步到elasticsearch。

搭建Elasticsearch

docker run 
-d 
--name elasticsearch 
-p 9200:9200 
-p 9300:9300 
-e "discovery.type=single-node" 
-e "xpack.security.enabled=false" 
elasticsearch:8.14.1

其中discovery.type必填,不然启动失败,简单选择单节点规模,如果在内网建议填写xpack.security.enabled为false,因为默认值是true,默认elasticsearch需要授权访问,内网网络这一步可以省掉。

搭建kibana

docker run 
-d 
--name kibana 
--link elasticsearch 
-p 5601:5601 
kibana:7.17.22

通过docker的link参数,与刚刚搭建的elasticsearch容器关联起来,默认数据就会关联起来,elasticsearch通过API进行数据访问,如果刚才搭建elasticsearch容器xpack.security.enabled没有填写false,此时则需要配置授权。

搭建Web站点

docker run 
-d 
--name web 
-p 5000:80 
-v /Logs:/app/Logs 
-v /etc/localtime:/etc/localtime 
-e TimeZone=Asia/Shanghai 
webapplication1:latest

拉取网站镜像启动容器,切记同步一下主机的时间和时区,容器默认是国际标准时间和时区,会有8个小时的差值。-v /etc/localtime:/etc/localtime的作用是同步主机时间,-e TimeZone=Asia/Shanghai的作用是同步主机时区。

-v /Logs:/app/Logs作用是挂载点,将容器的日志文件夹挂载到主机文件上面,这一步很重要,logstash同步日志需要挂载这个主机的日志文件夹。

搭建Logstash

logstash需要先配置参数,才可以启动镜像。

input {
  file {
    path => "/Logs/*.txt"
    start_position => "beginning"
  }
}
 
filter {
}
 
output {
  elasticsearch {
    hosts => ["http://192.168.3.105:9200"]
    index => "logstash-%{+YYYY.MM.dd}"
  }
}

input是输入源,选择文件,地址应该是与程序容器日志挂载点相同。
output是输出源,选择elasticsearch,填写刚刚启动的elasticsearch容器,如果搭建elasticsearch容器xpack.security.enabled没有填写false,此时则需要配置授权。

docker run 
-d 
--name logstash 
-v /Logs:/Logs 
-v /root/logstash.conf:/usr/share/logstash/pipeline/logstash.conf 
logstash:7.17.22

将主机的日志挂载点传进容器,将logstash.conf配置文件挂载进去。

四个容器启动之后,ELK日志收集方案就基本搭建完毕,程序生产的日志通过挂载同步到主机,再同步进logstash的容器,由logstash定时读取将数据通过elasticsearch的API写入库,再通过kibana的可视化界面进行分析。

访问kibana可视化界面可以就进行日志实时同步分析,根据我的容器端口和IP地来看,我的kibana站点地址是:http://192.168.3.105:5601

更多系列文章

构建高性能,可伸缩,高可用,安全,自动化,可溯源,整体式应用构架体系

 

标签:ELK,容器,logstash,elasticsearch,docker,搭建,日志,分式
From: https://www.cnblogs.com/netcore3/p/18286280

相关文章

  • docker 部署分布式事务框架 seata
    1可以参考官方文档:https://seata.apache.org/zh-cn/docs/ops/deploy-by-dockerhttps://seata.apache.org/zh-cn/docs/ops/deploy-ha/ 2docker部署2.1启动容器#拉取镜像dockerpullseataio/seata-server#新建本地目录mkdir-p/mydata/seata/config#启动容器docke......
  • Docker安装Niginx(详细教程)
    1.在Docker官方寻找Nginx镜像    Docker官方镜像2.下载Nginx镜像dockerpullnginx3.创建Nginx配置文件创建挂载目录mkdir/home/nginx/confmkdir/home/nginx/logmkdir/home/nginx/html创建Docker容器,并将配置文件拷贝到宿主机上#创建并运行Docker容器......
  • zustand Auto Generating Selectors/ts-pattern/swr/TypeScript在monorepo项目中实现
    zustandAutoGeneratingSelectorshttps://docs.pmnd.rs/zustand/guides/auto-generating-selectorsts-pattern替换匹配组件代swrTypeScript在monorepo项目中实现即时更新https://colinhacks.com/essays/live-types-typescript-monorepomonorepodocker项目名:my-project......
  • Centos 7 离线安装docker及docker-compose
    一、docker安装下载docker安装包地址:https://download.docker.com/linux/static/stable/x86_64/选择需要用到的版本进行下载百度网盘docker-26.1.4.tgz安装包地址:https://pan.baidu.com/s/1mdCjdQnI_aFQ2CgGl7ILEA提取码:7h4d上传服务器并解压tar-zxvfdocker-26.......
  • Docker打包rust时版本依赖问题
    rust程序在服务器上能打包成功,但在Dockerfile运行时始终报依赖错误,涉及版本太多即使手动改.lock文件效果也不理想,切换镜像无效果>[4/4]RUNcargoinstall--path.:0.426Installingbackendv0.1.0(/backend)......
  • 在Docker中搭建rabbit MQ集群 (Mac + OrbStack)
    我以为用docker搭建一个rabbitMq集群会非常简单,但是结果却出乎意料,我花了差不多两个半天才搞定。这还是依赖了AI的协助,否则难度不敢想象。我的环境是Mac上的OrbStack。用了Kimi+文心一言+ChatGPT+Claude,还是Kimi价值最大。backandforth的过程就不讲了,这里直接说一下......
  • Linux(Centos7)安装Docker 社区(ce)版
    安装准备查看Linux系统版本是否为centos7cat/etc/os-release确保系统内核为3版本以上uname-a安装Docker如之前安装过请卸载yumremovedocker\docker-client\docker-client-latest\docker-common\......
  • 谷粒商城学习-11-docker安装redis
    文章目录一,拉取Redis镜像1,搜索Redis的Docker镜像2,拉取Redis镜像3,查看已经拉取的镜像二,创建、启动Redis容器1,创建redis配置文件2,创建及运行Redis容器3,使用dockerps查看运行状态的容器4,验证容器是否可用三,修改Redis配置文件一,拉取Redis镜像1,搜索Redis的Docker镜像......
  • Docker 构建nginx镜像
     步骤:(1)创建一个目录,把构建Nginx的Dockerfile文件保存到此目录。创建一个名为nginxDockerfile的目录。mkdirnginxDockerfile(2)进入刚才创建好的目录。cdnginxDockerfile(3)创建Dockerfile文件。vimdockerfile 文件内容如下FROMcentosMAINTAINERxpxRUNyum......
  • 搭建高效攻防靶场vulfocus与Docker仓库管理实战:从听说到入门系列
    搭建高效攻防靶场vulfocus与Docker仓库管理实战:从听说到入门系列vulfocus简介vulfocus,作为一款前沿的漏洞集成平台,它巧妙地将多种最新的CVE漏洞环境封装于Docker容器之中,便于部署与操作,成为提升安全实战技能的理想靶场。用户既可选择在本地VMware环境中亲手搭建,享受从零到一的......