首页 > 其他分享 >docker收集日志到es并展示

docker收集日志到es并展示

时间:2023-11-01 15:45:42浏览次数:33  
标签:filebeat -- 8.10 elasticsearch docker 日志 es

1、安装es

注意:关闭xpack.security.enabled: false 权限认证
      允许跨域
       http.cors.enabled: true
       http.cors.allow-origin: "*
https://blog.csdn.net/qq_40739917/article/details/131654563
docker run --name elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -d elasticsearch:8.8.1
docker exec -it elasticsearch bash
cd /usr/share/elasticsearch/config
docker cp elasticsearch.yml elasticsearch:/usr/share/elasticsearch/config/
2、自己手动打包filebeat
#下载程序包
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.10.3-linux-x86_64.tar.gz
#修改配置文件
[root@localhost filebeat]# cat filebeat.yml
filebeat.config:
  modules:
    path: ${path.config}/modules.d/*.yml
    reload.enabled: false

processors:
- add_cloud_metadata: ~
- add_docker_metadata: ~

filebeat.inputs:
- type: log
  enabled: true
  paths:
   - /var/lib/docker/containers/*/*-json.log

output.elasticsearch:
  allow_older_versions: true  #允许使用older的es
  hosts: '100.98.100.186:9200'
  
#创建dockerfile
[root@localhost filebeat]# cat dockerfile 
FROM centos
MAINTAINER wukc
ADD localtime /etc/localtime
RUN echo 'Asia/Shanghai'>/etc/timezone
ADD filebeat /filebeat
WORKDIR /filebeat
EXPOSE 80
CMD ["/filebeat/filebeat"]
#构建images
docker build -t filebeat:8.10.3 .
#运行容器
docker run -d --name=filebeat --restart=always -v /var/lib/docker/containers/:/var/lib/docker/containers/  filebeat:8.10.3
docker run -it --rm filebeat:8.10.3 bash  #调试运行方法
#备份images
docker push wukc/filebeat:8.10.3
3、#查询索引内容
curl -XGET http://100.98.100.186:9200/.ds-filebeat-8.10.3-2023.10.31-000001/_search -H 'Content-Type: application/json' -d '
{
"query": {
"match_all": {}
}
4、安装es的dashboard
docker run --restart=unless-stopped -d -p 8090:8090 kecikeci/elastic_view:latest
http://100.98.100.186:8090 admin/admin
5、结果展示

 

  

  

  

  

标签:filebeat,--,8.10,elasticsearch,docker,日志,es
From: https://www.cnblogs.com/wukc/p/17803279.html

相关文章

  • Opencv中goodFeaturesToTrack函数(Harris角点、Shi-Tomasi角点检测)算子速度的进一步
    搜索到某个效果很好的视频去燥的算法,感觉效果比较牛逼,就是速度比较慢,如果能做到实时,那还是很有实用价值的。于是盲目的选择了这个课题,遇到的第一个函数就是角点检测,大概六七年用过C#实现过Harris角点以及SUSAN角点。因此相关的理论还是有所了解的,不过那个时候重点在于实现,对于......
  • 使用logstash同步mysql到ES
    环境:OS:Centos7es:6.8.5logstash:6.8.5mysql:5.7 1.mysql创建表createtabletb_es(idbigint(20)unsignedNOTNULLAUTO_INCREMENTCOMMENT'主键id',namevarchar(32)notnull,f_intint,f_doudouble(10,2),f_flofloat(9,2),create_timet......
  • WCF restful 上传文件 返回413 request entity too large
    网上各种加binding都不行最后找到了在配置文件中加 webHttpBinding1<system.serviceModel>2<bindings>3<webHttpBinding>4<binding5maxBufferPoolSize="2048576000"6......
  • doris FE启动异常:org.yaml.snakeyaml.representer.Representer: method <init>()V not
    dorisFF启动异常,异常信息如下:  2023-11-0109:53:22,691INFO(main|1)[PaloFe.start():124]PaloFEstarting...2023-11-0109:53:22,699INFO(main|1)[FrontendOptions.analyzePriorityCidrs():107]configuredprior_cidrsvalue:10.252.226.5/242023-11-0109:5......
  • ZEGO 即构科技首发适配鸿蒙系统的 Express SDK 1.0 版本
    ​ 2019年8月,华为在开发者大会上正式发布鸿蒙系统。HarmonyOS鸿蒙系统是一款“面向未来”、面向全场景(移动办公、运动健康、社交通信、媒体娱乐等)的分布式操作系统。在传统的单设备系统能力的基础上,HarmonyOS提出了基于同一套系统能力、适配多种终端形态的分布式理念,能够支持......
  • Docker从了解到部署应用的详细教程
    一、Docker基础知识1、Docker(1)Docker可以让开发者打包他们的应用以及依赖包到一个轻量级、可以移植的容器中,然后发布到任何的linux机器上,可以实现虚拟化;(2)Docker容器是完全使用沙箱机制,相互之间不会有任何接口,更重要的是容器性能开销极低;2、Docker的应用场景(1)Web应用的自动化......
  • Exception in thread "main" java.net.BindException: Cannot assign requested addre
    两种情况1.端口号被占用,导致地址无法绑定#windows查看端口pidnetstat-aon|findstr8080(端口号)#linux查看端口占用netstat-anp|grep80802.ip地址与本机地址不匹配,导致地址无法绑定#windows查看ipipconfig#linux查看ipifconfig......
  • Nginx 安全日志分析可视化
    之前介绍过ModSecurity这款优秀的开源WAF,它是一个入侵检测与阻止的引擎,原本是Apache的一个模块,现在可作为单独模块编译添加到Nginx服务中虽然这款WAF很优秀,但是使用起来并没有那么容易,之前也整理了文章介绍它的原理和规则,然而还有一个问题,就是它的日志分析,之前介绍原理规则......
  • 线性代数 · 矩阵 · Matlab | Cholesky 分解代码实现
    (搬运外网的代码,非原创;原网址)(其实是专业课作业,但感觉国内博客没有合适的代码实现,所以就搬运到自己博客了)背景-Cholesky分解:若A为n阶实对称正定矩阵,则存在非奇异下三角矩阵L,使得A=LL^T。是特殊的LU分解(下三角上三角分解)。若限定L的对角元素为正,则这种分解......
  • Docker从了解到部署应用的详细教程
    一、Docker基础知识1、Docker(1)Docker可以让开发者打包他们的应用以及依赖包到一个轻量级、可以移植的容器中,然后发布到任何的linux机器上,可以实现虚拟化;(2)Docker容器是完全使用沙箱机制,相互之间不会有任何接口,更重要的是容器性能开销极低;2、Docker的应用场景(1)Web应用的自动化......