首页 > 其他分享 >parseable datadog &splunk& elk 可选开源方案

parseable datadog &splunk& elk 可选开源方案

时间:2022-11-25 00:00:10浏览次数:55  
标签:parseable datadog actix github elk splunk com

parseable 是基于rust 编写的datadog &splunk& elk 可选开源方案,提供了方便的rest api 能力

支持的特性

  • 云原生(无状态)
  • 开放模式 (基于parquet)
  • 简单数据访问(/基于sql 兼容的api)
  • 部署简单,内置ui 进行日志查看以及可视化
  • alert 报警(目前核心是webhook模式的)

使用的技术栈

  • datafusion(数据查询引擎基于了apache arrow )
  • 对象存储(进行数据存储)
  • parquet (数据存储格式)
  • actix-web rust 强大快速的web 框架
  • clokwerk rust 简单任务调度框架

参考架构

 

 

参考资料

https://arrow.apache.org/datafusion/user-guide/introduction.html
https://www.parseable.io/
https://github.com/parseablehq/parseable
https://github.com/actix/actix-web
https://actix.rs/
https://github.com/apache/arrow-datafusion
https://github.com/mdsherry/clokwerk

标签:parseable,datadog,actix,github,elk,splunk,com
From: https://www.cnblogs.com/rongfengliang/p/16923909.html

相关文章

  • elk ins
    Exceptioninthread"main"java.lang.RuntimeException:startingjavafailedwith[1]output:[0.000s][error][logging]Erroropeninglogfile'logs/gc.log':Nosu......
  • elk
    Exceptioninthread"main"java.nio.file.AccessDeniedException:/usr/local/elk/elasticsearch-7.8.0/config/elasticsearch.keystoreatjava.base/sun.nio.fs.U......
  • ELK分析Nginx日志和可视化展示
    ELK分析Nginx日志和可视化展示一、概述使用ELK收集nginxaccess日志,利用Grafana做出一套可视化图表 二、环境准备环境说明操作系统:centos7.6docker版本:19.03......
  • ELK基础介绍
    前戏:运维人员需要对系统和业务日志进行精准把控,便于分析系统和业务状态。日志分布在不同的服务器上,传统的使用传统的方法依次登录每台服务器查看日志,既繁琐又效率低下。所以......
  • elk报警alert设置
    设置alert    #Alertwhentherateofeventsexceedsathreshold#(Optional)#Elasticsearchhostes_host:elasticsearch.hostname1#(Optional)#......
  • elk搭建
    elk搭建参考资料:https://www.cnblogs.com/adawoo/p/11665532.htmljdk安装https://www.cnblogs.com/cheesebar/p/9126171.htmlelk安装1.关闭防火墙和selinuxsy......
  • ELK8.5的搭建
    nodejs安装包http://nodejs.cn/download/可视化管理工具---Elasticsearch-headhttps://github.com/mobz/elasticsearch-head/archive/refs/tags/v5.0.0.tar.gzElast......
  • 【ELK解决方案】ELK集群+RabbitMQ部署方案以及快速开发RabbitMQ生产者与消费者基础服
    前言:大概一年多前写过一个部署ELK系列的博客文章,前不久刚好在部署一个ELK的解决方案,我顺便就把一些基础的部分拎出来,再整合成一期文章。大概内容包括:搭建ELK集群,以及写一......
  • ELK练习
    1.ELK练习 PUTs3/_doc/1{"mappings":{"doc":{"properties":{"name":{"type":"text","index":......
  • k8S中部署Filebeat+ELK日志系统
    一.概述ELK是三个开源软件的缩写,分别表示:Elasticsearch,Logstash,Kibana,它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat......