首页 > 其他分享 >使用 Amazon Data Firehose 一步将 CloudWatch 日志和指标提取到 Elastic Observability 中

使用 Amazon Data Firehose 一步将 CloudWatch 日志和指标提取到 Elastic Observability 中

时间:2024-11-30 08:59:47浏览次数:10  
标签:Elastic 流程 AWS CloudWatch Amazon 日志 Firehose

作者:来自 Elastic Akhilesh PokhariyalMykola HarmashKaiyan White

AWS 用户现在可以利用新的引导式入门工作流程在 Elastic Cloud 中提取 CloudWatch 日志和指标,并使用提供的 CloudFormation 模板在几分钟内探索二十多种 AWS 服务的使用情况和性能。

新快速入门指导工作流程概述

Elastic Observability 在过去的几个版本中一直支持使用 Amazon Data Firehose 提取 AWS 日志。为了简化配置,我们在 8.16 中引入了一个一步式指导工作流程,用于从单个区域导入所有 CloudWatch 日志和指标。该配置使用预填充的 CloudFormation 模板,自动创建 Amazon Data Firehose 并连接到 Elastic Observability。此外,所有相关的 Elastic AWS 集成都会自动安装。该配置确保从所有命名空间提取指标,并制定从所有现有日志组提取日志的策略。任何新的指标命名空间和日志组设置后也将自动提取。此外,还可以使用基础设施即代码自定义 CloudFormation 模板并将其部署在生产环境中。

这使 SRE 能够在几分钟内使用预构建的仪表板开始监控其热门 AWS 服务的使用情况和运行状况。本博客回顾了如何设置此快速入门工作流程以及将从中填充的开箱即用仪表板。

使用 Amazon Data Firehose 导入数据

为了利用此引导式工作流程,用户需要超级用户内置的 Kibana 角色。需要在 Elastic Cloud 上部署版本 8.16 的托管 Elasticsearch 服务。此外,还需要一个活跃的 AWS 账户和创建交付流、运行 CloudFormation、创建 CloudWatch 日志组/指标流所需的权限。

让我们逐步了解使用此工作流程导入数据所需的步骤。客户账户中应该已经有一些 CloudWatch 日志和指标。下面的屏幕截图显示了一个示例,其中已经存在许多 Clo​​udWatch 指标命名空间。

类似地,该客户账户中已经存在多个 CloudWatch 日志组,如下所示。

此引导式工作流程可通过 Elastic Observability 应用程序中的 “Add data/添加数据” 左侧导航选项访问。用户需要选择 “Cloud” 选项并单击 “AWS” 图块。Amazon Firehose 快速入门入门工作流程位于左上角,并标记为快速入门选项,如下所示。

可以使用 AWS CLI 或 AWS 控制台创建 Data Firehose 传输流,如以下指导工作流程的第 2 步所示。

通过单击 “Via AWS Console” 选项卡下的 “Create Firehose Stream in AWS” 按钮,用户将进入 AWS 控制台和用于创建 CloudFormation 堆栈的菜单,如下所示。

Elastic 提供的 CloudFormation (CF) 模板已预先填充默认设置,包括 Elasticsearch 端点和 API 密钥,如上图所示。用户可以在 AWS 控制台中查看这些默认设置,然后单击 “Create stack” 按钮继续,如下所示。请注意,此堆栈会创建 IAM 资源,因此必须选中确认该操作的复选框才能继续。

在 AWS 中创建 CloudFormation 堆栈后,用户可以切换回 Kibana。默认情况下,CF 堆栈将由 CloudWatch 日志和指标的单独交付流组成,如下所示。

在 Kibana 中,在工作流程的第 3 步 “Visualize your data” 下,传入的数据开始出现,按 AWS 服务类型分类,如下所示。页面每 5 秒自动刷新一次,新服务出现在列表底部。

对于每个检测到的 AWS 服务,建议用户使用 1-2 个预建仪表板来探索其服务的运行状况和使用情况。例如,下面显示的预建仪表板提供了有关 NAT 网关使用情况的快速概览。

除了预先构建的仪表板之外,Discover 还可用于探索提取的 CloudWatch 日志,如下所示。

可以使用下面显示的预建仪表板探索 AWS 使用情况概览。

自定义选项

在开始创建 CF 堆栈之前,需要在 AWS 控制台中选择/修改区域,如下所示。

可以更改 AWS 控制台或 CF 模板中的 EnableCloudWatchLogs 参数设置和 EnableCloudWatchMetrics 参数设置,以禁用日志或指标的收集。

CF 模板或控制台中的 MetricNameFilters 参数可用于从收集中排除特定的命名空间-指标名称对。

Elastic 提供的 CF 模板可以与 Terraform 资源 aws_cloudformation_stack 一起使用(如下所示)部署在生产环境中,以方便 as-code 部署。

开始你自己的探索

AWS 的新引导式入门工作流程利用 Amazon Firehose 交付流从单个客户帐户和单个区域收集所有可用的 CloudWatch 日志和指标。该工作流程还在 Elastic 堆栈中安装 AWS 集成包,使用户能够在几分钟内开始使用预构建的仪表板监控其常用 AWS 服务的使用情况和性能。下面列出了可以使用此工作流程监控的一些 AWS 服务。此工作流程支持的二十多种服务的完整列表以及其他详细信息可在此处获得。

VPC Flow LogsLogs
API GatewayLogs, Metrics
CloudTrailLogs
Network FirewallLogs, Metrics
WAFLogs
EC2Metrics
RDSMetrics

原文:One-Step Ingest for CloudWatch Logs and Metrics into Elastic Observability with Amazon Data Firehose — Elastic Observability Labs

标签:Elastic,流程,AWS,CloudWatch,Amazon,日志,Firehose
From: https://blog.csdn.net/UbuntuTouch/article/details/144149160

相关文章

  • 【Elasticsearch】容器日志管理:提升容器化应用运维效率
    ......
  • UOS服务器版,在docker中使用elasticsearch碰到的权限问题
    对docker没研究,对elasticsearch也没研究,主打一个拿来就用,能跑就行.有些系统(主要指UOS服务器版,最近碰到)docker的版本是podman,如果直接yuminstall docker装上的可能是(因为另一台没问题)podman版本,运行起来乱七八糟问题,可以卸载podman,然后yuminstalldocker-ce......
  • ELK使用elasticSearch密码的方式登录Kibana管理Web界面
    一、在logstash配置文件中加入elasicsearch的用户密码logstash.conf中配置用户密码二、在Kibana中的配置更改kibana.yml中配置elasticsearch用户密码,es7为dockerContianerName或者IP地址三、elasticsearch中必须已经开启并设置好了密码四、登录kibana管理界面五、使......
  • Elastic Stack抓取Nginx日志并展示
    ElasticStack抓取Nginx日志并展示实现目标Nginx定义Json格式日志,方便后期处理Beats抓取nginx产生的日志输出到LogstashLogstash将日志输出到Elasticsearch使用Kibana中的devtools工具对日志做统计并使用看板展示相关日志组件部署图使用jmeter制造数据Elasticsearc......
  • Elasticsearch常用查询及Kibana使用
    Elasticsearch常用查询及Kibana使用背景搭建好Nginx=>Filebeat=>Logstash=>Elasticsearch的日志获取通道后,通过jmeter配置产生10000条请求查看jmeter配置查看聚合报告Devtools工具进行查询查询reponseTime90%,95%,99%分割线GETnginx-2024.11.28/_search?size......
  • elasticseach-head插件
    git地址https://github.com/mobz/elasticsearch-head安装方式浏览器插件 docker本地安装  ......
  • elasticsearch安装ik分词器
    本文主要记录如何安装ik分词器,如果你刚好刷到了这篇文章,对你有所帮助。IKAnalyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包。采用了特有的“正向迭代最细粒度切分算法“,支持细粒度和最大词长两种切分模式;具有83万字/秒(1600KB/S)的高速处理能力。采用了多子处理器分......
  • Elasticearch索引mapping写入、查看、修改
    作者:京东物流陈晓娟一、ESElasticsearch是一个流行的开源搜索引擎,它可以将大量数据快速存储和检索。Elasticsearch还提供了强大的实时分析和聚合查询功能,数据模式更加灵活。它不需要预先定义固定的数据结构,可以随时添加或修改数据字段,而不需要进行繁琐的数据库迁移。横向扩展性......
  • Elastic Search相关配置
    在生产环境中,强烈建议elasticsearch.yml中的path.data和path.logs设置为$ES_HOME之外的位置。默认情况下,Docker、Debian和RPM安装会将数据和日志写入$ES_HOME之外的位置。----------------------------------Cluster-----------------------------------Useadescriptivena......
  • Docker安装ElasticSearch
    安装步骤:一、具备Docker环境二、创建docker虚拟网络三、拉取镜像四、五、通过docker-compose.yml安装启动容器version:'2.2'services:elasticsearch:image:elasticsearch:7.17.10container_name:es7environment:-node.name=es7-cluster.name=es-cluster-di......