作者:来自 Elastic Akhilesh Pokhariyal•Mykola Harmash•Kaiyan White
AWS 用户现在可以利用新的引导式入门工作流程在 Elastic Cloud 中提取 CloudWatch 日志和指标,并使用提供的 CloudFormation 模板在几分钟内探索二十多种 AWS 服务的使用情况和性能。
新快速入门指导工作流程概述
Elastic Observability 在过去的几个版本中一直支持使用 Amazon Data Firehose 提取 AWS 日志。为了简化配置,我们在 8.16 中引入了一个一步式指导工作流程,用于从单个区域导入所有 CloudWatch 日志和指标。该配置使用预填充的 CloudFormation 模板,自动创建 Amazon Data Firehose 并连接到 Elastic Observability。此外,所有相关的 Elastic AWS 集成都会自动安装。该配置确保从所有命名空间提取指标,并制定从所有现有日志组提取日志的策略。任何新的指标命名空间和日志组设置后也将自动提取。此外,还可以使用基础设施即代码自定义 CloudFormation 模板并将其部署在生产环境中。
这使 SRE 能够在几分钟内使用预构建的仪表板开始监控其热门 AWS 服务的使用情况和运行状况。本博客回顾了如何设置此快速入门工作流程以及将从中填充的开箱即用仪表板。
使用 Amazon Data Firehose 导入数据
为了利用此引导式工作流程,用户需要超级用户内置的 Kibana 角色。需要在 Elastic Cloud 上部署版本 8.16 的托管 Elasticsearch 服务。此外,还需要一个活跃的 AWS 账户和创建交付流、运行 CloudFormation、创建 CloudWatch 日志组/指标流所需的权限。
让我们逐步了解使用此工作流程导入数据所需的步骤。客户账户中应该已经有一些 CloudWatch 日志和指标。下面的屏幕截图显示了一个示例,其中已经存在许多 CloudWatch 指标命名空间。
类似地,该客户账户中已经存在多个 CloudWatch 日志组,如下所示。
此引导式工作流程可通过 Elastic Observability 应用程序中的 “Add data/添加数据” 左侧导航选项访问。用户需要选择 “Cloud” 选项并单击 “AWS” 图块。Amazon Firehose 快速入门入门工作流程位于左上角,并标记为快速入门选项,如下所示。
可以使用 AWS CLI 或 AWS 控制台创建 Data Firehose 传输流,如以下指导工作流程的第 2 步所示。
通过单击 “Via AWS Console” 选项卡下的 “Create Firehose Stream in AWS” 按钮,用户将进入 AWS 控制台和用于创建 CloudFormation 堆栈的菜单,如下所示。
Elastic 提供的 CloudFormation (CF) 模板已预先填充默认设置,包括 Elasticsearch 端点和 API 密钥,如上图所示。用户可以在 AWS 控制台中查看这些默认设置,然后单击 “Create stack” 按钮继续,如下所示。请注意,此堆栈会创建 IAM 资源,因此必须选中确认该操作的复选框才能继续。
在 AWS 中创建 CloudFormation 堆栈后,用户可以切换回 Kibana。默认情况下,CF 堆栈将由 CloudWatch 日志和指标的单独交付流组成,如下所示。
在 Kibana 中,在工作流程的第 3 步 “Visualize your data” 下,传入的数据开始出现,按 AWS 服务类型分类,如下所示。页面每 5 秒自动刷新一次,新服务出现在列表底部。
对于每个检测到的 AWS 服务,建议用户使用 1-2 个预建仪表板来探索其服务的运行状况和使用情况。例如,下面显示的预建仪表板提供了有关 NAT 网关使用情况的快速概览。
除了预先构建的仪表板之外,Discover 还可用于探索提取的 CloudWatch 日志,如下所示。
可以使用下面显示的预建仪表板探索 AWS 使用情况概览。
自定义选项
在开始创建 CF 堆栈之前,需要在 AWS 控制台中选择/修改区域,如下所示。
可以更改 AWS 控制台或 CF 模板中的 EnableCloudWatchLogs 参数设置和 EnableCloudWatchMetrics 参数设置,以禁用日志或指标的收集。
CF 模板或控制台中的 MetricNameFilters 参数可用于从收集中排除特定的命名空间-指标名称对。
Elastic 提供的 CF 模板可以与 Terraform 资源 aws_cloudformation_stack 一起使用(如下所示)部署在生产环境中,以方便 as-code 部署。
开始你自己的探索
AWS 的新引导式入门工作流程利用 Amazon Firehose 交付流从单个客户帐户和单个区域收集所有可用的 CloudWatch 日志和指标。该工作流程还在 Elastic 堆栈中安装 AWS 集成包,使用户能够在几分钟内开始使用预构建的仪表板监控其常用 AWS 服务的使用情况和性能。下面列出了可以使用此工作流程监控的一些 AWS 服务。此工作流程支持的二十多种服务的完整列表以及其他详细信息可在此处获得。
VPC Flow Logs | Logs |
API Gateway | Logs, Metrics |
CloudTrail | Logs |
Network Firewall | Logs, Metrics |
WAF | Logs |
EC2 | Metrics |
RDS | Metrics |