首页 > 其他分享 >优维产品最佳实践第20期:控制台全链路监控

优维产品最佳实践第20期:控制台全链路监控

时间:2023-12-25 17:32:11浏览次数:25  
标签:20 数据链 -- kafka 指标 链路 告警 优维

优维产品最佳实践第20期:控制台全链路监控_数据链路

优维产品最佳实践第20期:控制台全链路监控_数据链路_02

  • 之前我们会觉得cmdb自动发现没有上报很难排查,弄不清楚数据的上报链路;
  • 监控指标的数据断点很难定位,flink对现场来说是一个黑盒子;
  • apm数据更新不及时到底是上报异常还是入库失败呢?

现在控制台集成了对数据链路的监控,数据上报链路全透明,问题节点一目了然,极大的减少问题定位的难度。

「 全 链 路 监 控 」

全链路监控包括原始指标链路、告警链路、Trace原始链路、Trace聚合链路、资源发现链路、指标入库成功率报错。平台常用的数据链路都已纳管,可以清楚的判断数据链路是否异常。链路治理可以帮助我们分析整体情况,展示整个数据链路,但是个别的任务上报异常还是需要跟踪日志排查。

1.原始指标链路

监控原始指标的上报路径为agent(easy_process_sampler)--> receiver -->kafka -->raw_metric_process --> easy_tsdb

当我们发现监控平台大部分dashboard都出现断点或无数据的情况时,我们可以先查看该数据链路,查看各个节点的出入包量,如果发现某一个环节不断在累积,则可以定位是下一个节点出现了异常,没有消费,点击右上角的更多跳转到组件的详细页面查看。图中呈波浪状的情况是正常的,原因是raw_metric_process是批量消费kafka,再批量入库的,只要积压量不是随时间成正比增长,数据链路就是正常的。

优维产品最佳实践第20期:控制台全链路监控_数据链路_03

优维产品最佳实践第20期:控制台全链路监控_数据链路_04

2.告警链路

监控告警链路为:kafka-->stream -->kafka --> alert_channel_go -->notify

指标写入到kafka后经过流处理,匹配告警规则,符合告警条件就将告警写入到kafka中,alert_channel_go消费kafka的告警队列整合告警消息,通过notify发送给用户。

优维产品最佳实践第20期:控制台全链路监控_链路_05

优维产品最佳实践第20期:控制台全链路监控_数据链路_06

3.Trace原始指标链路

该链路是处理apm原始数据的入库的,agent (easy_trace_sampler)-->otelcol -->kafka --> span_loader --> clickhouse,当apm数据没有实时更新时可以查看该数据链路测处理情况。

优维产品最佳实践第20期:控制台全链路监控_数据链路_07

4.Trace聚合链路

Trace聚合链路用于统计apm数据的成功率、失败率、延时等整体情况指标。

优维产品最佳实践第20期:控制台全链路监控_链路_08

优维产品最佳实践第20期:控制台全链路监控_数据链路_09

5.资源发现链路

cmdb自动发现的数据上报链路:agent --> receiver -->kafka --> data_loader -->easy_core

优维产品最佳实践第20期:控制台全链路监控_kafka_10

6.指标入库成功率报告

该页面主要展示一段时间内的指标入库情况,如果成功率持续呈比较低的情况,则需要针对该数据链路进行一个详细的排查。

优维产品最佳实践第20期:控制台全链路监控_kafka_11

标签:20,数据链,--,kafka,指标,链路,告警,优维
From: https://blog.51cto.com/u_15605878/8970538

相关文章

  • 【国际会议| IEEE出版】首届并行计算与分布式系统国际会议 (PCDS2024)
    首届并行计算与分布式系统国际会议(PCDS2024)将于2024年9月21-22日在新加坡及线上同步举办。PCDS旨在为研究人员、学者和行业专业人士提供交流平台,让他们聚在一起讨论并行计算与分布式系统领域的最新进展。 PCDS2024诚邀国内外高校、科研机构专家、学者,企业界人士及其他相关人员......
  • Windows 10 on ARM, version 22H2 (updated Dec 2023) ARM64 AArch64 中文版、英文版
    Windows10onARM,version22H2(updatedDec2023)ARM64AArch64中文版、英文版下载基于ARM的Windows10请访问原文链接:https://sysin.org/blog/windows-10-arm/,查看最新版。原创作品,转载请保留出处。作者主页:sysin.orgWindows10,version22H2(releasedNov2021)......
  • Windows 10, version 22H2 (updated Dec 2023) 中文版、英文版下载
    Windows10,version22H2(updatedDec2023)中文版、英文版下载Windows1022H2企业版arm64x64请访问原文链接:https://sysin.org/blog/windows-10/,查看最新版。原创作品,转载请保留出处。作者主页:sysin.orgWindows10更新历史记录Windows10,version22H2,alledit......
  • Windows 11 version 23H2 中文版、英文版 (x64、ARM64) 下载 (updated Dec 2023)
    Windows11version23H2中文版、英文版(x64、ARM64)下载(updatedDec2023)Windows11,version23H2,2023年12月更新请访问原文链接:https://sysin.org/blog/windows-11/,查看最新版。原创作品,转载请保留出处。作者主页:sysin.orgWindows11目前版本所有的日期都按照......
  • Windows 11 绕过 TPM 方法总结,通用免 TPM 镜像下载 (2023 年 12 月更新)
    Windows11绕过TPM方法总结,通用免TPM镜像下载(2023年12月更新)在虚拟机、Mac电脑和TPM不符合要求的旧电脑上安装Windows11的通用方法总结请访问原文链接:https://sysin.org/blog/windows-11-no-tpm/,查看最新版。原创作品,转载请保留出处。作者主页:sysin.org本文......
  • 2023年12月深圳CPDA数据分析师认证来这学习
    CPDA数据分析师认证是大数据方面的认证,助力数据分析人员打下扎实的数据分析基础知识功底,为入门数据分析保驾护航。帮助数据分析人员掌握系统化的数据分析思维和方法论,提升工作效率和决策能力,遇到问题能够举一反三,为大部分决策难题提供解决方案。帮助数据分析人员掌握几种通用的数据......
  • 2023年12月北京/南京/深圳软考高级信息系统项目管理师招生
    信息系统项目管理师是全国计算机技术与软件专业技术资格(水平)考试(简称软考)项目之一,是由国家人力资源和社会保障部、工业和信息化部共同组织的国家级考试,既属于国家职业资格考试,又是职称资格考试。信息系统项目管理师,属于软考三个级别中的“高级”。 【报考要求】 不设学历与资历条......
  • 2023年12月西安/杭州/深圳NPDP产品经理认证招生
    产品经理国际资格认证NPDP是新产品开发方面的认证,集理论、方法与实践为一体的全方位的知识体系,为公司组织层级进行规划、决策、执行提供良好的方法体系支撑。 【认证机构】 产品开发与管理协会(PDMA)成立于1979年,是全球范围内产品开发与管理专业人士最杰出的倡导者,协助个人、企业或......
  • 20、布局(QStackedWidget)
    QStackedWidget是Qt框架中的一个容器类,它可以用来管理多个窗口或页面,只显示其中一个窗口或页面。在QStackedWidget中,只有当前激活的窗口或页面可见,其他窗口或页面被隐藏。使用QStackedWidget可以方便地实现页面切换效果,比如制作一个具有多个页面的向导,或者实现一个选项卡......
  • 每日总结2023年12月25日
    临近期末,最近事比较多,对之前软件构造实验做一个汇总软件构造实验作业实验名称:百度机器翻译SDK实验,百度图像增强与特效SDK实验,JFinal极速开发框架实验班级:信2105-1 学号:20214309 姓名:陈俊杰 实验一:百度机器翻译SDK实验一、实验要求任务一:下载配置百度翻译Java相关库及......