首页 > 其他分享 >使用 OpenTelemetry 构建 .NET 应用可观测性(1):什么是可观测性

使用 OpenTelemetry 构建 .NET 应用可观测性(1):什么是可观测性

时间:2023-08-27 14:45:06浏览次数:38  
标签:Span Trace 开发人员 系统 观测 OpenTelemetry NET 日志

目录

什么是系统的可观测性(Observability)

对软件行业来说,可观测性(Observability)是一个舶来词,出自控制论(Control Theory)。

可观测性是系统的一个属性,它是指系统的状态能否被观测,也就是说,系统的状态能否被监控、收集、分析、查询、可视化。

例如汽车的速度、转速、油量、温度等等,都是汽车的状态,这些状态能否被观测,就是汽车的可观测性。

可观测性可以帮助我们了解系统的状态,从而帮助我们诊断系统的问题,或者优化系统的性能。

例如我们通过汽车仪表盘发现汽车的油量很低,那么我们就可以去加油,从而避免汽车熄火。

为什么需要软件系统需要可观测性

在软件开发和运维领域,可观测性是确保软件系统稳定、高效运行以及快速排除问题的关键因素。以下是软件系统需要可观测性的几个重要原因:

  1. 故障诊断和排除问题: 软件系统中可能会出现各种故障和问题,如崩溃、性能下降、错误等。通过可观测性工具,可以监控系统的各个组件和指标,快速识别问题并定位根本原因,从而缩短故障修复时间。

  2. 性能优化: 软件系统的性能问题可能导致响应时间延迟、资源浪费等。通过监控和分析系统的性能指标,开发人员可以识别瓶颈并进行优化,以确保系统高效运行。

  3. 自动化和自动恢复: 可观测性是实现自动化操作和自动恢复的基础。当系统监测到异常或问题时,可以自动触发恢复机制,减少人工干预的需要,提高系统的稳定性。

  4. 用户体验改进: 可观测性可以帮助开发人员了解用户如何使用软件以及用户的体验如何。通过收集用户行为数据和反馈,开发团队可以做出相应的改进,提升用户满意度。

  5. 持续交付和持续集成: 可观测性有助于实现持续交付和持续集成流程。通过监控代码部署、集成测试和应用性能,团队可以及时发现问题,确保每次部署都是可靠的。

  6. 容量规划和资源管理: 可观测性可以提供关于系统资源使用情况的洞察。这有助于进行容量规划,确保系统能够满足未来的需求,并避免资源瓶颈。

  7. 安全监控: 软件系统的安全性至关重要。通过可观测性工具,可以监控潜在的安全漏洞、入侵行为和异常活动,及时采取措施保护系统安全。

  8. 分析和决策支持: 可观测性数据可以用于分析趋势、用户行为、系统健康状况等。这些数据可以帮助管理层做出更明智的决策,制定战略和规划。

可观测性的三大支柱

日志(Logging)

日志是软件系统中最常见的可观测性工具。它可以记录系统中发生的事件和异常,以及事件发生的时间、位置、原因等信息。日志可以帮助开发人员了解系统的运行情况,识别问题并进行排查。

指标(Metrics)

指标是可观测性的另一个重要组成部分。它可以提供关于系统状态的实时信息,如CPU使用率、内存使用率、网络流量等。指标可以帮助开发人员了解系统的性能和健康状况,从而进行优化和改进。

分布式追踪(Distributed Tracing)

分布式追踪是一种用于监控和诊断分布式系统的技术。它可以跟踪请求在系统中的传播路径,记录请求的处理时间和状态,以及请求经过的组件和服务。分布式追踪可以帮助开发人员了解系统的运行情况,识别瓶颈并进行优化。

Trace 和 Span

分布式追踪的核心概念是 Trace 和 Span,一个 Trace 由多个 Span 组成,每个 Span 代表一个请求或者操作。

Span 通过 Parent-Child 等关系组成了一个树状结构,这个树状结构就是 Trace,它描述了请求在系统中的传播路径。

一个Span通常包含以下信息:

  • Trace ID:标识一个Trace
  • Span ID:标识一个Span
  • Parent ID:标识当前Span的父Span
  • Operation Name:Span的操作名称
  • Start Time:Span的开始时间
  • Duration:Span的持续时间
  • Tags:Span的标签
  • ...

Span 的信息需要足以描述一个请求或者操作,但是不应该包含过多的信息,因为这会增加系统的开销。

        [Span A]  ←←←(the root span)
            |
     +------+------+
     |             |
 [Span B]      [Span C] ←←←(Span C is a `ChildOf` Span A)
     |             |
 [Span D]      +---+-------+
               |           |
           [Span E]    [Span F] >>> [Span G] >>> [Span H]
                                       ↑
                                       ↑
                                       ↑
                         (Span G `FollowsFrom` Span F)

Trace 通常用时间轴来表示,如下图所示,每个 Span 的持续时间用一个矩形表示,矩形的宽度代表持续时间的长短,矩形的位置代表 Span 的开始时间,这样就可以很直观地看到请求在系统中的传播路径。

––|–––––––|–––––––|–––––––|–––––––|–––––––|–––––––|–––––––|–> time

 [Span A···················································]
   [Span B··············································]
      [Span D··········································]
    [Span C········································]
         [Span E·······]        [Span F··] [Span G··] [Span H··]

下面是 Jaeger 的 Trace UI,可以看到每个 Span 的持续时间和传播路径,以及每个 Span 的详细信息。

Unknow Unknows VS Known Unknowns

与传统的监控系统相比,可观测性的一个重要特点是它可以帮助开发人员发现未知的未知(Unknown Unknowns)。

传统的监控系统通常只能帮助开发人员发现已知的未知(Known Unknowns),也就是说,开发人员必须知道问题的存在,才能通过监控系统来识别和解决问题。

传统监控中,开发人员通常会定义一些阈值,当指标超过阈值时,就会触发警报。或者在觉得可能出问题的地方通过日志打印一些信息,当问题发生时,就可以通过日志来定位问题。

但是,这些方法都有一个共同的缺点,就是开发人员必须知道问题的存在,才能通过监控系统来识别和解决问题。

就打日志来说,开发人员必须知道可能出问题的地方,才会在这些地方打日志,当问题发生时,才能通过日志来定位问题。但有时候,开发人员一开始记录的日志可能不够,或者记录的日志不够详细,这样就会导致问题无法定位,为此可能还要补充日志重新部署,这样就会浪费大量的时间和精力。

可观测性通过高基数和高维度的数据,帮助开发人员发现未知的未知,从而提高系统的稳定性和可靠性。

  • 高基数(high cardinality):基数指的是数据的唯一性,高基数指的是数据的唯一性很高,例如客户端的IP地址,用户的ID, Trace ID等等,能够快速帮我们确定问题发生的上下文。低基数的数据通常是不够用的,例如一堆只记录了异常类型的日志,因为缺少上下文,那很可能无法定位问题。
  • 高维度(high dimensionality):高维度指的是数据的多样性,例如服务的名称,请求的参数,客户端app的版本号等等。

数据的关联 - 实现可观测性的关键

高基数和高维度的数据正是实现数据关联的基础。

可观测性的三大支柱(日志、指标和分布式追踪)可以提供丰富的信息,但是这些信息通常是分散的,开发人员需要花费大量的时间和精力去分析和关联这些信息。因此,数据的关联是实现可观测性的关键。

Trace 代表了个完整的处理过程,将 Logging、Metrics 围绕 Trace 进行关联,可以帮助开发人员快速定位问题,从而缩短故障修复时间。

Logging 与 Trace 关联后,Logging 就成了一次处理上下文里的连续事件。

Metrics 与 Trace 关联后,Metrics 就成了一次处理上下文里指标的连续变化。

例如在电商平台中,用户在下单时,可能会遇到各种问题,如下单失败、下单超时、下单异常等。为了能通过日志定位这些问题,我们需要在下单的各个环节打印日志。

但是日志通常是分散的,如果日志中没有记录用户ID或者订单ID,那么就很将离散的日志关联起来,从而定位问题。

通过在日志中统一记录 Trace ID, 我们可以很好的将离散的日志关联起来,我们也不再需要在每条日志中打印完整的请求上下文。

总结

可观测性是软件系统的一个重要属性,它可以帮助开发人员了解系统的运行情况,识别问题并进行排查。
想要构建系统的可观测性,不仅需要收集日志、指标和分布式追踪等信息,更需要将这些信息进行关联,从而帮助开发人员快速定位问题。
后续我们会介绍如何通过 OpenTelemetry 来构建系统的可观测性。

标签:Span,Trace,开发人员,系统,观测,OpenTelemetry,NET,日志
From: https://www.cnblogs.com/eventhorizon/p/17660272.html

相关文章

  • [回馈]ASP.NET Core MVC开发实战之商城系统(六)
    经过一段时间的准备,新的一期【ASP.NETCoreMVC开发实战之商城系统】已经开始,在之前的文章中,讲解了商城系统的整体功能设计,页面布局设计,环境搭建,系统配置,及首页【商品类型,banner条,友情链接,降价促销,新品爆款】,商品列表页面,商品详情,购物车等功能的开发,今天继续讲解订单管理功能开发,......
  • WinDbg排查.net性能或内存问题步骤简述
    目录一、安装WinDbg二、诊断数据获取三、加载分析四、举例分析以下步骤是分析高CPU占用的命令本文摘自一、安装WinDbg第一步当然是安装了,需要注意的是,千万不要搜索windbg然后下载,搜索到的windbg安装文件,都不是我们想要的,真正的windbg,实际上是在微软的SDK里,下载链接在这里:ht......
  • ASP.NET-MVC项目搭建
    目录零、资料一、零、资料ASP.NETMVC:https://www.bilibili.com/video/BV1q64y1z7zS/一、......
  • 开源.NetCore通用工具库Xmtool使用连载 - XML操作篇
    【Github源码】《上一篇》介绍了Xmtool工具库中的发送短信类库,今天我们继续为大家介绍其中的XML操作类库。XML操作是软件开发过程中经常会遇到的情况;包括XML内容的遍历解析,或者特定值内容的查询获取等等。Xmtool工具库提供了一种更方便的方式对Xml进行遍历解析或者对特定节点内......
  • ASP.NET-WebForm项目搭建
    目录零、开发环境一、创建工程二、发布项目三、拖拽式-调整页面零、开发环境vs2022chromeIIS服务器一、创建工程1、新建项目:2、选择web应用程序、3、设置项目存放的路径4、选择webForm的模板5、创建一个名为webs的文件夹,用于存放aspx页面:6、创建一个......
  • 科学网—VBox虚拟机中,deepin系统下共享文件夹 - 苏威的博文 (sciencenet.cn)
    科学网—VBox虚拟机中,deepin系统下共享文件夹-苏威的博文(sciencenet.cn) mount-tvboxsfnn(共享文件夹名称)/home/shared......
  • Acunetix v23.7 (Linux, Windows) - 漏洞扫描 (Web 应用程序安全测试)
    Acunetixv23.7(Linux,Windows)-漏洞扫描(Web应用程序安全测试)Acunetix|WebApplicationSecurityScanner请访问原文链接:https://sysin.org/blog/acunetix-23/,查看最新版。原创作品,转载请保留出处。作者主页:sysin.org重要提示AcunetixPremium现在使用日历化版本......
  • window7 无法安装Net48的问题
    此操作系统不支持.NETFramework4.8.1。-『悬赏问答区』-吾爱破解-LCG-LSG|安卓破解|病毒分析|www.52pojie.cn安装一个4.8的离线包,下载地址:https://download.visualstudio.microsoft.com/download/pr/2d6bb6b2-226a-4baa-bdec-798822606ff1/8494001c276a4b96804cde7829......
  • 给微软.Net runtime运行时提交的几个Issues
    前言因为目前从事的CLR+JIT,所以会遇到一些非常底层的问题,比如涉及到微软的公共运行时和即时编译器或者AOT编译器的编译异常等情况,这里分享下自己提的几个Issues。原文:微软.Netruntime运行时提交的几个IssuesIssues一.issuesone第一个System.Numerics.Vector库里面的成员......
  • 关于Kubernetes-v1.23.6-集群测试-创建一个nginx的deployment进行验证
    关于k8s集群环境搭建完成后,我们可以通过创建一个deployment进行效果的测试这里以nginx为例,还是在k8s-master上进行创建kubectlcreatedeploymentnginx--image=nginxkubectlexposedeploymentnginx--port=80--type=NodePort这里--port只是指定了容器(container )暴......