首页 > 数据库 >带你认识数仓的监控系统TopSQL

带你认识数仓的监控系统TopSQL

时间:2023-08-04 11:15:08浏览次数:49  
标签:数仓 resource track 作业 pgxc TopSQL session 监控

本文分享自华为云社区《GaussDB(DWS)TopSQL总结》,作者:nullptr_ 。

TopSQL 背景

TopSQL为DWS的监控系统,记录DWS中各个作业、算子级别的资源使用数据、耗时数据,包括下盘信息、内存、网络、耗时、警告、基础信息等作业执行的数据。

TopSQL 简介

TopSQL分为实时表和历史表,实时表主要展示系统当前的负载情况,历史表主要用于存储作业执行的历史情况。历史表主要用于历史问题的分析回溯和问题定位、实时表主要用来展示当前系统中作业执行情况,让系统现场更加直观,为运维工作带来了极大的方便。

TopSQL 功能介绍

主要视图

前提条件(参数介绍)

  • enable_resource_track topsql开关,是否开始topsql功能
  • resource_track_level 设置监控级别,query:类似于sql的explain输出信息,perf:类似于explain analyze输出信息,operator_reltime: 统计实时算子信息,operator:详细记录到每个算子的执行信息,并且层级为向下兼容 query->perf->operator_reltime->operator
  • resource_track_cost topsql追踪执行时间大于等于resource_track_cost 的作业
  • enable_track_record_sql 控制是否记录存储过程、匿名块内部的语句
  • enable_track_record_subsql 控制是否记录存储过、匿名块内部语句
  • resource_track_subsql_duration 过滤执行时间小于resource_track_subsql_duration的语句

字段含义介绍(重点功能作用)


类型介绍

 

值异常分析

当作业因为异常例如某DN挂了,作业会重新开始,topsql会记录两条记录

TopSQL 重点逻辑梳理剖析

在DN通过打桩定期记录作业的实时信息,并将记录定期发送至CN,并将信息定期存储至实时表中pgxc_wlm_session_statistics中,并定时将实时表中的作业落盘到历史表中pgxc_wlm_session_info中,此过程为了减少阻塞将记录放到无锁队列中,无锁队列提供了记录的CAS原子操作,然后定期读取无锁队列中的内容进行转储,pgxc_wlm_session_info通过start_time进行分区,每天一个分区,通过参数topsql_retention_time配置默认保留30个分区即30天的记录,定期对pgxc_wlm_session_info的分区进行清理、创建。此过程在dws中有单独的线程运行,对系统的影响较小。无锁队列大小是有上限的,如果转储处理的速度赶不上生成的速度那么作业也会被丢弃。

历史

当前pgxc_wlm_session_history只包含最近3分钟的数据且数据来源实际是pgxc_wlm_session_info。

点击关注,第一时间了解华为云新鲜技术~

 

 

标签:数仓,resource,track,作业,pgxc,TopSQL,session,监控
From: https://www.cnblogs.com/huaweiyun/p/17605335.html

相关文章

  • RTSP流媒体服务器LntonNVR(源码版)视频监控平台通过ODM工具手动输入onvif地址添加通道的
    LntonNVR是一种轻量级的视频监控平台,具有强大的拓展性和高兼容度。它可以支持通过RTSP/ONVIF协议接入前端设备,包括摄像头等。在接入前端设备时,LntonNVR提供了自带的ONVIF探测功能,可以方便地将摄像头设备接入平台。一旦接入成功,您就可以通过LntonNVR实现对摄像头的云台控制,包括转动......
  • RTSP/RTMP/GB28181协议视频监控平台搭建之国网B接口协议介绍
    一、介绍电网视频监控系统和接口为企业标准,目的是为了实现统一监控,统一存储,分级控制,分域管理,使不同的视频监控系统能够互联互通。系统组成视频监控系统是以视频监控平台为核心。视频监控铜牌中的基本设备是一个或多个提供业务的服务器。视频监控平台之间通过IP网络互联互通。视频监......
  • Java面试题 P57:微服务篇:你们的微服务是怎么监控的?
        ......
  • RTMP流媒体服务器LiteCVR安防监控平台有关帧数的知识点讲解
    RTMP流媒体服务器LiteCVR平台支持多协议方式接入,例如市场主流标准协议(国标GB/T28181协议、RTMP、RTSP/Onvif)与厂家私有协议和SDK(海康Ehome、海康SDK、大华SDK、华为SDK、宇视SDK、乐橙SDK、萤石SDK)等。平台可运用于智慧工地、智慧安防、智慧工厂、智慧园区等场景。接下来我们将为大......
  • TSINGSEE青犀视频安防监控EasyCVR视频汇聚平台电子地图定位偏移的排查与解决
    安防监控EasyCVR视频汇聚综合管理平台具有强大的数据接入、处理及分发能力,平台可提供视频监控直播、云端录像、云存储、录像检索与回看、告警上报与查询、平台级联、云台控制、语音对讲、电子地图、轨迹跟踪、H.265自动转码等视频能力。在视频监控管理平台TSINGSEE青犀视频EasyCVR......
  • 使用 OpenTelemetry 监控 Spring Boot
    通过将OpenTelemetry与SpringBoot集成,您可以从应用程序捕获分布式跟踪和其他遥测数据,从而提供有关其在分布式环境中的性能和行为的宝贵见解。什么是开放遥测?OpenTelemetry定义了用于收集遥测数据(例如指标、跟踪和日志)的API和协议,并为流行的编程语言和技术提供了各种库、代理......
  • RTMP流媒体服务器LiteCVR视频监控平台如何让个性化设置教程
    RTMP流媒体服务器LiteCVR支持多协议方式接入,例如市场主流标准协议(国标GB/T28181协议、RTMP、RTSP/Onvif)与厂家私有协议和SDK(海康Ehome、海康SDK、大华SDK、华为SDK、宇视SDK、乐橙SDK、萤石SDK)等。平台可运用于智慧工地、智慧安防、智慧工厂、智慧园区等场景。每个人使用软件的时候......
  • 工业物联网监控平台,实现工业设备数据采集和智能管理
    工业物联网监控平台是一种基于物联网、云计算和大数据分析技术的融合应用平台,目的在于实现工业生产的智能设备以及设备管理效率的提升。随着生产规模的不断扩大,工厂可能越来越多,接入的设备也越来越复杂,传统的设备管理模式已经无法满足企业对于高效率生产管理的需求,而工业物联网监控......
  • RTMP流媒体服务器LiteCVR安防监控平台协助老旧小区升级改造方案
    我们的RTMP流媒体服务器LiteCVR为了顺应安防市场的规模不断扩大与发展,开发出了具有强大的数据接入、处理及分发能力,除此之外平台还具有兼容性强、灵活拓展度强、安装部署设施轻松等特点,平台支持海量视频汇聚管理,可提供视频监控直播、云端录像、云存储、录像检索与回看、智能告警、......
  • 监控对象都有哪些分类
    1、业务监控这类指标是管理层非常关注的,代表企业营收,或者跟客户主流程相关,类似BI数据。不过相比BI数据,业务监控指标有两点不同。对精确度要求没有那么高:因为监控只要发现趋势异常就可以,至于是从5000变成了1000还是变成了1001,没有什么区别。对实时性要求很高:很多BI数据可......