首页 > 其他分享 >一口气搞懂Flink Metrics监控指标和性能优化,全靠这33张图和7千字

一口气搞懂Flink Metrics监控指标和性能优化,全靠这33张图和7千字

时间:2024-06-07 10:34:05浏览次数:8  
标签:表示 33 flink 指标 检查点 监控 搞懂 千字

https://www.51cto.com/article/684249.html

 

flink中值得监控的几个指标

背景

为了维持flink的正常运行,对flink的日常监控就变得很重要,本文我们就来看一下flink中要监控的几个重要的指标

重要的监控指标

1.算子的处理速度的指标:numRecordsInPerSecond/numRecordsOutPerSecond,这有助于你了解到算子的是否正在合理运行
2.应用的监控度: uptime表示应用已经持续运行的时间,numRestarts表示job被重启的次数,重启的原因很多种,比如内存占用过多被killed等
3.检查点健康度: numberOfCompletedCheckpoints表示已经完成的检查点数目, numberOfFailedCheckpoints表示未能完成的检查点数目(比如因为状态太多导致超时等未能完成checkpoint操作),
numberOfInProgressCheckpoints表示正在进行中的检查点数目,lastCheckpointDuration表示检查点的持续时间,过长的时间会导致checkpoint失败,
lastCheckpointFullSize表示检查点的大小,这可以帮你检查应用状态大小是否正常
4.基于事件时间的应用的处理延迟:可以对比eventtime和当前时间的延迟,这可以知道是否发生了数据倾斜等问题,导致watermark一直未能前进
5.jvm和容器指标:Jvm使用的内存/cpu大小,容器使用的内存大小(包括jvm+其他组件)

标签:表示,33,flink,指标,检查点,监控,搞懂,千字
From: https://www.cnblogs.com/zjb480/p/18236702

相关文章

  • GE VME5565 VMIVME-5565-11000 332-015565-110000 P 反射式内存节点卡
    VME5565VMIVME-5565-11000332-015565-110000P规格:接口:VMEbus。通道数:16。模拟输入分辨率:16位。模拟输出分辨率:16位。数字I/O:32行。工作温度范围:-40℃~+85℃。输入电压:5VDC。内存配置:可配置为94MB或1108MB的SDRAM。数据传输速率:最高170兆字节/秒。系统节点数:支......
  • 终于搞懂了!原来vue3中template使用ref无需.value是因为这个
    前言众所周知,vue3的template中使用ref变量无需使用.value。还可以在事件处理器中进行赋值操作时,无需使用.value就可以直接修改ref变量的值,比如:<button@click="msg='HelloVue3'">changemsg</button>。你猜vue是在编译时就已经在代码中生成了.value,还是运行时使用Proxy拦截的......
  • 代码随想录算法训练营第30天 | 332.重新安排行程 、51. N皇后、37. 解数独
    332.重新安排行程(可跳过)https://programmercarl.com/0332.重新安排行程.html有难度,涉及到图,有些用例会超时/***@param{string[][]}tickets*@return{string[]}*/varfindItinerary=function(tickets){constres=['JFK'];constmap={};for(le......
  • 字符数组VS字符串(一文搞懂有什么区别)
    当你在C++的程序中,经常会遇到两种字符串的表达方法,一种是以字符数组的方式,还有用string的,这二者到底有什么不同?下文将会帮彻底弄懂。因为许多函数参数当需要传入字符串的时候,有的代码中使用指向字符数组的指针来传递字符串,其实C++中传入字符数组,就相当于传入一个指向该数......
  • Binary Ninja 4.0.5336 (macOS, Linux, Windows) - 逆向平台
    BinaryNinja4.0.5336(macOS,Linux,Windows)-逆向平台请访问原文链接:https://sysin.org/blog/binary-ninja/,查看最新版。原创作品,转载请保留出处。作者主页:sysin.orgBinaryNinjaANewTypeofReversingPlatformBinaryNinja是一个交互式反编译器、反汇编器、调试......
  • 小米10ultra(IMX350 2000W) 小米11ultra(IMX586 4800W) 超广角放大对比 ISO12233
    拍摄距离ISO12233的打印纸大概半米,室内灯光环境结论:差距比较小,不过也是能看出来的。大概差半级到一级。10u能分辨到4,11u能分辨到4.5。小米10ultra质量:高HEICIMG_20240605_205122.HEIC1.29MB3880x5184 像素  小米11ultra质量:高没用HEIC用的jpgIMG_20240605_2......
  • 一图搞懂原型和原型链
    构造函数Person,通过new实例化它的一个实例person,实例person的原型就是构造函数Person的prototype属性,即Person.prototype。functionPerson(){}//构造函数varperson=newPerson()//实例//person的原型===Person.prototype实例的原型Person.pro......
  • RK3308B WIFI
     修改WIFI型号./device/rockchip/rk3308/rockchip_rk3308b_64bit_defconfig修改设备树根节点--->wireless-wlanwireless-wlan{compatible="wlan-platdata";rockchip,grf=<&grf>;pinctrl-names="default&quo......
  • 一文搞懂Kafka,在项目里面更加得心应手的使用
    1.kafka关键概念与术语1.1简单的例子说明kafka的使用场景Apachekafka是消息中间件的一种,我发现很多人不知道消息中间件是什么,在开始学习之前,我这边就先简单的解释一下什么是消息中间件,只是粗略的讲解,目前kafka已经可以做更多的事情。举个例子:生产者消费者,生产者生产鸡蛋......
  • 一文搞懂5种内存溢出案例,内含完整源码
    本文分享自华为云社区《10分钟搞懂各种内存溢出案例!!(含完整源码,建议收藏)》,作者:冰河。作为程序员,多多少少都会遇到一些内存溢出的场景,如果你还没遇到,说明你工作的年限可能比较短,或者你根本就是个假程序员!哈哈,开个玩笑。今天,我们就以Java代码的方式来列举几个典型的内存溢出案例,希......