flink中值得监控的几个指标

背景

为了维持flink的正常运行,对flink的日常监控就变得很重要,本文我们就来看一下flink中要监控的几个重要的指标

重要的监控指标

1.算子的处理速度的指标:numRecordsInPerSecond/numRecordsOutPerSecond,这有助于你了解到算子的是否正在合理运行
2.应用的监控度: uptime表示应用已经持续运行的时间,numRestarts表示job被重启的次数,重启的原因很多种,比如内存占用过多被killed等
3.检查点健康度: numberOfCompletedCheckpoints表示已经完成的检查点数目, numberOfFailedCheckpoints表示未能完成的检查点数目(比如因为状态太多导致超时等未能完成checkpoint操作),
numberOfInProgressCheckpoints表示正在进行中的检查点数目,lastCheckpointDuration表示检查点的持续时间,过长的时间会导致checkpoint失败,
lastCheckpointFullSize表示检查点的大小,这可以帮你检查应用状态大小是否正常
4.基于事件时间的应用的处理延迟:可以对比eventtime和当前时间的延迟,这可以知道是否发生了数据倾斜等问题,导致watermark一直未能前进
5.jvm和容器指标:Jvm使用的内存/cpu大小,容器使用的内存大小(包括jvm+其他组件)

相关推荐

  1. flink值得监控指标

    2023-12-30 14:06:02       55 阅读
  2. Linux重要指令

    2023-12-30 14:06:02       39 阅读
  3. Flink关键问题总结

    2023-12-30 14:06:02       27 阅读
  4. Flink 任务指标监控

    2023-12-30 14:06:02       60 阅读
  5. SQL区别

    2023-12-30 14:06:02       50 阅读
  6. opencv重要函数

    2023-12-30 14:06:02       56 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2023-12-30 14:06:02       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2023-12-30 14:06:02       100 阅读
  3. 在Django里面运行非项目文件

    2023-12-30 14:06:02       82 阅读
  4. Python语言-面向对象

    2023-12-30 14:06:02       91 阅读

热门阅读

  1. 【Qt】mkdir()和mkpath()区别

    2023-12-30 14:06:02       42 阅读
  2. Redis学习

    2023-12-30 14:06:02       49 阅读
  3. python学习 21 excel分列

    2023-12-30 14:06:02       61 阅读
  4. Go语言中的包管理工具之Go Vendor的使用

    2023-12-30 14:06:02       59 阅读
  5. K8s-安全机制

    2023-12-30 14:06:02       38 阅读
  6. Thinkphp 5框架学习

    2023-12-30 14:06:02       60 阅读
  7. js中的 == 比较规则

    2023-12-30 14:06:02       53 阅读