Flink内存模型

1、Flink进程内存模型

  配置项     TaskManager 配置参数     JobManager 配置参数  
Flink 总内存 taskmanager.memory.flink.size jobmanager.memory.flink.size
进程总内存 taskmanager.memory.process.size jobmanager.memory.process.size

2、Task Managers内存模型

  组成部分     配置参数     描述  
框架堆内存(Framework Heap Memory) taskmanager.memory.framework.heap.size 用于 Flink 框架的 JVM 堆内存(进阶配置)。
任务堆内存(Task Heap Memory) taskmanager.memory.task.heap.size 用于 Flink 应用的算子及用户代码的 JVM 堆内存。
托管内存(Managed memory) taskmanager.memory.managed.size
taskmanager.memory.managed.fraction
由 Flink 管理的用于排序、哈希表、缓存中间结果及 RocksDB State Backend 的本地内存。
框架堆外内存(Framework Off-heap Memory) taskmanager.memory.framework.off-heap.size 用于 Flink 框架的堆外内存(直接内存或本地内存)(进阶配置)。
任务堆外内存(Task Off-heap Memory) taskmanager.memory.task.off-heap.size 用于 Flink 应用的算子及用户代码的堆外内存(直接内存或本地内存)
网络内存(Network Memory) taskmanager.memory.network.min
taskmanager.memory.network.max
taskmanager.memory.network.fraction
用于任务之间数据传输的直接内存(例如网络传输缓冲)。该内存部分为基于 Flink 总内存受限的等比内存部分。这块内存被用于分配网络缓冲
JVM Metaspace taskmanager.memory.jvm-metaspace.size Flink JVM 进程的 Metaspace。
JVM 开销 taskmanager.memory.jvm-overhead.min
taskmanager.memory.jvm-overhead.max
taskmanager.memory.jvm-overhead.fraction
用于其他 JVM 开销的本地内存,例如栈空间、垃圾回收空间等。该内存部分为基于进程总内存受限的等比内存部分

3、Job Manager内存模型

  组成部分     配置参数     描述  
JVM 堆内存 jobmanager.memory.heap.size JobManager 的 JVM 堆内存
堆外内存 jobmanager.memory.off-heap.size JobManager 的堆外内存(直接内存或本地内存)
JVM Metaspace jobmanager.memory.jvm-metaspace.size Flink JVM 进程的 Metaspace。
JVM 开销 jobmanager.memory.jvm-overhead.min
jobmanager.memory.jvm-overhead.max
jobmanager.memory.jvm-overhead.fraction
用于其他 JVM 开销的本地内存,例如栈空间、垃圾回收空间等。该内存部分为基于进程总内存受限的等比内存部分

相关推荐

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-04-12 20:04:04       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-04-12 20:04:04       101 阅读
  3. 在Django里面运行非项目文件

    2024-04-12 20:04:04       82 阅读
  4. Python语言-面向对象

    2024-04-12 20:04:04       91 阅读

热门阅读

  1. macOS idea配置mysql

    2024-04-12 20:04:04       38 阅读
  2. CSS中的类命名

    2024-04-12 20:04:04       32 阅读
  3. WPF 跨线程-Dispatcher:详解与示例

    2024-04-12 20:04:04       37 阅读
  4. C++Book对象数组初始化

    2024-04-12 20:04:04       34 阅读
  5. SpringBoot多数据源配置及使用

    2024-04-12 20:04:04       35 阅读
  6. AcWing 791. 高精度加法——算法基础课题解

    2024-04-12 20:04:04       39 阅读
  7. UI设计需要学习什么?我们应该掌握什么软件?

    2024-04-12 20:04:04       37 阅读
  8. 命名实体识别模型和分词的不同

    2024-04-12 20:04:04       36 阅读
  9. 相同地域云服务器间内网通信配置

    2024-04-12 20:04:04       35 阅读