Flink源码解析零之重要名词的理解

名词解释

1)StreamGraph

根据用户通过 Stream API 编写的代码生成的最初的图。

(1)StreamNode

用来代表 operator 的类,并具有所有相关的属性,如并发度、入边和出边等。

(2)StreamEdge

表示连接两个StreamNode的边。

2)JobGraph

StreamGraph经过优化后生成了 JobGraph,提交给 JobManager 的数据结构。

(1)JobVertex

经过优化后符合条件的多个StreamNode可能会chain在一起生成一个JobVertex,即一个JobVertex包含一个或多个operator,JobVertex的输入是JobEdge,输出是IntermediateDataSet。

(2)IntermediateDataSet

表示JobVertex的输出,即经过operator处理产生的数据集。producer是JobVertex,consumer是JobEdge。

(3)JobEdge

代表了job graph中的一条数据传输通道。source 是 IntermediateDataSet,target 是 JobVertex。即数据通过JobEdge由IntermediateDataSet传递给目标JobVertex。

3)ExecutionGraph

JobManager 根据 JobG

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2023-12-06 11:02:03       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2023-12-06 11:02:03       101 阅读
  3. 在Django里面运行非项目文件

    2023-12-06 11:02:03       82 阅读
  4. Python语言-面向对象

    2023-12-06 11:02:03       91 阅读

热门阅读

  1. c++ 函数模板详细介绍

    2023-12-06 11:02:03       55 阅读
  2. 3.1 Ansible 的使用和配置管理

    2023-12-06 11:02:03       39 阅读
  3. Ansible的module_defaults

    2023-12-06 11:02:03       62 阅读
  4. skynet学习笔记(12/05未完待续)

    2023-12-06 11:02:03       62 阅读
  5. 2312skia,15vulkan及技巧

    2023-12-06 11:02:03       67 阅读
  6. oracle sql 把2023/05/06格式化为20230506

    2023-12-06 11:02:03       61 阅读
  7. history路由解决刷新出现404的问题

    2023-12-06 11:02:03       62 阅读
  8. 1. 使用poll或epoll创建echo服务器

    2023-12-06 11:02:03       53 阅读
  9. Django大回顾 - 1之Web应用、HTTP协议,Web框架

    2023-12-06 11:02:03       66 阅读
  10. element UI之 el-date-picker 无法选择当前日期

    2023-12-06 11:02:03       52 阅读
  11. [cocos creator] Label设置为RESIZE_HEIGHT,获取height

    2023-12-06 11:02:03       48 阅读
  12. flask学习笔记-01-传送dict信息

    2023-12-06 11:02:03       63 阅读
  13. 一个使用Rust开发的MQTT Broker

    2023-12-06 11:02:03       65 阅读
  14. 专栏测试1--日后删除

    2023-12-06 11:02:03       53 阅读
  15. LeetCode1137. N-th Tribonacci Number

    2023-12-06 11:02:03       54 阅读