流批一体计算引擎-13-[Flink]RuntimeExecutionMode和水印策略Watermark Strategy

1 运行时执行模式RuntimeExecutionMode

数据流程序的运行时执行模式。除此之外,它还控制任务
调度、网络洗牌行为和时间语义。一些业务也将发生变化
它们根据配置的执行模式记录发射行为。
(1)RuntimeExecutionMode.STREAMING,管道将使用流语义执行。开始执行之前将部署所有任务,检查点将被启用,处理和事件时间都将被完全支持。

(2)RuntimeExecutionMode.BATCH,管道将使用批处理语义执行。任务将逐步安排在它们所属的调度区域上,区域之间的洗牌将被阻塞、假设水印是“完美的”,即没有延迟的数据,并且假设在执行期间,处理时间没有提前。

(3)RuntimeExecutionMode.AUTOMATIC,如果所有源都是有界的,Flink将设置执行模式为BATCH,如果有至少一个无界的源,则设置为STREAMING。

1.1 流模式STREAMING

from pyflink.datastream import StreamExecutionEnvironment, RuntimeExecutionMode

env = StreamExecutionEnvironment.get_execution_environment(

相关推荐

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-10 02:40:05       50 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-10 02:40:05       54 阅读
  3. 在Django里面运行非项目文件

    2024-07-10 02:40:05       43 阅读
  4. Python语言-面向对象

    2024-07-10 02:40:05       54 阅读

热门阅读

  1. ffmpeg转换MP4为gif命令

    2024-07-10 02:40:05       14 阅读
  2. bash shell 重定向输入和输出

    2024-07-10 02:40:05       22 阅读
  3. 将List切割为多个指定长度的多个List

    2024-07-10 02:40:05       20 阅读
  4. 基于 LSN 的 PostgreSQL 数据管理与恢复

    2024-07-10 02:40:05       22 阅读
  5. 加密货币安全升级:USDT地址监控机器人

    2024-07-10 02:40:05       20 阅读
  6. bind方法的使用

    2024-07-10 02:40:05       15 阅读
  7. 128陷阱详解

    2024-07-10 02:40:05       15 阅读
  8. 前端如何控制并发请求

    2024-07-10 02:40:05       15 阅读
  9. ubuntu虚拟机安装

    2024-07-10 02:40:05       20 阅读
  10. RabbitMQ安装使用遇到的问题

    2024-07-10 02:40:05       18 阅读