flink中处理kafka分区的消息顺序

背景

kafka分区的消息是有序的,那么flink在消费kafka分区的时候消息的顺序是怎么样的呢?还能保持这个有序性吗,本文就来记录下

flink消费kafka分区的顺序性

在这里插入图片描述

从上图可知,flink的转换算子比如map,flatMap,fliter等处理消息时是有序进行的,也就是此时消息的分区顺序性依然得到维护,这意味着你可以基于前后消息的顺序来做一些判断逻辑,但是当经过keyed by等分组算子后,消息的顺序性就不会被保证了

相关推荐

  1. Kafka和副本机制

    2023-12-07 09:22:05       61 阅读
  2. Kafka(partition和副本)

    2023-12-07 09:22:05       39 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2023-12-07 09:22:05       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2023-12-07 09:22:05       106 阅读
  3. 在Django里面运行非项目文件

    2023-12-07 09:22:05       87 阅读
  4. Python语言-面向对象

    2023-12-07 09:22:05       96 阅读

热门阅读

  1. mvn site 命令

    2023-12-07 09:22:05       58 阅读
  2. L0、Linux常用命令

    2023-12-07 09:22:05       58 阅读
  3. 【LeeCode】350.两个数组的交集 II

    2023-12-07 09:22:05       55 阅读
  4. ElasticSearch之Index stats API

    2023-12-07 09:22:05       55 阅读
  5. 后端返回数据前端保留两位小数

    2023-12-07 09:22:05       62 阅读
  6. 【算法集训】基础数据结构:二、字符串

    2023-12-07 09:22:05       64 阅读
  7. C语言——二级指针

    2023-12-07 09:22:05       59 阅读
  8. docker:安装nginx并部署一个前端项目

    2023-12-07 09:22:05       52 阅读
  9. LeetCode //C - 383. Ransom Note

    2023-12-07 09:22:05       60 阅读
  10. 时间趋势可视化-柱形图 Python

    2023-12-07 09:22:05       64 阅读
  11. 第十节HarmonyOS 使用资源引用类型

    2023-12-07 09:22:05       59 阅读
  12. 机器学习之萤火虫算法(Firefly Algorithm,FA)

    2023-12-07 09:22:05       56 阅读
  13. 李宏毅2020机器学习课程笔记(二)- 深度学习

    2023-12-07 09:22:05       62 阅读