flink中如何把DB大表的配置数据加载到内存中对数据流进行增强处理

背景

在处理flink的数据流时,比如处理商品流时,一般我们从kafka中只拿到了商品id,此时我们需要把商品的其他配置信息比如品牌品类等也拿到,此时就需要关联上外部配置表来达到丰富数据流的目的,如果外部配置表很大,我们如何才能做到加载到内存中并完成丰富数据流的目的呢?

丰富数据流

有两种方式可以实现丰富数据流的效果,一种是把外部配置表所有数据加载到每个TaskManager的内存中,另一种是每个TaskManager只需要加载一部分外部配置表的数据,如下所示:

在这里插入图片描述

总结:

当外部配置表的数据量很大时,我们可以采用每个TaskManager加载一部分数据的方式来达到数据增强的效果,至于每个TaskManager加载多少,取决于算子并行度,并行度越高,每个TaskManager就可以加载越少的数据

相关推荐

  1. gateway返回数据进行处理

    2023-12-14 23:28:03       23 阅读
  2. Compose使用paging3进行列表分页Room数据

    2023-12-14 23:28:03       63 阅读
  3. QML数据时卡顿怎么处理

    2023-12-14 23:28:03       60 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2023-12-14 23:28:03       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2023-12-14 23:28:03       100 阅读
  3. 在Django里面运行非项目文件

    2023-12-14 23:28:03       82 阅读
  4. Python语言-面向对象

    2023-12-14 23:28:03       91 阅读

热门阅读

  1. LightDB - 支持substring_index 函数[mysql兼容]

    2023-12-14 23:28:03       52 阅读
  2. Linux内核相关信息杂谈笔记

    2023-12-14 23:28:03       59 阅读
  3. SpringCache使用配置

    2023-12-14 23:28:03       75 阅读
  4. WEB渗透—PHP反序列化(二)

    2023-12-14 23:28:03       60 阅读
  5. 如何使用命令行运行PHP脚本?

    2023-12-14 23:28:03       57 阅读
  6. A Hard Trip

    2023-12-14 23:28:03       50 阅读
  7. 【Docker 的基本使用】

    2023-12-14 23:28:03       50 阅读
  8. InitializingBean初始化--Spring容器管理

    2023-12-14 23:28:03       47 阅读