Flink SQL填坑记3:两个kafka数据关联查询

在一个项目中,实时生成的统计数据需要关联另外一张表(并非维表),需要统计的数据表是Kafka数据,而需要关联的表,由于不是维度,不能按照主键查询,所以如果放在MySQL上,将存在严重的性能问题,这个时候我想到用将两张表的数据都生成为Kafka数据,然后进行Join操作。中途发现这种性能特别差,而且表变更会产生多条kakfa记录,导致计算越来越来,最后改成upsert-kafka,下面记录下处理过程。

刚开始用kafka,建表语句如下:

Create Table `kafka_t_test1` (
  `f_id` bigint,
  `f_name` string,
  PRIMARY KEY (`f_corp_id`,`f_id`) NOT ENFORCED
  ) WITH (
    'connector' = 'kafka',
    'topic' = 't_test',
    'properties.bootstrap.servers' = '10.10.10.1',
    'properties.group.id' = 'test',
    'value.format' = 'json',
    'value.fields-include' 

相关推荐

  1. Flink SQL3kafka数据关联查询

    2024-03-27 06:48:04       35 阅读
  2. python多线程与多进程开发实践及3

    2024-03-27 06:48:04       30 阅读
  3. 【Flink】FlinkSQL实现数据Kafka到MySQL

    2024-03-27 06:48:04       50 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-03-27 06:48:04       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-03-27 06:48:04       101 阅读
  3. 在Django里面运行非项目文件

    2024-03-27 06:48:04       82 阅读
  4. Python语言-面向对象

    2024-03-27 06:48:04       91 阅读

热门阅读

  1. react native hooks 如何避免重复请求

    2024-03-27 06:48:04       34 阅读
  2. AI绘画自动生成器平台有哪些

    2024-03-27 06:48:04       41 阅读
  3. python数据解析xpath

    2024-03-27 06:48:04       41 阅读
  4. 微信小程序 第四节课

    2024-03-27 06:48:04       42 阅读
  5. pytorch中的torch.hub.load()

    2024-03-27 06:48:04       45 阅读
  6. 09 mybatis 注解

    2024-03-27 06:48:04       35 阅读
  7. PgMP考试费用是多少?收费标准详细解析!

    2024-03-27 06:48:04       104 阅读
  8. 1969. 数组元素的最小非零乘积

    2024-03-27 06:48:04       41 阅读
  9. QT学习之UDP

    2024-03-27 06:48:04       42 阅读
  10. spring缓存通用配置

    2024-03-27 06:48:04       43 阅读
  11. sqlite删除数据表

    2024-03-27 06:48:04       40 阅读
  12. GPT大语言模型助力R语言开展数据统计分析

    2024-03-27 06:48:04       27 阅读