Flink 读取 Kafka 消息写入 Hudi 表无报错但没有写入任何记录的解决方法

《大数据平台架构与原型实现:数据中台建设实战》 博主历时三年精心创作的《大数据平台架构与原型实现:数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行,点击《重磅推荐:建大数据平台太难了!给我发个工程原型吧!》了解图书详情,京东购书链接:https://item.jd.com/12677623.html,扫描左侧二维码进入京东手机购书页面。

本问题发生的场景是:使用 Kafka Connect 的 Debezium MySQL Source Connector 将 MySQL 的 CDC 数据 (Confluent Avro 格式)接入到 Kafka 之后,通过 Flink 读取并解析这些 CDC 数据,然后写入到 Hudi 表中。在测试过程中发现:启动写入作业后,Hudi 表中迟迟没有数据写入,而 Flink 作业也没有报错。实际上,这应该是一比较常见的问题,我们的测试环境并没有特别的配置,大多数初次进行集成的开发者,大概率都会遇到这一问题,本文将详细介绍一个该问题

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-02-01 13:46:01       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-02-01 13:46:01       100 阅读
  3. 在Django里面运行非项目文件

    2024-02-01 13:46:01       82 阅读
  4. Python语言-面向对象

    2024-02-01 13:46:01       91 阅读

热门阅读

  1. P3654 First Step (ファーストステップ)题解

    2024-02-01 13:46:01       52 阅读
  2. 你保存alzet渗透泵中文说明书了吗?

    2024-02-01 13:46:01       50 阅读
  3. 关于js的动画效果

    2024-02-01 13:46:01       51 阅读
  4. C语言函数指针与回调函数

    2024-02-01 13:46:01       46 阅读
  5. 30个常用的lodash工具函数

    2024-02-01 13:46:01       53 阅读
  6. CG-70B 双轴普及型倾角传感器

    2024-02-01 13:46:01       56 阅读
  7. 一篇文章带你入门使用Linux中的curl命令

    2024-02-01 13:46:01       54 阅读
  8. 我的数据结构c(给自己用的)

    2024-02-01 13:46:01       49 阅读
  9. 开源模型应用落地-业务优化篇(二)

    2024-02-01 13:46:01       45 阅读
  10. 深入理解Django与Redis的集成实践

    2024-02-01 13:46:01       54 阅读
  11. 2401cmake,学习cmake1

    2024-02-01 13:46:01       60 阅读