Flink CDC / Kafka Connect 自动转换 Debezium 的 DataTime / Timpstamp 时间格式

不管是用 Flink CDC 还是 Kafka Connect (Debezium Connector),在实时获取数据库的 CDC 数据并以 Json 格式写入 Kafak 中时,都会遇到 DataTime / Timpstamp 类型的转换问题,即:原始数据库中的 DataTime / Timpstamp 的字面量是 2021-12-14 00:00:00 这种形式,但是,转换为 Json 后就变成了 1639411200000 (带毫秒位的 epoch 时间),这带来的问题是:下游表基于 Json 数据建表时,对应的字段/列不能直接声明为 DataTime / Timpstamp 类型,而是必须先声明 bigint / long 类型后再进行格式转换,这带来了很大的不变,更坏的影响是,在 Flink SQL 中就不能使用 like 子句来建表了,导致手写大量的 SQL。

这个问题的解法不 Flink CDC / Kafka Connect 上,而在 Debezium 自身,对于 Flink CDC 和 Kafka Connect 是通用的,就是:开发 Debezium 的 Custom Converter,自动对时间类型的数据进行格式转换。需要注意的是:Debezium 的 Custom Converter 机制做过重大升级,编写自定义的 Converter 时要注意你所使用的 Debezium 的版本!

首先,我们看一下 Debzium 官方文档对于自定义时间格式转化给出的方案:https://debezium.io/documentatio

相关推荐

  1. 【Vue】使用moent转换GMT时间格式为北京时间

    2024-04-26 21:12:02       44 阅读

最近更新

  1. 常见网络攻击方式及防御方法

    2024-04-26 21:12:02       0 阅读
  2. Amazon Bedrock 常用权限分类详解

    2024-04-26 21:12:02       0 阅读
  3. Emacs有什么优点,用Emacs写程序真的比IDE更方便吗?

    2024-04-26 21:12:02       1 阅读
  4. AWS Glue 与 Amazon Redshift 的安全通信配置

    2024-04-26 21:12:02       1 阅读
  5. Elasticsearch7.5.2 常用rest api与elasticsearch库

    2024-04-26 21:12:02       1 阅读
  6. MySQL 的 Buffer Pool 的结构及有什么作用

    2024-04-26 21:12:02       1 阅读

热门阅读

  1. STC 8F无线通讯语言模块测试

    2024-04-26 21:12:02       16 阅读
  2. REST API规范

    2024-04-26 21:12:02       24 阅读
  3. Ubuntu鼠标自动点击脚本-工具xdotool简单使用

    2024-04-26 21:12:02       17 阅读
  4. 顺序表 (C语言版)

    2024-04-26 21:12:02       11 阅读
  5. Redis深度解析与面试必备问答(必知必会20题全)

    2024-04-26 21:12:02       42 阅读
  6. 计算机网络概述

    2024-04-26 21:12:02       16 阅读
  7. 面试经典150题——整数转罗马数字

    2024-04-26 21:12:02       13 阅读
  8. vue中@click.prevent函数的使用

    2024-04-26 21:12:02       15 阅读
  9. 【汇编】指令系统的寻址方式

    2024-04-26 21:12:02       16 阅读
  10. 前端生成二维码

    2024-04-26 21:12:02       15 阅读