Debezium日常分享系列之:Debezium2.7版本PostgreSQL数据库连接器
Debezium PostgreSQL 连接器捕获 PostgreSQL 数据库架构中的行级更改。
第一次连接到 PostgreSQL 服务器或集群时,连接器会拍摄所有架构的一致快照。该快照完成后,连接器会持续捕获插入、更新和删除数据库内容以及提交到 PostgreSQL 数据库的行级更改。连接器生成数据更改事件记录并将其流式传输到 Kafka 主题。对于每个表,默认行为是连接器将所有生成的事件流式传输到该表的单独 Kafka 主题。应用程序和服务使用该主题的数据更改事件记录。
一、概述
PostgreSQL 的逻辑解码功能是在 9.4 版本中引入的。它是一种机制,允许提取提交到事务日志的更改,并借助输出插件以用户友好的方式处理这些更改。输出插件使客户端能够使用更改。
PostgreSQL 连接器包含两个主要部分,它们协同工作来读取和处理数据库更改:
- 逻辑解码输出插件。您可能需要安装您选择使用的输出插件。在运行 PostgreSQL 服务器之前,您必须配置使用所选输出插件的复制槽。该插件可以是以下之一:
- Decoderbufs 基于 Protobuf,由 Debezium 社区维护。
- pgoutput 是 PostgreSQL 10+ 中的标准逻辑解码输出插件。它由 PostgreSQL 社区维护,并由 PostgreSQL 本身用于逻辑复制。该插件始终存在,因此无需安装其他库。 Debezium 连接器将原始复制事件流直接解释为更改事件。
- Java 代码(实际的 Kafka Connect 连接器)读取所选逻辑解码输出插件产生的更改。它通过 PostgreSQL JDBC 驱动程序使用 PostgreSQL 的流复制协议
连接器为捕获的每个行级插入、更新和删除操作生成一个更改事件,