Debezium发布历史105

原文地址： https://debezium.io/blog/2021/05/28/debezium-1-5-2-final-released/

欢迎关注留言，我是收集整理小能手，工具翻译，仅供参考，笔芯笔芯.

Debezium 1.5.2.Final 发布
五月 28, 2021 作者： Jiri Pechanec
发布 mysql postgres sqlserver cassandra oracle db2 vitess 发件箱
让我宣布 Debezium 1.5、1.5.2.Final的错误修复版本！

此版本是使用 Java 8 重建的 1.5.1.Final。

Debezium 1.5.1.Final 是使用 Java 11 错误构建的。这会阻止它在仍然使用 Java 8 的环境中运行。该版本是使用 Java 8 重新构建的。

总体而言，此版本修复了2 个问题。非常感谢所有贡献者！

原文地址： https://debezium.io/blog/2021/06/10/debezium-1-6-beta2-released/

Debezium 1.6.0.Beta2 发布
六月 10, 2021 作者： Gunnar Morling
发布 mysql postgres sqlserver cassandra oracle 发件箱
我很高兴地宣布 Debezium 1.6.0.Beta2发布！

此版本向 Debezium Server 添加了对 Pravega 的支持，扩展了 Debezium Oracle 连接器的快照选项，并跨不同 Debezium 连接器提供了一系列错误修复和其他改进。

Pravega 对 Debezium 服务器的支持
借助Debezium Server，我们的使命是为所有用户提供开源变更数据捕获，无论他们使用哪种数据流平台或提交日志。因此，我们很高兴收到将Pravega支持添加到 Debezium Server 的贡献。Pravega 是一个云原生计算基金会 (CNCF) 沙箱和 Apache 2.0 许可的开源项目，它将自己描述为“连续生成和无限数据的存储抽象”。

Debezium Server Pravega 接收器适配器提供两种模式：非事务性和事务性。非事务模式将 Debezium 批次中的每个事件单独写入 Pravega。事务模式将 Debezium 批次写入 Pravega 事务，该事务在批次完成时提交。

要了解有关将 Debezium 与 Pravega 结合使用的更多信息，请参阅文档。非常感谢德里克·摩尔的出色贡献！

Oracle 快照改进
Oracle 的 Debezium 连接器获得了两项与快照相关的改进：

支持snapshot.include.collection.list选件（DBZ-3062）；这允许仅为连接器捕获的所有表的子集创建初始快照

新选项snapshot.locking.mode可在连接器捕获表架构时提供对锁定行为的控制（DBZ-3557）；特别是，这允许完全禁用锁定，如果您可以保证在连接器获取（架构）快照时不会发生 DDL 更改，这将非常有用

此外，该连接器还修复了多个错误，包括一些与 DDL 和 DML 解析（DBZ-3545、DBZ-3549、DBZ-3554、DBZ-3606）、RAC 安装处理（DBZ-3563、DBZ- 3599），以及更有效地处理 LOB 列（DBZ-3556）。

进一步改进和错误修复
SQL Server 的 Debezium 连接器有两项与性能相关的改进（3486、DBZ-3515）。来自 Postgres 连接器的更改事件的架构现在包含基于源列定义 ( DBZ-2790 ) 的默认值。例如，当从更改事件流派生下游表模式时，这会派上用场。

其他修复包括正确识别 MongoDB 副本集中的主要成员 ( DBZ-3522 )、支持JSONMySQL 连接器的 DDL 解析器 ( DBZ-3559 ) 中的功能，以及将Debezium Quarkus 扩展升级为 Quarkus 2.0 实现发件箱模式（DBZ-3550）。

总的来说，Debezium 1.6.0.Beta2 解决了48 个问题。我们非常感谢所有为此版本做出贡献的社区成员：

阿尼莎·莫汉蒂,周冰琴,鲍勃·罗尔丹,克里斯·科林伍德,克里斯·克兰福德,德里克·摩尔,埃里克·斯莱普,吉尔斯·瓦克斯,古纳尔·莫林,张学友, Jakub Cechacek , Jiri Novotny , Jiri Pechanec ,Kevin Pullin , Patrick Chu , Robert Roldan , Sara Fonseca、谢尔盖·莫罗佐夫、斯特凡·米克洛索维奇和瓦齐姆·拉马年卡！

随着 Beta2 的推出，我们即将进入 1.6 发布周期的稳定阶段。在计划于月底发布的最终版本之前，您可以期待一两个 CR（候选版本），除非出现任何不可预见的复杂情况。除了更多错误修复和文档改进之外，我们还打算升级到 Apache Kafka 2.8，这将使您能够抢先体验将 Debezium 与无 ZooKeeper Kafka 结合使用！

与此同时，我们将制定 Debezium 1.7 的路线图（将于 9 月底发布）。如果您对此版本有特定的功能请求，请通过邮件列表与我们联系！

原文地址： https://debezium.io/blog/2021/06/24/debezium-1-6-cr1-released/

Debezium 1.6.0.CR1 发布
2021 年 6 月 24 日 作者： 克里斯·克兰福德
发布 mysql postgres sqlserver cassandra oracle 发件箱
我很高兴地宣布 Debezium 1.6.0.CR1发布！

此版本添加了针对 SQL Server 的跳过操作优化，引入了对 Oracle 连接器的 Heartbeat 支持，Oracle BLOB/CLOB 支持现在仅供选择加入，并跨不同 Debezium 连接器提供了一系列错误修复和其他改进。

跳过的操作优化 - SQL Server
skipped.operationsDebezium不久前引入了这个概念。此功能允许连接器控制在流传输阶段发出哪些更改事件，可以选择忽略某些更改类型，例如更新或删除。

该skipped.operations功能最初的实现更像是一个 SMT，它是一个过滤器，在事件发出之前应用于 CDC 管道的末端。虽然这很有效，但这里可以实现优化，因为 SQL Server 将更改类型与更改数据一起记录在捕获表中。利用这些知识，对从捕获表获取更改的查询进行了调整，以便根据这些“跳过的操作”预先过滤从 SQL Server 返回的更改。

总体而言，此优化应该会缩短连接器配置为使用时捕获更改的迭代期间所花费的时间，skipped.operations并减少连接器在其生命周期中由于生成较少的稍后丢弃的对象而可能执行的总体垃圾收集。

非常感谢Hossein Torabi发现了这一优化并做出了贡献！

Oracle 连接器的心跳支持
Debezium 支持跨其他连接器的心跳，此功能现在可供 Oracle 使用！

心跳是确保连接器的偏移量与 Kafka 保持同步的关键部分。通常，当我们向主题发出事件时，Kafka Connect 会自动维护偏移量。但在某些情况下，事件发射可能不够频繁，以至于陈旧的偏移量成为一个问题。

无论 Debezium Oracle 连接器部署使用哪个适配器，在某些情况下，连接器可能会看到事件并且更新内存中偏移状态，但由于我们不向 Kafka 发出事件，因此偏移不会同步到卡夫卡连接。一个很好的例子是，连接器可以捕获与数据源中的其他表相比很少更改的表的更改。

为了保证偏移量与 Kafka Connect 保持同步，特别是在捕获活动较低的时期，heartbeat.interval.ms可以将配置选项设置为定期保持偏移量同步。

Oracle BLOB/CLOB 支持现已选择加入
虽然我们在早期的 1.6 预发行版中添加了对 Oracle Debezium 连接器的支持BLOB和CLOB数据类型，但我们相信完全支持这些类型的工作仍在进行中。

连接器在处理 BLOB 和 CLOB 字段时会产生一定的开销。包含这些数据类型的事务需要在提交时执行协调步骤，以将某些事件合并为单个逻辑发出的事件。此外，LOB 数据类型需要一定量的内存占用，以便在构造要发出的事件时将其值保留在内存中。此外，由于数据的大小，用户可能根本不希望发出 LOB 数据。

因此，Oracle 连接器对 LOB 数据类型的支持现在是一项只能选择加入的功能。这意味着 OOTB 连接器不会尝试捕获 LOB 列数据。如果连接器需要捕获 LOB 列，lob.enabled则必须将连接器选项设置为，true以便连接器能够拾取并处理这些列类型。

最后，我们还认为，由于仍在为 BLOB 和 CLOB 支持做出一些持续的努力，因此将 LOB 支持表示为短期孵化是有意义的，直到我们相信解决方案已经成熟为止。我们强烈鼓励想要捕获基于 LOB 的列的用户启用 LOB 支持并对其进行测试并提供任何和所有反馈（无论好坏），以便我们可以继续改进对 LOB 列的支持。

进一步改进和错误修复
Oracle 的 Debezium 连接器还进行了许多小的改进（DBZ-3612、DBZ-3616、DBZ-3619、DBZ-3631）。这些改进主要集中在改进 DDL 解析器以及日志记录。

随着最近发布的 Quarkus 2.0.0.Final，Quarkus Outbox 扩展现在基于 Quarkus 2.0 ( DBZ-3602 )。

总体而言，Debezium 1.6.0.CR1 解决了27 个问题。我们非常感谢所有为此版本做出贡献的社区成员：

Bob Roldan、Camile Sing、Chris Cranford、Derek Moore、Gunnar Morling、Hossein Torabi、Hyunjin Oh、Jakub Cechacek、JapuDCret、Jiri Pechanec和Sergei Morozov！

随着 CR1 的推出，我们 1.6 发布周期的稳定阶段即将结束。在计划于本月底发布的最终版本之前，您可能会期待再发布一个 CR（候选版本），除非出现任何不可预见的并发症。除了更多错误修复和文档改进之外，我们还打算升级到 Apache Kafka 2.8，这将使您能够抢先体验将 Debezium 与无 ZooKeeper Kafka 结合使用！

与此同时，我们将制定 Debezium 1.7 的路线图（将于 9 月底发布）。如果您对此版本有特定的功能请求，请通过邮件列表与我们联系！

原文地址： https://debezium.io/blog/2021/06/30/debezium-1-6-final-released/

Debezium 1.6.0.Final 发布
2021 年 6 月 30 日 作者： 克里斯·克兰福德
发布 mysql postgres sqlserver cassandra oracle db2 vitess 发件箱
我很高兴地宣布 Debezium 1.6.0.Final发布！

此版本包含大量新功能，包括对增量快照的支持，可以使用新的Signal API进行切换。基于 Netflix 工程师 Andreas Andreakis 和 Ioannis Papapanagiotou 撰写的优秀论文《DBLog：基于水印的变更数据捕获框架》，增量快照的概念解决了 Debezium 社区中反复出现的有关快照的几个要求：

连接器重新启动后能够恢复正在进行的快照

在流式传输期间重新快照选定的表，例如通过特定表的更改事件重新引导 Kafka 主题

更改过滤器配置后新添加到捕获表列表中的快照表

在初始快照运行时开始流式传输更改

增量快照是 Debezium 1.6 中的一项孵化功能，我们期待您对此功能的反馈。要了解有关此功能的更多信息，请参阅各个连接器文档，例如 Debezium MySQL 连接器。该领域已经有一些后续改进，例如使用 MySQL GTID来设置此快照方法所需的高/低水位线，这将避免连接器对数据库进行写访问的需要。您可以期待这些改进将在即将推出的 1.7 预览版本之一中推出。

除了增量快照之外，Debezium 1.6 中的其他新功能还包括两个全新的Debezium Server接收器，一个用于 Apache Kafka，另一个用于Pravega，以及针对 Oracle 的 Debezium 连接器的几项显着增强，其中包括对 DDL 架构更改做出反应和一个可选的选项。中，正在孵化发出数据类型BLOB和CLOB列数据类型的功能。此外，还对社区主导的Vitess和Apache Cassandra连接器进行了改进，以及广泛的错误修复和其他较小的改进。我们还将用于实现发件箱模式的Debezium Quarkus 扩展升级到 Quarkus 2.0。

在所有 1.6 预览版和最终版本中，总共解决了188 个问题。

有关更多详细信息，请参阅1.6.0 Alpha1、Beta1、Beta2和CR1版本的早期公告。

自 CR1 发布以来，我们主要关注文档改进和一些错误修复。但最后一刻还添加了一项功能，它允许您为 Oracle 连接器指定归档日志位置 ( DBZ-3661 )。

请参阅Debezium 1.6.0.Final 的发行说明，了解已解决问题的完整列表以及从早期版本升级的过程。

一如既往，非常感谢社区中所有为该版本提供帮助的成员，无论是通过代码贡献、错误报告、测试、提供见解和专业知识等。向社区中为 Debezium 做出贡献的以下个人表示敬意1.6，使Debezium 核心存储库的贡献者总数达到 277 个：

阿尼莎·莫汉蒂、周冰琴、鲍勃·罗尔丹、卡米尔·辛、曹孟达、克里斯·科林伍德、德里克·摩尔、埃里克·斯莱普、吉尔斯·瓦克斯、侯赛因·托拉比、吴贤真、Jakub Cechacek、JapuDCret、Jiri Novotny、Kevin Pullin、Mike、Olivier Jacquemart、朱帕特里克、罗伯特·罗尔丹、萨拉·丰塞卡、谢尔盖·莫罗佐夫、SiuFay、Stefan Miklosovic、Teo Stocco、Thomas Aregger和Vadzim Ramanenka！

外表
与往常一样，Debezium 将遵循正常的季度发布节奏，计划在 9 月底发布 Debezium 1.7。我们打算在此版本中解决几个关键问题，包括使用 MongoDB 和 Oracle 连接器支持增量快照。此外，我们计划为 Oracle 连接器基于 LogMiner 的实现探索一些新的缓冲选项，开发用于压缩大型模式历史主题的工具，扩展Debezium UI的功能集等等。

在接下来的几周内，请密切关注我们的路线图，因为我们将在为 Debezium 1.7 做准备时对其进行完善。如果您对路线图和未来版本有任何特定的功能请求或其他意见，请通过邮件列表告知我们！