Kafka系列之:Exactly-once support

Kafka Connect 能够为接收器连接器(从版本 0.11.0 开始)和源连接器(从版本 3.3.0 开始)提供一次性语义。请注意,对一次语义的支持高度依赖于您运行的连接器类型。即使您在集群中每个节点的配置中设置了所有正确的工作线程属性,如果连接器未设计为或无法利用 Kafka Connect 框架的功能,则可能无法实现精确一次。

一、Sink connectors

如果接收器连接器支持精确一次语义,要在 Connect 工作线程级别启用精确一次,您必须确保其使用者组配置为忽略中止事务中的记录。您可以通过将工作线程属性consumer.isolation.level设置为read_commissed来完成此操作。

或者如果运行支持它的Kafka Connect版本,则使用允许设置consumer.override.isolation.level属性的连接器在各个连接器配置中读取已提交。没有额外的 ACL 要求。

相关推荐

  1. Kafka系列Exactly-once support

    2024-03-24 18:24:02       18 阅读
  2. Kafka系列Kafka Connect REST API

    2024-03-24 18:24:02       18 阅读
  3. 记录kafka-flink-kafka的end-to-end的exactly-once语义

    2024-03-24 18:24:02       14 阅读
  4. Flink系列:Upsert Kafka SQL 连接器

    2024-03-24 18:24:02       34 阅读
  5. Flink系列:Apache Kafka SQL 连接器

    2024-03-24 18:24:02       25 阅读
  6. Kafka系列:Connect 中的错误报告

    2024-03-24 18:24:02       22 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-03-24 18:24:02       16 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-03-24 18:24:02       16 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-03-24 18:24:02       15 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-03-24 18:24:02       18 阅读

热门阅读

  1. 海量数据处理和提高系统的并发能力的一些方案

    2024-03-24 18:24:02       22 阅读
  2. 如何在ubuntu 18.04中升级python 3.6到3.7

    2024-03-24 18:24:02       20 阅读
  3. CCSK-云计算安全基础知识认证

    2024-03-24 18:24:02       20 阅读
  4. OpenCV中如何进行模板匹配?

    2024-03-24 18:24:02       20 阅读
  5. 解释C语言中的函数及其参数传递方式

    2024-03-24 18:24:02       23 阅读
  6. 深入理解PHP+Redis实现分布式锁的相关问题

    2024-03-24 18:24:02       18 阅读
  7. 樊登读书-《终生成长》【视频笔记 +个人思考】

    2024-03-24 18:24:02       16 阅读
  8. Postman使用json进行接口关联

    2024-03-24 18:24:02       19 阅读
  9. vue前端面试题

    2024-03-24 18:24:02       15 阅读
  10. 1010: 【C1】【循环】求平均年龄

    2024-03-24 18:24:02       21 阅读
  11. 页面中异步请求的数据,python爬虫能爬到吗

    2024-03-24 18:24:02       19 阅读
  12. Android 带html标签文本添加自定义超链接跳转

    2024-03-24 18:24:02       17 阅读
  13. 关于个人定位的问题

    2024-03-24 18:24:02       16 阅读
  14. 如何在MySQL中实现基于时间点的恢复?

    2024-03-24 18:24:02       16 阅读