Kafka系列之:Connect 中的错误报告

Kafka系列之:Connect 中的错误报告

Kafka Connect 提供错误报告来处理各个处理阶段遇到的错误。默认情况下,转换期间或转换中遇到的任何错误都会导致连接器失败。每个连接器配置还可以通过跳过此类错误、选择性地将每个错误以及失败操作的详细信息和有问题的记录(具有各种详细级别)写入 Connect 应用程序日志来容忍此类错误。当接收器连接器处理从其 Kafka 主题消耗的消息时,这些机制还会捕获错误,并且所有错误都可以写入可配置的“死信队列”(DLQ) Kafka 主题。

要将连接器的转换器、转换或接收器连接器本身内的错误报告到日志,请在连接器配置中设置errors.log.enable=true 以记录每个错误和问题记录的主题、分区和偏移量的详细信息。出于其他调试目的,请设置errors.log.include.messages=true,以将问题记录键、值和标头也记录到日志中(请注意,这可能会记录敏感信息)。

要将连接器的转换器、转换或接收器连接器本身内的错误报告给死信队列主题,请设置errors.deadletterqueue.topic.name,并可选设置errors.deadletterqueue.context.headers.enable=true。

默认情况下,连接器在错误或异常时立即表现出“失败快速”行为。这相当于将以下配置属性及其默认属性添加到连接器配置:

# disable retries on failure
errors.retry.timeout

相关推荐

  1. Kafka系列Connect 错误报告

    2024-03-24 13:50:02       22 阅读
  2. Kafka系列Kafka Connect REST API

    2024-03-24 13:50:02       18 阅读
  3. kafka connect

    2024-03-24 13:50:02       18 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-03-24 13:50:02       16 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-03-24 13:50:02       16 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-03-24 13:50:02       15 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-03-24 13:50:02       18 阅读

热门阅读

  1. 【MySQL】覆盖索引

    2024-03-24 13:50:02       19 阅读
  2. 【LeetCode-394.字符串解码】

    2024-03-24 13:50:02       16 阅读
  3. 24.3.24 《CLR via C#》 笔记10

    2024-03-24 13:50:02       13 阅读
  4. 优化 - 数据结构

    2024-03-24 13:50:02       18 阅读
  5. 100268. 最长公共后缀查询(字典树查询)

    2024-03-24 13:50:02       16 阅读
  6. 重新了解一下之前的單對象變化問題

    2024-03-24 13:50:02       16 阅读
  7. Bom,事件对象

    2024-03-24 13:50:02       18 阅读
  8. extern c 和extern c++

    2024-03-24 13:50:02       16 阅读
  9. cookie、session和token的区别

    2024-03-24 13:50:02       21 阅读
  10. 读《舞!舞!舞!》有感

    2024-03-24 13:50:02       19 阅读