【kafka-01数据保留时间设置】

kafka正确设置过期时间

背景

某天突然发现我的kafka中group_id消费记录不见了,特地查了下咋回事。众所周知新版本的kafka group_id消费的offset记录已经不存储在zookeeper上了,而是存储在__consumer_offsets 这个kafka内部自己管理的topic中,这个topic有50个分区。 毫无疑问估计是group_id offset存储也应该是有时间过期值的,于是专门查了查。

如何正确配置数据过期时间

需要两个参数结合,且最好配置的时间是一样的,下面是例子

#存储一年
log.retention.hours=8760   ->数据过期时间
offsets.retention.minutes=525600 ->group_id offset的消费位点过期时间。 换算成小时也是一年


相关推荐

  1. kafka-01数据保留时间设置

    2024-01-31 10:10:02       64 阅读
  2. kafka 有几种数据保留的策略?

    2024-01-31 10:10:02       48 阅读
  3. <span style='color:red;'>kafka</span> <span style='color:red;'>01</span>

    kafka 01

    2024-01-31 10:10:02      39 阅读
  4. 数据库】postgressql设置数据库执行超时时间

    2024-01-31 10:10:02       63 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-01-31 10:10:02       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-01-31 10:10:02       106 阅读
  3. 在Django里面运行非项目文件

    2024-01-31 10:10:02       87 阅读
  4. Python语言-面向对象

    2024-01-31 10:10:02       96 阅读

热门阅读

  1. 华为HI模式与华为智选模式的左右互博

    2024-01-31 10:10:02       52 阅读
  2. 洛谷P1540 机器翻译

    2024-01-31 10:10:02       64 阅读
  3. Python学习之路-Django基础:Admin站点

    2024-01-31 10:10:02       46 阅读
  4. Unity UGUI Selectable部分源码浅析

    2024-01-31 10:10:02       49 阅读
  5. oracle rman duplicate创建测试库

    2024-01-31 10:10:02       57 阅读
  6. 机器学习系列-1基础概念

    2024-01-31 10:10:02       51 阅读