Kafka日志

位置

server.properties配置文件中通过log.dir指定日志存储目录

log.dir/{topic}-{partition}

核心文件

.log

存储消息的日志文件,固定大小为1G,写满后会新增一个文件,文件名表示当前日志文件记录的第一条消息的偏移量。

.index

以偏移量为索引来记录对应的.log日志文件中的消息偏移量

.timeindex

以时间戳为索引来记录对应的.log日志文件中的消息偏移量

partition.metadata

记录当前Partition所属的cluster和Topic

leader-epoch-checkpoint
和epoch机制相关

index和timeindex加速读取log消息日志

index和timeindex都是以相对偏移量的方式建立log消息日志的数据索引。比如 0000.index和0550.index中记录的索引数字,都是从0开始的。表示相对日志文件起点的消息偏移量。而绝对的消息偏移量可以通过日志文件名 + 相对偏移量得到。

这两个索引并不是对每一条消息都建立索引。而是Broker每写入40KB的数据,就建立一条index索
引。

Kafka的消费者通过这两个索引能够指定从某一个offset或者某一个时间点读取消息。

相关推荐

  1. logstash接收kafka

    2023-12-24 08:54:03       31 阅读
  2. kafka-client如何打印连接

    2023-12-24 08:54:03       30 阅读
  3. 日常开发

    2023-12-24 08:54:03       60 阅读
  4. ELK的

    2023-12-24 08:54:03       61 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2023-12-24 08:54:03       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2023-12-24 08:54:03       106 阅读
  3. 在Django里面运行非项目文件

    2023-12-24 08:54:03       87 阅读
  4. Python语言-面向对象

    2023-12-24 08:54:03       96 阅读

热门阅读

  1. API 接口怎样设计才安全?

    2023-12-24 08:54:03       66 阅读
  2. 装箱和拆箱(js的问题)

    2023-12-24 08:54:03       55 阅读
  3. nginx单域名配置访问多vue项目(vue3 + vite4)

    2023-12-24 08:54:03       57 阅读
  4. 前端基础vue路由懒加载

    2023-12-24 08:54:03       51 阅读
  5. Ubuntu2204配置samba

    2023-12-24 08:54:03       75 阅读
  6. (五)Python 垃圾回收机制

    2023-12-24 08:54:03       50 阅读
  7. servlet+thymeleaf改良版

    2023-12-24 08:54:03       62 阅读
  8. 一款C++编写的数据可视化库Matplot++

    2023-12-24 08:54:03       64 阅读
  9. 微信小程序 上列表拉加载下拉刷新

    2023-12-24 08:54:03       63 阅读