kafak知识总结(2)

十九、kafka中segment文件段

在kafka当中,生产者生产数据,是将数据保存到分区里面的segment文件段当中,但是segment文件段是逻辑存在的。

每个segment文件段包含两部分:一个是.log文件;一个是.index文件。

.log文件:里面保存是生产者生产的数据。

.index文件:里面保存的是.log文件当中数据的索引:稀疏索引

二十、kafka查找数据

kafka查找数据采用的是折半查找(二分查找)。

二十一、segment文件段的命名
第一个segment文件段:
-rw-r--r-- 1 root root 10485760 Apr 23 09:41 00000000000000000000.index                                                         
-rw-r--r-- 1 root root    42356 Apr 22 16:33 00000000000000000000.log 
第二个segment文件段:
-rw-r--r-- 1 root root 10485760 Apr 23 09:41 00000000000000000617.index
-rw-r--r-- 1 root root      100 Apr 23 09:42 00000000000000000617.log
第三个segment文件段:
-rw-r--r-- 1 root root 10485760 Apr 23 09:41 00000000000000007617.index
-rw-r--r-- 1 root root      100 Apr 23 09:42 00000000000000007617.log

每个segment文件段默认大小是1G,如果超过1G就会分裂出来第二个segment文件段,以此类推。

第一个segment文件段默认命名是20位0,当分裂以后,就是用当前segment文件段当中.log文件当中第一条数据的偏移量命名。

命名规则:以当前segment文件段当中.log文件当中第一条数据的偏移量命名。

二十二、kafka当中数据的默认保存时长

kafka当中数据的默认保存时长是168个小时=7天。

二十三、ack机制

在kafka当中,生产者生产数据到broker,需要有一个确认机制,这个机制就是ack机制:ack机制一共分为三种:

0:生产者生产数据,不管leader是否保存成功,follower是否同步成功,继续发送下一批数据。

1:生产者生产数据,只要leader保存成功,不管follower是否同步成功,继续发送下一批数据。

-1(all):生产者生产数据,既要保证leader保存成功,也要保证follower同步成功,再发送下一批数据。

二十四、kafka高性能的原因

1、顺序读写磁盘

2、采用pageCache页缓存技术

相关推荐

  1. kafak知识总结2

    2024-04-24 09:04:05       34 阅读
  2. KaFak知识总结(1)

    2024-04-24 09:04:05       33 阅读
  3. vue2知识总结

    2024-04-24 09:04:05       39 阅读
  4. Apache Kafka知识点表格总结

    2024-04-24 09:04:05       29 阅读
  5. Vue3知识总结-2

    2024-04-24 09:04:05       37 阅读
  6. CV 面试指南—深度学习知识总结2

    2024-04-24 09:04:05       76 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-04-24 09:04:05       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-04-24 09:04:05       106 阅读
  3. 在Django里面运行非项目文件

    2024-04-24 09:04:05       87 阅读
  4. Python语言-面向对象

    2024-04-24 09:04:05       96 阅读

热门阅读

  1. 对React-Fiber的理解,它解决了什么问题?

    2024-04-24 09:04:05       37 阅读
  2. 网站安全方案

    2024-04-24 09:04:05       28 阅读
  3. 阿里云域名动态解析

    2024-04-24 09:04:05       32 阅读
  4. 使用python写一个井字棋窗口小游戏

    2024-04-24 09:04:05       34 阅读
  5. 暴力数据结构之单链表专题

    2024-04-24 09:04:05       28 阅读
  6. PostCss 概述

    2024-04-24 09:04:05       35 阅读
  7. 文件分享新风尚,二维码生成器全功能解析

    2024-04-24 09:04:05       41 阅读
  8. 新手入门人工智能:从零开始学习AI的正确途径

    2024-04-24 09:04:05       36 阅读