Kafka集群架构原理(待完善)

kafka在zookeeper数据结构

controller选举

客户端同时往zookeeper写入, 第一个写入成功(临时节点), 成为leader, 当leader挂掉, 临时节点被移除, 监听机制监听下线,重新竞争leader, 客户端也能监听最新leader

leader partition自平衡

leader不均匀时, 造成某个节点压力过大, 达到阈值时, 会触发自平衡, 均匀分配leader, 默认头节点

partition故障恢复机制

Leo: 每个Partition的最后一个Offset

HW: 一组Partiton中最小的LEO

HW一致性保障

当Leader切换时, 可能产生HW不一致 ,Kafka设计Epoch保证HW一致性

相关推荐

  1. Kafka部署

    2023-12-22 07:52:06       59 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2023-12-22 07:52:06       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2023-12-22 07:52:06       106 阅读
  3. 在Django里面运行非项目文件

    2023-12-22 07:52:06       87 阅读
  4. Python语言-面向对象

    2023-12-22 07:52:06       96 阅读

热门阅读

  1. MongoDB的面试题与答案

    2023-12-22 07:52:06       56 阅读
  2. GBASE南大通用集群负载均衡

    2023-12-22 07:52:06       54 阅读
  3. hive中map相关函数总结

    2023-12-22 07:52:06       72 阅读
  4. unity中Android各版本对应的SDK版本

    2023-12-22 07:52:06       60 阅读
  5. caffe模型的python前向测试

    2023-12-22 07:52:06       71 阅读
  6. [网络安全]用户与组管理

    2023-12-22 07:52:06       62 阅读