Kafka 如何保证高可用?

Kafka 的基本架构组成是:由多个 broker 组成一个集群,每个 broker 是一个节点;当创建一个 topic 时,这个 topic 会被划分为多个 partition,每个 partition 可以存在于不同的 broker 上,每个 partition 只存放一部分数据。

这就是天然的分布式消息队列,就是说一个 topic 的数据,是分散放在多个机器上的,每个机器就放一部分数据

在 Kafka 0.8 版本之前,是没有 HA 机制的,当任何一个 broker 所在节点宕机了,这个 broker 上的 partition 就无法提供读写服务,所以这个版本之前,Kafka 没有什么高可用性可言。

在 Kafka 0.8 以后,提供了 HA 机制,就是 replica 副本机制。每个 partition 上的数据都会同步到其它机器,形成自己的多个 replica 副本。所有 replica 会选举一个 leader 出来,消息的生产者和消费者都跟这个 leader 打交道,其他 replica 作为 follower。写的时候,leader 会负责把数据同步到所有 follower 上去,读的时候就直接读 leader 上的数据即可。Kafka 负责均匀的将一个 partition 的所有 replica 分布在不同的机器上,这样才可以提高容错性。

拥有了 replica 副本机制,如果某个 broker 宕机了,这个 broker 上的 partition 在其他机器上还存在副本。如果这个宕机的 broker 上面有某个 partition 的 leader,那么此时会从其 follower 中重新选举一个新的 leader 出来,这个新的 leader 会继续提供读写服务,这就有达到了所谓的高可用性。

写数据的时候,生产者只将数据写入 leader 节点,leader 会将数据写入本地磁盘,接着其他 follower 会主动从 leader 来拉取数据,follower 同步好数据了,就会发送 ack 给 leaderleader 收到所有 follower 的 ack 之后,就会返回写成功的消息给生产者。

消费数据的时候,消费者只会从 leader 节点去读取消息,但是只有当一个消息已经被所有 follower 都同步成功返回 ack 的时候,这个消息才会被消费者读到。

相关推荐

  1. 如何实现redis的

    2023-12-21 18:08:01       14 阅读
  2. 消息中间件如何实现

    2023-12-21 18:08:01       19 阅读
  3. redis

    2023-12-21 18:08:01       34 阅读

最近更新

  1. TCP协议是安全的吗?

    2023-12-21 18:08:01       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2023-12-21 18:08:01       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2023-12-21 18:08:01       19 阅读
  4. 通过文章id递归查询所有评论(xml)

    2023-12-21 18:08:01       20 阅读

热门阅读

  1. 从入门到放弃之「ClickHouse」

    2023-12-21 18:08:01       48 阅读
  2. Ansible

    Ansible

    2023-12-21 18:08:01      24 阅读
  3. ansible剧本playbook

    2023-12-21 18:08:01       35 阅读
  4. 【力扣100】108.将有序数组转化为二叉搜索树

    2023-12-21 18:08:01       45 阅读
  5. 数据结构的基本概念

    2023-12-21 18:08:01       35 阅读
  6. win10 golang下载安装,及环境变量配置

    2023-12-21 18:08:01       48 阅读
  7. TypeScript常用的内置工具

    2023-12-21 18:08:01       37 阅读
  8. 客户服务常用的ChatGPT通用提示词模板

    2023-12-21 18:08:01       39 阅读
  9. 11、Qt:创建/删除文件夹、拷贝文件

    2023-12-21 18:08:01       31 阅读