【kafka】关于Kafka的入门介绍

为什么要使用kafka?kafka是什么东西?

案例场景

A服务向B服务发送消息,A服务传输数据很快,B服务处理数据很慢,这样B服务就会承受不住,怎么办?通过添加消息队列作为缓冲。kafka就是消息队列中的其中一种。其他的还有比如rocketMQ。

第一种方式:在B服务的内存添加队列,用于存储A服务快速发送而来的信息。

缺点:在B服务重启的时候,内存中所有消息将会丢失。

因此,我们将队列从内存中挪出来,成为一个单独的进程,这样,即使B服务重启的时候,队列里堆积的消息也不会丢失。

此时,我们称

产生消息的服务A为生产者;

接收消息的服务B为消费者;

优化消息队列?

1. 高性能:

方式:增加消费者,增加生产者,提高了消息队列的吞吐量。

缺点:争夺同一个消息队列,等待。

解决:

  • 添加topic,不同消费者消费不同topic的消息

在这里插入图片描述

  • 同一个topic里面消息还是很多,就分区,降低消费者争抢的可能性。

    在这里插入图片描述

高扩展性:partition分在不同的机器上,一台机器就成为一个broker。多机器来缓解机器CPU压力

在这里插入图片描述

高可用:万一其中一个机器(broker)挂了?怎么办?

因此,需要做备份。如果 Leader partition 挂了,那么就会 有Flower Partition来做备份。

在这里插入图片描述

持久化和过期策略:如果都挂了呢,因此需要将数据同步在磁盘中,到那时磁盘又不是无限的,因此也需要进行定时的清理。每个partition内部写入磁盘都是顺序写入的,因此效率很高,但是不同的partition之间在磁盘的写入并不是顺序写入的。

相关推荐

  1. Kafka介绍

    2024-06-07 17:58:02       52 阅读
  2. kafka入门

    2024-06-07 17:58:02       30 阅读
  3. 关于Kafka17个问题

    2024-06-07 17:58:02       21 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-06-07 17:58:02       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-06-07 17:58:02       100 阅读
  3. 在Django里面运行非项目文件

    2024-06-07 17:58:02       82 阅读
  4. Python语言-面向对象

    2024-06-07 17:58:02       91 阅读

热门阅读

  1. sklearn.pipeline的用法介绍

    2024-06-07 17:58:02       24 阅读
  2. Eclipse语言编程:深入探索与实战应用

    2024-06-07 17:58:02       34 阅读
  3. 网络安全(补充)

    2024-06-07 17:58:02       31 阅读
  4. SystemVerilog测试框架示例

    2024-06-07 17:58:02       26 阅读
  5. Jtti:linux云主机重启网络服务报错如何解决

    2024-06-07 17:58:02       26 阅读
  6. windows 安装pnpm

    2024-06-07 17:58:02       30 阅读
  7. 测绘航空摄影乙级资质变更申请流程

    2024-06-07 17:58:02       27 阅读