kafka除了作为消息队列还能做什么?

Kafka 最初是为大规模处理日志而构建的。它可以保留消息直到过期,并让各个消费者按照自己的节奏提取消息。 与其之前的竞品不同,Kafka 不仅仅是一个消息队列,它还是一个适用于各种情况的开源事件流平台。 让我们回顾一下流行的 Kafka 用例。

01 日志处理和分析

上图显示了一个典型的 ELK(Elastic-Logstash-Kibana)栈。Kafka 从每个服务实例高效地收集日志流。ElasticSearch 从 Kafka 中获取日志并编制索引。Kibana 在 ElasticSearch 的基础上提供搜索和可视化用户界面。

02 推荐系统中的数据流

亚马逊等电子商务网站利用用户过去的行为和相似用户分析来计算产品推荐。Kafka 传输原始点击流数据,Flink 对其进行处理,而模型训练则消耗数据湖中的汇总数据。这样就能不断改进针对每个用户的推荐相关性。

03 系统监控和警报

与日志分析系统类似,我们需要收集系统指标来进行监控和故障排除。不同的是,指标是结构化数据,而日志是非结构化文本。指标数据被发送到 Kafka 并在 Flink 中聚合。实时监控仪表板和警报系统(如 PagerDuty)将使用汇总的数据。

04 CDC(Change Data Capture)

CDC 将数据库的变更传输到其他系统,以便复制或更新缓存/索引。例如,在下图中,事务日志被发送到 Kafka,并被 ElasticSearch、Redis 和二级数据库摄取。

05 系统迁移

升级旧服务是一项具有挑战性的任务,比如编程语言陈旧、逻辑复杂、缺乏测试等等。我们可以利用消息中间件来降低风险。如上图所示,为了升级订单服务,我们更新了旧订单服务,以便从 Kafka 中消费输入,并将结果写入 ORDER Topic。新订单服务消耗相同的输入,并将结果写入 ORDERNEW Topic。对账服务会比较 ORDER 和 ORDERNEW 下收到的内容。如果它们完全相同,新服务就会通过测试。

相关推荐

  1. 谈谈 Redis 除了作缓存之外什么

    2024-01-12 17:18:03       52 阅读
  2. 消息队列Kafka

    2024-01-12 17:18:03       47 阅读
  3. 消息队列Kafka

    2024-01-12 17:18:03       60 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-01-12 17:18:03       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-01-12 17:18:03       100 阅读
  3. 在Django里面运行非项目文件

    2024-01-12 17:18:03       82 阅读
  4. Python语言-面向对象

    2024-01-12 17:18:03       91 阅读

热门阅读

  1. 基于Redis的对象状态数据管理模块-后端开发

    2024-01-12 17:18:03       55 阅读
  2. kafka topic分区数设定

    2024-01-12 17:18:03       61 阅读
  3. 面试题目1

    2024-01-12 17:18:03       51 阅读
  4. 关于python变量的作用域,你了解多少?

    2024-01-12 17:18:03       58 阅读
  5. vue项目使用typescript创建抽象类及其使用

    2024-01-12 17:18:03       60 阅读
  6. 前端moa gif json显示动画

    2024-01-12 17:18:03       52 阅读
  7. 面试 React 框架八股文十问十答第五期

    2024-01-12 17:18:03       55 阅读
  8. 【Linux】ubantu学习笔记

    2024-01-12 17:18:03       60 阅读
  9. 做亚马逊怎么选品?

    2024-01-12 17:18:03       63 阅读
  10. 【嵌入式——QT】QAbstractTableModel继承

    2024-01-12 17:18:03       60 阅读
  11. React---函数组件的常用hook

    2024-01-12 17:18:03       64 阅读
  12. Linux实用命令

    2024-01-12 17:18:03       49 阅读
  13. springboot整合jasypt对yml配置文件密码加密

    2024-01-12 17:18:03       63 阅读
  14. c++ 凯撒密码

    2024-01-12 17:18:03       39 阅读