Doris 日志分析案例

Doris 日志分析案例

前面我们介绍了Doris在日志分析中的应用,和 Doris 数据集成 Kafka,今天我们来看一个具体的案例,因为日志数据往往都是写到kafka 或者,是通过日志收集工具收集到kafka 中的。

所以我们如果想要使用Doris进行日志分析的话,那我们需要做的一件事情,就是同步数据到Doris,这也就是我们前面介绍的功能 Doris 数据集成 Kafka,只不过我们上一节只是创建了一个测试的topic 和表,这一节我们看一个真实的案例。

配置日志写到Kafka

公司目前日志的现状是,日志通过Logstash写到ES ,然后通过Kibana进行分析,这里我们要做的其实很简单,就是在Logstash 的配置文件中,增加一个outpu 即可,我们先让ELK 的这套架构存在着,后面不要的时候,直接删除对应的outpu即可。

这里我们先创建一个kafka 的topic,因为数据很快就同步到doris 了,所以这里我们直接就一个副本,当然如果你想要安全,可以创建三副本,因为我们这里的日志没那么重要,所以我也不怕它丢失

kafka-topics.sh --c

相关推荐

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-04-30 07:52:01       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-04-30 07:52:01       101 阅读
  3. 在Django里面运行非项目文件

    2024-04-30 07:52:01       82 阅读
  4. Python语言-面向对象

    2024-04-30 07:52:01       91 阅读

热门阅读

  1. iOS获取通讯录的方法

    2024-04-30 07:52:01       32 阅读
  2. CSS进阶

    CSS进阶

    2024-04-30 07:52:01      33 阅读
  3. GaussianTalker 学习笔记

    2024-04-30 07:52:01       34 阅读
  4. docker学习笔记1:什么是docker

    2024-04-30 07:52:01       30 阅读
  5. Android 学习 鸿蒙HarmonyOS 4.0 第六章(TS中的函数)

    2024-04-30 07:52:01       43 阅读
  6. 如何实现瀑布流排列方式

    2024-04-30 07:52:01       36 阅读
  7. 零知识证明与同态加密:隐私计算的双剑

    2024-04-30 07:52:01       39 阅读
  8. firefox 浏览器常见问题(技巧)总结

    2024-04-30 07:52:01       31 阅读
  9. conda的一些问题

    2024-04-30 07:52:01       32 阅读