私有部署ELK,搭建自己的日志中心(一)-- 概述

一、说在前面的话

任何一家公司的开发和测试环境,都不可避免需要日志中心。
话不多说,我接下来将逐步梳理,如何在公司的研发环境下,搭建一套日志中心。
涉及到的组件有:

  • filebeat
  • kafka
  • logstash
  • elasticsearch
  • kibana
  • kafka ui

以采集jvm日志为示例,采集对象不外乎是以下两种:

  • 虚拟机
  • k8s Pod容器

市面上采集日志的技术层出不穷,但是我以为elk还是比较老牌,也足够稳定。
好处是:运维简单,使用门槛低。

二、文章顺序

1、搭建ELK

分别讲述组件logstash、es、kibana以及filebeat。示意图见下:
在这里插入图片描述

这一块内容是基础,我们为了篇幅不至于过长,把之拆分为多篇:

  • filebeat
  • logstash
  • ElasticSearch / kibana

2、采集部署在k8s容器里的jvm日志

讲述filebeat如何在k8s容器下,采集jvm日志。
于是,我们的方案演变如下:
在这里插入图片描述

3、引入消息中间件Kafka,削峰填谷

在这里插入图片描述
顺便,我们还搭建一个kafka的管理UI工具,以便于清晰地看到日志被采集上来的内容。

至此,我们的日志中心也就搭建完成,完全可以胜任你的生产采集需求。

4、日志中心的总结

最后一篇不出意外是我们本系统文章的总结。

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2023-12-30 04:32:01       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2023-12-30 04:32:01       101 阅读
  3. 在Django里面运行非项目文件

    2023-12-30 04:32:01       82 阅读
  4. Python语言-面向对象

    2023-12-30 04:32:01       91 阅读

热门阅读

  1. 开始学习第四天

    2023-12-30 04:32:01       56 阅读
  2. 【C#】关于委托的使用, eg: {订单系统}

    2023-12-30 04:32:01       50 阅读
  3. MongoDB更新文档

    2023-12-30 04:32:01       63 阅读
  4. Go语言中的包管理工具之Go Modules的使用

    2023-12-30 04:32:01       60 阅读
  5. 【AI】人工智能爆发推进器之知识图谱

    2023-12-30 04:32:01       53 阅读
  6. 组合[中等]

    2023-12-30 04:32:01       51 阅读
  7. k8s的二进制部署master 和 etcd

    2023-12-30 04:32:01       50 阅读
  8. (二)linux使用docker容器运行mysql

    2023-12-30 04:32:01       70 阅读
  9. StarRocks:快速查询的秘密解析

    2023-12-30 04:32:01       57 阅读