ELK日志系统和Filebeat采集器的学习总结

ELK是ElasticSerach、Logstash、Kina

Logstash负责采集数据，Logstash有三个插件，input、filter、output，filter插件作用是对采集的数据进行处理，过滤的，因此filter插件可以选，可以不用配置。

ElasticSearch负责存储数据和检索数据。

Kina负责展示数据。

这三个补充配置样例：

ELK案例实战_elk实战-CSDN博客文章浏览阅读275次。paths:fields:启动服务。_elk实战https://blog.csdn.net/xiaolong1155/article/details/131838649

一个常见的部署方案，如下图所示，部署思路是：
（1）在每台生成日志文件的机器上，部署Logstash，作为Shipper的角色，负责从日志文件中提取数据，但是不做任何处理，直接将数据输出到Redis队列(list)中；
（2）需要一台机器部署Logstash，作为Indexer的角色，负责从Redis中取出数据，对数据进行格式化和相关处理后，输出到Elasticsearch中存储；
（3）部署Elasticsearch集群，当然取决于你的数据量了，数据量小的话可以使用单台服务，如果做集群的话，最好是有3个以上节点，同时还需要部署相关的监控插件；
（4）部署Kibana服务，提供Web服务。

在前期部署阶段，主要工作是Logstash节点和Elasticsearch集群的部署，而在后期使用阶段，主要工作就是Elasticsearch集群的监控和使用Kibana来检索、分析日志数据了，当然也可以直接编写程序来消费Elasticsearch中的数据。

在上面的部署方案中，我们将Logstash分为Shipper和Indexer两种角色来完成不同的工作，中间通过Redis做数据管道，为什么要这样做？为什么不是直接在每台机器上使用Logstash提取数据、处理、存入Elasticsearch？

首先，采用这样的架构部署，有三点优势：第一，降低对日志所在机器的影响，这些机器上一般都部署着反向代理或应用服务，本身负载就很重了，所以尽可能的在这些机器上少做事；第二，如果有很多台机器需要做日志收集，那么让每台机器都向Elasticsearch持续写入数据，必然会对Elasticsearch造成压力，因此需要对数据进行缓冲，同时，这样的缓冲也可以一定程度的保护数据不丢失；第三，将日志数据的格式化与处理放到Indexer中统一做，可以在一处修改代码、部署，避免需要到多台机器上去修改配置。

其次，我们需要做的是将数据放入一个消息队列中进行缓冲，所以Redis只是其中一个选择，也可以是RabbitMQ、Kafka等等，在实际生产中，Redis与Kafka用的比较多。由于Redis集群一般都是通过key来做分片，无法对list类型做集群，在数据量大的时候必然不合适了，而Kafka天生就是分布式的消息队列系统。

基本思路是：在服务器上装logstash（这个是filebeat也有的）,这个logstash只配置input和output，采集数据，往kakfa中写，然后在部署一个logstash读取kafka的数据进行处理，然后往ElasticSearch中写数据。然后用Kibana读取ElasticSearch中的数据进行展示。

也有的思路是这样的：

在web服务器上面安装耗费资源较小的filebeat，然后配置filebeat文件，通过filebeat将日志文件，推送到logstash，经过logstash收集分析，存放到es中，在通过kibana展现出来。
因为logstash是及其耗费服务器资源的，所以在每台需要收集信息的服务器上面安装logstash是及其耗费资源，因此安装filebeat。

参考资料：https://www.cnblogs.com/WUXIAOCHANG/p/11024092.html

Logstash 基础-CSDN博客文章浏览阅读139次。2019独角兽企业重金招聘Python工程师标准>>> ..._logstash index => "%{[@metadata][index]}https://blog.csdn.net/weixin_34353714/article/details/92043156

LogStash日志收集系统调研(二)---LogStash Shipper&Indexer-CSDN博客文章浏览阅读295次。LogStash自身没有什么角色，只是根据不同的功能、不同的配置给出不同的称呼而已。 Shipper主要是安装在需要收集的日志服务器上，其input为实际的日志源，output一般来说都是redis(你要是不想用redis做缓存也可以用其他的)Indexer则是单独部署(可以集群)，其input是redis(shipper的output)，output则是elasticSearch搜..._logstash shipperhttps://blog.csdn.net/xiajingsong/article/details/84620836

Logstash原理介绍及应用-CSDN博客文章浏览阅读2.2w次，点赞12次，收藏104次。目录1、Logstash安装2、Logstash原理2.1 输入、过滤器和输出2.2 采集各种样式、大小和来源的数据2.3 实时解析和转换数据2.4 导出数据3、 LogStash入门使用3.1 Input插件4、Logstash高级使用4.1 jdbc插件4.2 syslog插件4.3 filter插件4.4 Output插件logstash是一种分布式日志收集框架，开发语言是JRuby，当然是为了与Java平台对接，不过与Ruby语法兼容良好._logstashhttps://blog.csdn.net/huxiang19851114/article/details/113397796

Logstash学习记录--logstash input output filter 插件总结_logstash filter overwrite-CSDN博客文章浏览阅读6.3k次，点赞2次，收藏3次。https://www.elastic.co/guide/en/logstash/current/index.html一：什么是Logstash1. logstash 是什么？Logstash 是有管道输送能力的开源数据收集引擎。它可以动态地从分散的数据源收集数据，并且标准化数据输送到你选择的目的地。它是一款日志而不仅限于日志的搜集处理框架，将分散多样的数据搜集自定义处理并_logstash filter overwritehttps://blog.csdn.net/chenxun_2010/article/details/78606183

Logstash核心组件与工作流程介绍_logstash组件-CSDN博客文章浏览阅读1k次，点赞42次，收藏27次。本文深入探讨了Logstash作为日志处理工具的核心组件及其工作流程。Logstash作为Elastic Stack的重要组成部分，以其强大的日志收集、处理和转发能力，广泛应用于各类企业的日志管理系统中。首先，文章介绍了Logstash的三大核心组件：输入（Input）、过滤（Filter）和输出（Output）。输入组件负责从各种数据源实时接收数据，过滤组件对数据进行格式化、过滤和简单的处理操作，而输出组件则负责将数据同步到目标位置。接着，文章详细阐述了Logstash的工作流程。首先，通过输入插_logstash组件https://blog.csdn.net/weixin_53269650/article/details/138958372

filebeat的总结：

为什么要用Filebeat？
当面对成百上千、甚至成千上万的服务器、虚拟机和容器生成的日志时，Filebeat可以提供一种轻量型方法，用于转发和汇总日志与文件，关于Filebeat的记住以下两点：

轻量级日志采集器
输送至ElasticSearch或者Logstash，在Kibana中实现可视化
架构
用于监控、收集服务器日志文件.

流程如下：

首先是input(input是filebeat的新版本，老版本的filebeat用prospector)输入，可以指定多个数据输入源，然后通过通配符进行日志文件的匹配
匹配到日志后，就会使用Harvester（收割机），将日志源源不断的读取到来
然后收割机收割到的日志，就传递到Spooler（卷轴），然后卷轴就在将他们传到对应的地方。

input和prospector负责管理harvester，并找到所有要读取的文件来源。

filebeat.inputs 与 filebeat.prospectors区别
Filebeat 从 7.x 版本开始引入了新的配置方式 filebeat.inputs，以提供更灵活的输入配置选项，同时保留了向后兼容性。以下是 filebeat.inputs 和 filebeat.prospectors 之间的主要区别：

filebeat.inputs：

filebeat.inputs 是较新版本的配置方式，用于定义输入配置。

允许您以更灵活的方式配置不同类型的输入。您可以在配置文件中定义多个独立的输入块，每个块用于配置不同类型的输入。

每个输入块可以包含多个字段，用于定制不同输入类型的配置，如 type、enabled、paths、multiline 等。

使配置更具可读性，因为每个输入类型都有自己的配置块。

参考资料：

Filebeat详细介绍，下载和启动，日志读取和模块设置等-CSDN博客文章浏览阅读7.7k次，点赞2次，收藏27次。Filebeat是一个轻量级的日志采集器当我们的元数据没办法支撑我们的业务时，我们还可以自定义添加一些字段tags: [ "web" , "test" ] #添加自定义tag，便于后续的处理 fields: #添加自定义字段 from: web-testfields_under_root: true #true为添加到根节点，false为添加到子节点中 setup.template.settings:添加完成后，重启 filebeat然后添加新的数据到 test.log中。_filebeathttps://blog.csdn.net/qq_52589631/article/details/131216188 轻量级的日志采集组件 Filebeat_filebeat 采集的日志类型有那些-CSDN博客文章浏览阅读390次。Filebeat是一个轻量级的日志数据收集工具，属于Elastic公司的Elastic Stack（ELK Stack）生态系统的一部分。它的主要功能是从各种来源收集日志数据，将数据发送到Elasticsearch、Logstash或其他目标，以便进行搜索、分析和可视化。轻量级：Filebeat是一个轻量级的代理，对系统资源的消耗非常低。它设计用于高性能和低延迟，可以在各种环境中运行，包括服务器、容器和虚拟机。多源收集。_filebeat 采集的日志类型有那些https://blog.csdn.net/ststcheung/article/details/133381507

Filebeat和Logstash是用于收集、过滤和传输日志数据的工具，它们的主要区别如下：

功能定位：Filebeat是一个轻量级的日志收集器，主要用于从文件中读取日志行并将其传输到其他地方，如Elasticsearch或Logstash。Logstash是一个功能强大的数据处理管道，可以从多种来源接收数据，并进行复杂的转换和过滤，然后将数据发送到许多不同的目标。
处理能力：虽然Filebeat可以对日志进行基本的解析和过滤，但是它的处理能力相对较弱。相比之下，Logstash提供了更多的过滤插件和处理选项，可以进行更复杂的数据转换和处理操作。
资源消耗：由于其轻量级的设计，Filebeat占用的系统资源较少，适用于在较小的环境中部署。而Logstash由于其更强大的功能和灵活性，需要更多的系统资源来运行，适用于大规模的日志处理任务。
插件生态系统：Logstash有一个庞大的插件生态系统，可以方便地扩展其功能和支持更多的数据源和目标。Filebeat的插件生态系统相对较小，主要集中在输出插件方面。

总的来说，Filebeat适用于简单的日志收集和传输任务，而Logstash适用于更复杂的数据处理和转换任务。选择使用哪个工具应根据实际需求和系统资源的可用性来决定。