ELK之Filebeat安装配置及日志抓取

在这里插入图片描述

一、Filebeat是什么

轻量型日志采集器
无论您是从安全设备、云、容器、主机还是 OT 进行数据收集,Filebeat 都将为您提供一种轻量型方法,用于转发和汇总日志与文件,让简单的事情不再繁杂。
Filebeat 随附可观测性和安全数据源模块,这些模块简化了常见格式的日志的收集、解析和可视化过程,只需一条命令即可。之所以能实现这一点,是因为它将自动默认路径(因操作系统而异)与 Elasticsearch 采集节点管道的定义和 Kibana 仪表板组合在一起。不仅如此,Filebeat 的一些模块还随附了预配置的 Machine Learning 作业。

Filebeat工作的流程图如下:
在这里插入图片描述

二、Filebeat 下载&安装

2.1 下载&安装

Filebeat下载地址:https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.17.4-linux-x86_64.tar.gz
下载后,解压tar -zxvf filebeat-7.17.4-linux-x86_64.tar.gz

[root@nb002 tools]# ls
elasticsearch-7.17.4-x86_64.rpm   logstash-7.17.4-linux-x86_64.tar.gz
filebeat-7.17.4-linux-x86_64.tar.gz  kibana-7.17.4-linux-x86_64.tar.gz
[root@nb002 tools]# tar -zxvf filebeat-7.17.4-linux-x86_64.tar.gz 
filebeat-7.17.4-linux-x86_64/filebeat.reference.yml
filebeat-7.17.4-linux-x86_64/filebeat.yml
filebeat-7.17.4-linux-x86_64/LICENSE.txt
filebeat-7.17.4-linux-x86_64/.build_hash.txt
filebeat-7.17.4-linux-x86_64/module/
filebeat-7.17.4-linux-x86_64/module/activemq/
filebeat-7.17.4-linux-x86_64/module/activemq/audit/
filebeat-7.17.4-linux-x86_64/module/activemq/audit/config/
……………省略一堆balabala…………………
filebeat-7.17.4-linux-x86_64/kibana/7/visualization/number-of-kafka-stracktraces-by-class-ecs.json
filebeat-7.17.4-linux-x86_64/filebeat
filebeat-7.17.4-linux-x86_64/NOTICE.txt
filebeat-7.17.4-linux-x86_64/fields.yml

解压后,目录如下:

[root@nb002 filebeat-7.17.4]# ll
总用量 136408
-rw-r--r--  1 root root   3780088 519 00:46 fields.yml
-rwxr-xr-x  1 root root 133695232 519 00:51 filebeat
-rw-r--r--  1 root root    170451 519 00:46 filebeat.reference.yml
-rw-------  1 root root      8348 519 00:46 filebeat.yml
drwxr-xr-x  3 root root        15 519 00:46 kibana
-rw-r--r--  1 root root     13675 518 23:28 LICENSE.txt
drwxr-xr-x 76 root root      4096 519 00:46 module
drwxr-xr-x  2 root root      4096 519 00:46 modules.d
-rw-r--r--  1 root root   1987715 518 23:28 NOTICE.txt
-rw-r--r--  1 root root       814 519 00:51 README.md

2.2 service方式启动

vim /usr/lib/systemd/system/filebeat.service :也就是在/usr/lib/systemd/system/下新建filebeat.service输入以下内容:
注意ExecStart的路径哈。

[Unit]
Description=Filebeat sends log files to Logstash or directly to Elasticsearch
Wants=network-online.target
After=network-online.target

[Service]
ExecStart=/data/filebeat-7.17.4/filebeat -c /data/filebeat-7.17.4/filebeat.yml
Restart=always

[Install]
WantedBy=multi-user.target

启动方式为:

systemctl daemon-reload
systemctl start filebeat

三、Filebeat 实时读取一个日志文件,输出到屏幕

3.1 修改filebeat的配置文件filebeat.yml

filebeat.inputs:
- type: filestream
  id: nginx-access-log
  enabled: true
  paths:
  # 表示去/tmp下读取所有.log文件
    - /tmp/*.log

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
  
setup.template.settings:
  index.number_of_shards: 1
  
# output to console
output

相关推荐

最近更新

  1. tensorflow学习笔记(二)

    2024-01-18 01:06:02       0 阅读
  2. Typescript【网址取ID传入后端API】

    2024-01-18 01:06:02       0 阅读
  3. mongodb-数据备份和恢复

    2024-01-18 01:06:02       0 阅读
  4. 《C++20设计模式》中单例模式

    2024-01-18 01:06:02       1 阅读
  5. 数字孪生技术在智能家居中的应用

    2024-01-18 01:06:02       1 阅读
  6. 单例模式的多种实现方式及其在框架中的使用

    2024-01-18 01:06:02       1 阅读
  7. 一、Prometheus和Grafana搭建

    2024-01-18 01:06:02       1 阅读

热门阅读

  1. QT基础篇(7)QT5图形视图框架

    2024-01-18 01:06:02       35 阅读
  2. 力扣909. 蛇梯棋

    2024-01-18 01:06:02       39 阅读
  3. 【学习笔记】[AGC063E] Child to Parent

    2024-01-18 01:06:02       31 阅读
  4. CSS基础

    CSS基础

    2024-01-18 01:06:02      26 阅读
  5. 第三章 计算机网络技术基础——教案(附PPT)

    2024-01-18 01:06:02       32 阅读
  6. Python: network:sip: pyVoIP;sip测试工具

    2024-01-18 01:06:02       35 阅读
  7. Python:list列表与tuple元组的区别

    2024-01-18 01:06:02       35 阅读
  8. 阿里云大数据ACA及ACP复习题(121~140)

    2024-01-18 01:06:02       32 阅读