ELFK的部署

目录

一、ELFK（Filebeat+ELK）

1. Filebeat的作用

2. ELFK工作流程

3. ELFK的部署

3.1 服务器配置

3.2 服务器环境

3.3 安装filebeat

3.4 修改filebeat主配置文件

3.5 在logstash组件所在节点（apache节点）上新建一个logstash配置文件

3.6 浏览器验证

一、ELFK（Filebeat+ELK）

1. Filebeat的作用

由于logstash会大量占用系统的内存资源，一般我们会使用filebeat替换logstash收集日志的功能，组成ELFK架构。 或用fluentd替代logstash组成EFK（elasticsearch/fluentd/kibana），由于fluentd是由Go语言开发的，一般在K8S环境中使用较多。

2. ELFK工作流程

（1）filebeat将日志收集后交由logstash处理

（2）logstash进行过滤、格式化等操作，满足过滤条件的数据将发送给ES

（3）ES对数据进行分片存储，并提供索引功能

（4）kibana对数据进行图形化的web展示，并提供索引接口

3. ELFK的部署

3.1 服务器配置

3.2 服务器环境

filebeat节点

[root@localhost ~]# hostnamectl set-hostname filebeat
[root@localhost ~]# su
[root@filebeat ~]# systemctl stop firewalld
[root@filebeat ~]# systemctl disable firewalld
[root@filebeat ~]# setenforce 0

3.3 安装filebeat

filebeat节点

[root@filebeat ~]# cd /opt
[root@filebeat opt]# rz -E
rz waiting to receive.
[root@filebeat opt]# ls
[root@filebeat opt]# rpm -ivh filebeat-6.6.1-x86_64.rpm 

3.4 修改filebeat主配置文件

filebeat节点

[root@filebeat opt]# cd /usr/local/filebeat/
[root@filebeat filebeat]# cp filebeat.yml filebeat.yml.bak
[root@filebeat filebeat]# vim filebeat.yml
 
filebeat.prospectors:
##21行，指定log类型，从日志文件中读取消息
- type: log
##24行，开启日志收集功能，默认为false
  enabled: true
##28行，指定监控的日志文件
    - /var/log/*.log
##29行，添加收集/var/log/messages
    - /var/log/messages
##31行，添加以下内容，注意格式
  fields: 
    service_name: filebeat
    log_type: log
    service_id: 192.168.80.115
#-------------------------- Elasticsearch output ------------------------------
该区域内容全部注释
#----------------------------- Logstash output --------------------------------
##157行，取消注释
output.logstash:
##159行，取消注释，指定logstash的IP和端口号
  hosts: ["192.168.80.113:5044"]
 
[root@filebeat filebeat]# /usr/bin/filebeat -e -c filebeat.yml
#启动filebeat，-e记录到stderr并禁用syslog /文件输出，-c指定配置文件

3.5 在logstash组件所在节点（apache节点）上新建一个logstash配置文件

[root@apache ~]# cd /etc/logstash/conf.d/
[root@apache conf.d]# vim logstash.conf
 
input {
    beats {
        port => "5044"
    }
}
output {
    elasticsearch {
        hosts => ["192.168.80.111:9200", "192.168.80.112:9200"]
        index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"
    }
    stdout {
        codec => rubydebug
    }
}
 
[root@apache conf.d]# /usr/share/logstash/bin/logstash -f apache_log.conf 

3.6 浏览器验证

浏览器访问http://192.168.80.111看是否生成filebeat索引

浏览器访问http://192.168.80.111:5601登录kibana， 添加“filebeat-*”索引后在“Discover”中查看filebeat日志收集情况。

总结： 

这是一种更加完善和灵活的架构，适合处理复杂的日志数据
在这种模式下，filebeat (beats)负贵收日志文件，并将其发送到ogstash进行处理。logtash可以对日志数据进行更多的过滤、转换和增强的操作 ，并将其发送到Elasticsearch进行索引。kibana则可以用来查看和分析日志数据