Filebeat rpm方式安装及配置

一、使用服务器root用户、filebeat8.11.1版本,rpm安装方式进行安装

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.11.1-x86_64.rpm

sudo rpm -vi filebeat-8.11.1-x86_64.rpm

二、配置核心的采集文件、使用inputs热更方式、配置filebeat本身日志

1、filebeat配置文件在目录  

cd  /etc/filebeat/

2、创建inputs.d目录并修改权限

mkdir inputs.d
chmod 755 inputs.d

3、写入核心正常采集文件  

vim filebeat-normal.yml
chmod 644 filebeat-normal.yml

YAML
- type: filestream
  enabled: true
  #采集的路径、可写多个-,并且可以应用不同的配置
  id: log-normal
  tags: ["normal"]
  paths:
    #正式采集目录
    - /data/log/*.log
  #设置要采集的日志文件时效,10天之内才采集,主要考虑的是补数的数据时间是否有效能被采集
  ignore_older: 72h  
  #当前正在采集的文件多久未更新就关闭连接
  close.on_state_change.inactive: 3m
  #close_eof: true 补数用,扫描完直接关闭
  #超过80h后,就清除偏移量记录文件中的冗余内容。很适合文件数很多场景
  clean_inactive: 75h
  #一次采集打开的文件数量,结合实际文件数量来设置,限制了filebeat的内存使用
  #排除当前目录可能存在的一些压缩包,以防万一
  prospector.scanner.exclude_files: ['\.gz$','\.txt']
  #与close_removed配套,文件移除采集目录后,就会从元数据目录清除
  clean_removed: true
  # 扫描一次目录下所有文件,默认10s
  prospector.scanner.check_interval: 30s

4、写入这台机器可能异常补数的采集文件

vim filebeat-fix.yml.bak
chmod 644 filebeat-fix.yml.bak

相关推荐

  1. Filebeat rpm方式安装配置

    2024-03-15 13:46:04       46 阅读
  2. DockerCompose安装mysql配置

    2024-03-15 13:46:04       61 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-03-15 13:46:04       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-03-15 13:46:04       106 阅读
  3. 在Django里面运行非项目文件

    2024-03-15 13:46:04       87 阅读
  4. Python语言-面向对象

    2024-03-15 13:46:04       96 阅读

热门阅读

  1. ESP32 域名解析得到IP地址

    2024-03-15 13:46:04       45 阅读
  2. 蓝桥杯2023年-三国游戏(贪心)

    2024-03-15 13:46:04       47 阅读
  3. 面试中如何介绍mysql的B+树

    2024-03-15 13:46:04       38 阅读
  4. 计算机视觉(CV)技术的优势和挑战

    2024-03-15 13:46:04       41 阅读
  5. C++ 4种类型转换运算符

    2024-03-15 13:46:04       46 阅读
  6. python的单例模式实现

    2024-03-15 13:46:04       38 阅读
  7. UE5 C++ TPS开发 学习记录(10

    2024-03-15 13:46:04       37 阅读
  8. EXEC sp_executesql 与 EXEC 的区别、使用场景和例子

    2024-03-15 13:46:04       45 阅读
  9. Android垃圾回收机制

    2024-03-15 13:46:04       42 阅读
  10. Unity3D MMORPG角色的UI血条管理详解

    2024-03-15 13:46:04       46 阅读