Docker专题-03 Log-Driver日志转存

Docker专题教程

• 本教程由羞涩梦整理同步发布，本人技术分享站点：blog.hukanfa.com

• 转发本文请备注原文链接，本文内容整理日期：2024-03-19

• csdn 博客名称：五维空间-影子，欢迎关注

• 说明

  • 容器运行后，可以通过docker logs -f imageId 命令方式实时查看容器运行日志
  • 如果容器内的主应用是java程序，可以通过tee命令将日志转存到文件同时不影响控制台日志输出

  java -jar xxx.jar  | tee /logs/app.log
  

  • 如果容器内应用程序已经自定义日志生成路径，此时只要挂载出来即可
  • 除了以上方式存储日志外，还可以通过下面的方法将容器日志集中保存，方便集中管理、限制日志大小及后续告警

1.3.1 log-driver 介绍

• 说明

  • json-file是docker默认使用的日志驱动插件，默认情况下运行中的容器日志存放在如下目录

  # 默认的日志路径
  /var/lib/docker/containers/容器ID/容器ID-json.log
  

  

  • 当然docker-log-driver也提供了多套现成的日志驱动插件

  # 常用的日志驱动插件如下
  local  json-file  syslog  gelf  fluentd  loki
  

• 提示

  • 日志的销毁是随着容器而销毁，stop容器不会导致日志销毁，rm容器后日志才跟随其一并移除
  • 只有重启容器或启动构建新的容器才会走新的日志驱动
  • 配置生效后不会在目录/var/lib/docker/containers/容器ID/生成新的日志文件，日志会走日志驱动插件的存储流程
  • 使用命令docker logs还是会将容器日志打印出来

1.3.2 log-driver 配置

• 操作如下

  • 全局配置

  # 可以通过修改配置，限制单个日志文件大小及保留的日志份数
  vim /etc/docker/daemon.json
  ...
    "log-driver": "json-file",
    "log-opts": {
    "max-size": "100m",
    "max-file": "3"
    },
  ...
  

  • 单容器运行设置

  docker run --log-driver json-file --log-opt max-size=10m alpine echo hello world
  

  • docker-compose 方式运行设置

  # 将控制台标准及错误输出上传到远程机集中保存，当然可以对rsyslog配置更细致的分类存储规则，这里不细讲
  version: '3'
  services:
    superset:
      image: superset:diy-v1.8
      container_name: superset
      hostname: superset
      restart: always
      ports:
        - 8080:8088
      environment:
        - TZ=Asia/Shanghai
        - SUPERSET_SECRET_KEY=oCghysSLvk2BSa9bPEOz6avKzjLHYkedO6ztCZ/sv5j3pwuIg63wVLeY
      volumes:
        - ./logs:/app/superset_home
      logging:
        driver: "syslog"
        options:
          syslog-address: "tcp://192.168.26.22:514"
          tag: "superset"  # 给日志打上标识，这样在远程机上查看日志时就知道是哪个服务的日志了
  

  

  • 附上rsyslog 配置/etc/rsyslog.conf，进供参考

  ### 打开一下注释，允许通过 tcp 和 udp 协议进行传输
  module(load="imudp") # needs to be done just once
  input(type="imudp" port="514")
  module(load="imtcp") # needs to be done just once
  input(type="imtcp" port="514")
  ### 新增以下两项
  # 定义远程日志存储的模板，这里按照远程主机ip地址进行日志分类存储
  # /data/nfsShare/192.168.26.21/192.168.26.21_2024-03-18.log
  $template Remote,"/data/nfsShare/%fromhost-ip%/%fromhost-ip%_%$YEAR%-%$MONTH%-%$DAY%.log"
  # 这是一条匹配规则，只有符合规则的远程IP或主机名称才会应用上面定义的模板。否则存到默认路径 /var/log/message
  :fromhost-ip, isequal, "192.168.26.21" ?Remote
  :fromhost-ip, isequal, "vpc-hukanfa-01" ?Remote
  

  • 配置完需重启 rsyslog 服务

  # 一般linux操作系统都默认安装了这个服务
  systemctl restart rsyslog