AWS云上面的k8s统一日志收集(Fluent Bit+EKS+CW)

目标

k8s上面的常见的统一日志方案是EFK,具体如下:

  • E:elasticsearch;
  • F:fluentd;
  • K:kibana
    这里我们变成了使用fluentd的AWS替代品Fluent Bit,直接将日志输出到CloudWatch组。不需要E和K了。不过,这样仅仅用于AWS EKS。

步骤

给EC2 IAM角色CloudWatchAgentServerPolicy权限

给支撑运行EKS的EC2上面的IAM角色添加CloudWatchAgentServerPolicy策略。这里的角色名是AmazonEKSNodeRole。

创建amazon-cloudwatch命名空间

kubectl apply -f https://raw.githubusercontent.com/aws-samples/amazon-cloudwatch-container-insights/latest/k8s-deployment-manifest-templates/deployment-mode/daemonset/container-insights-monitoring/cloudwatch-namespace.yaml

创建cluster-info的ConfigMap

ClusterName=cluster-name
RegionName=cluster-region
FluentBitHttpPort='2020'
FluentBitReadFromHead='Off'
[[ ${FluentBitReadFromHead} = 'On' ]] && FluentBitReadFromTail='Off'|| FluentBitReadFromTail='On'
[[ -z ${FluentBitHttpPort} ]] && FluentBitHttpServer='Off' || FluentBitHttpServer='On'
kubectl create configmap fluent-bit-cluster-info \
--from-literal=cluster.name=${ClusterName} \
--from-literal=http.server=${FluentBitHttpServer} \
--from-literal=http.port=${FluentBitHttpPort} \
--from-literal=read.head=${FluentBitReadFromHead} \
--from-literal=read.tail=${FluentBitReadFromTail} \
--from-literal=logs.region=${RegionName} -n amazon-cloudwatch

其中,cluster-name表示集群名称;cluster-region表示云区。

创建fluent bit的daemonset

kubectl apply -f https://raw.githubusercontent.com/aws-samples/amazon-cloudwatch-container-insights/latest/k8s-deployment-manifest-templates/deployment-mode/daemonset/container-insights-monitoring/fluent-bit/fluent-bit.yaml

验证部署

kubectl get pods -n amazon-cloudwatch

应该能够查询出fluent-bit-*开头的pod,就表示部署fluent bit成功。然后,跑到CloudWatch页面看看是否存在/aws/containerinsights/*开头的相关日志组:
fluent bit日志组
具体的SpringBoot服务的日志,在这个日志组下面:

/aws/containerinsights/uat/application

总结

这就是在AWS云上的k8s统一日志方案。和EFK方案很类似了。对业务服务SVC也是无侵入式的。

参考

相关推荐

  1. K8S 工具收集

    2024-03-16 05:32:05       59 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-03-16 05:32:05       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-03-16 05:32:05       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-03-16 05:32:05       18 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-03-16 05:32:05       20 阅读

热门阅读

  1. k8s中 容器、pod服务、svc服务 这几个的区别

    2024-03-16 05:32:05       17 阅读
  2. k8s admin 用户生成token

    2024-03-16 05:32:05       19 阅读
  3. 安装k8s集群

    2024-03-16 05:32:05       18 阅读
  4. 24计算机考研调剂 | 太原科技大学

    2024-03-16 05:32:05       21 阅读
  5. 【MySQL】mysqladmin、mysqlshow、mysqlcheck都是干嘛的?

    2024-03-16 05:32:05       21 阅读
  6. 【CSS】前端开发中的常见CSS样式问题解决方案

    2024-03-16 05:32:05       20 阅读
  7. 【构建工具】PostCSS快速配置

    2024-03-16 05:32:05       20 阅读
  8. HTML-DAY1

    2024-03-16 05:32:05       16 阅读
  9. C++(1): std::vector的使用

    2024-03-16 05:32:05       21 阅读