前言
开发中经常会有日志埋点需求, 用于统计接口的请求量、处理速度等等,为此本篇幅从一下几个维度进行分析,从零到有搭建。
技术架构解析
实现日志埋点功能,从字面意思就可以想到功能大致分为两个方向:
1、 埋点功能(logback + 封装通用SDK方法 + 共享文件夹(如果是多台机子部署服务器))
2、 解析日志(解析logback中约定的文件地址 + 逐个文件解析每行(记录状态)
埋点功能
利用原生的logback,配置好xml即可实现日志保存,不需要考虑批量刷盘等问题,而封装好通用的SDK是为了方便后续系统使用 。 共享文件夹是为了后续不同微服务部署在不同机器上时,设置的绝对路径文件地址能被后续定时任务解析到文件。
解析日志
解析日志就是文件记录+文件解析的过程,可以建立两张表。一张记录有哪些文件,这些文件是否被解析过,状态如何,另一张表即日志文件表,保存每一次埋点的数据。解析过程会严格安装之前的目录进行,涉及到服务器名、时间等需要特别留意。
埋点功能实现
logback.xml
前置知识需要用到logback,不懂的配置logback.xml的同学可以看下下面的链接:logback 从入门到精通 超详细配置说明
多的不说,少的不唠,直接贴上logback的配置(这里只贴埋点功能涉及的配置)
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<contextName>front-oms</contextName>
<jmxConfigurator />
<appender name="stdout" class="ch.qos.logback.core.ConsoleAppender">
<layout class="ch.qos.logback.classic.PatternLayout">
<pattern>%date{yyyy-MM-dd HH:mm:ss.SSS} %-5level [%thread] [%X{smy.requestFlowNo}|%X{smy.consumerIp}] %logger{56}.%method\(\):%L - %msg%n</pattern>
</layout>
<filter class="ch.qos.logback.classic.filter.ThresholdFilter">
<level>ALL</level>
</filter>
</appender>
<!--埋点相关配置如下-->
<!--系统编码(填写相应的系统编码)-->
<substitutionProperty name="sys" value="td-b2b-front" />
<appender name="file.biz.log" class="ch.qos.logback.classic.sift.SiftingAppender">
<discriminator class="ch.qos.logback.classic.sift.MDCBasedDiscriminator">
<key>biz.log.file.name</key>
<defaultValue>default</defaultValue>
</discriminator>
<sift>
<appender name="file.biz.info-{biz.log.file.name}" class="ch.qos.logback.core.rolling.RollingFileAppender">
<file>/bizdata/jss/businessdata/monitor/logs/${sys}/${biz.log.file.name}_${datetime}.txt</file>
<rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
<!-- 定义文件滚动时的文件名的格式 -->
<fileNamePattern>/bizdata/jss/businessdata/monitor/logs/${sys}/${biz.log.file.name}_%d{yyyy-MM-dd}.%i.zip</fileNamePattern>
<!-- 日期大小分割 -->
<maxFileSize>20MB</maxFileSize>
<maxHistory>60</maxHistory>
<totalSizeCap>20GB</totalSizeCap>
</rollingPolicy>
<encoder>
<pattern>%date{yyyy-MM-dd HH:mm:ss.SSS}|%-5level|%thread|%X{smy.requestFlowNo}|%X{smy.consumerIp}|%X{class.method.line} - %msg%n
</pattern>
</encoder>
</appender>
</sift>
</appender>
<logger name="biz.log" additivity="false">
<level value="info"/>
<appender-ref ref="file.biz.log" />
</logger>
</configuration>
logback.xml文件主要就干几件事:
1、配置一个<appender>标签 ,确认埋点的日志文件存在什么目录,目录结构是什么样的,有几层目录
2、每个文件的大小多大,如何打包,日志的显示样式如何
3、配置一个<logger> 标签指定我只解析biz.log 名字的,在后面SDK中体现,LoggerFactory.getLogger(“biz.log”)。
注意:
1)<appender>标签中的biz.log.file.name 就是文件名,在后面的SDK通用方法里会存,这里就能读的到
2)目录层级有多少层,后面解析的日志的时候,会从层级里拿sys名字,文件日期等
通用SDK
通用sdk就是如果你有好多个项目要用这个功能,就可以打包成本地仓库,以后maven引一下就可以直接用了
少的不说,多的不唠,这里也直接贴上SDK代码
import org.apache.commons.lang3.StringUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.slf4j.MDC;
/**
* @description 耗时业务日志输出
* @Date 2023/9/10 16:50
**/
public class MonitorBizLog {
private static final Logger bizlogger = LoggerFactory.getLogger("biz.log");
/**
* mdc-key:类名+方法名+行
*/
private final static String CLASS_METHOD_LINE = "class.method.line";
/**
* mdc-key:日志输出文件名
*/
private final static String FILE_NAME = "biz.log.file.name";
private final static String CUR_DATETIME = "datetime";
/**
* DEFAULT :租户,有用到就用,每用到就default
*/
private final static String DEFAULT = "default";
/**
* 获取本机ip
*/
private final static String ethIpAddress = HostUtil.getEthIpAddress();
/**
* 记录业务日志
*
* @param subBizNo 业务码 (必穿)
* @param logUniqueId 日志唯一标识 (必穿)
* @param projectNo 项目号
* @param orderNo 订单号
* @param transField 透传字段
*/
public static void info(String subBizNo, String logUniqueId, String projectNo, String orderNo, String transField) {
try {
String curDate = DateUtil.getCurDate("yyyy-MM-dd");
//获取租户编号,获取不到则默认为default
String fbAccessNo = getFbAccessNo();
if (StringUtils.isEmpty(fbAccessNo)) {
fbAccessNo = DEFAULT;
}
//设置mdc值,供logback.xml使用
//日志输出使用,因日志由此工具类输出,日志输出的“类.方法.行”为本方法,此处获取调用方“类.方法.行”
System.setProperty(CUR_DATETIME, curDate);
MDC.put(CLASS_METHOD_LINE, getCallingClassMethodName());
//日志输出目录:文件名
MDC.put(FILE_NAME, curDate + "/" + fbAccessNo + "_" + ethIpAddress);
//日志打印
bizlogger.info("业务耗时监控|{}|{}|{}|{}|{}", subBizNo, logUniqueId, projectNo, orderNo, transField);
} catch (Exception e) {
bizlogger.info("业务耗时异常 info subBizNo:{} logUniqueId:{} projectNo:{} orderNo:{} transField:{}", subBizNo, logUniqueId, projectNo, orderNo, transField, e);
} finally {
//清空mdc值
MDC.remove(FILE_NAME);
MDC.remove(CLASS_METHOD_LINE);
}
}
/**
* 获取调调用类名+方法+行号
*
* @return 类名+方法+行号
*/
private static String getCallingClassMethodName() {
String name = null;
try {
StackTraceElement[] stackTrace = Thread.currentThread().getStackTrace();
if (stackTrace.length >= 4) {
StackTraceElement caller = stackTrace[3];
name = caller.getClassName() + "." + caller.getMethodName() + ":" + caller.getLineNumber();
}
} catch (Exception e) {
bizlogger.info("业务耗时异常 getCallingClassMethodName", e);
}
return name;
}
}
import java.net.Inet4Address;
import java.net.InetAddress;
import java.net.NetworkInterface;
import java.net.SocketException;
import java.util.Enumeration;
/**
* @Date 2022-5-31 17:51:43
*/
public class HostUtil {
public static void main(String[] args) {
String ethIpAddress = getEthIpAddress();
System.err.println(ethIpAddress);
}
public static String getEthIpAddress() {
try {
// 获取本地主机网络接口列表
Enumeration<NetworkInterface> interfaces = NetworkInterface.getNetworkInterfaces();
// 遍历所有网络接口
while (interfaces.hasMoreElements()) {
NetworkInterface ni = interfaces.nextElement();
// 只处理物理网卡
if (!ni.isVirtual() && !ni.isLoopback() && !ni.isPointToPoint() && ni.isUp()) {
// 获取该接口的所有IP地址
Enumeration<InetAddress> addresses = ni.getInetAddresses();
// 遍历IP地址列表
while (addresses.hasMoreElements()) {
InetAddress addr = addresses.nextElement();
// 只处理IPv4地址 && eth 網卡地址
if (addr instanceof Inet4Address && ni.getName().startsWith("eth")) {
// 输出IP地址和子网掩码
return addr.getHostAddress();
}
}
}
}
} catch (SocketException e) {
e.printStackTrace();
}
return null;
}
}
SDK主要干这几件事
1、确认subBizNo业务号和logUniqueId, 这会在后面生产日志表的时候使用,其他字段都是选填
2、进一步确定日期文件目录和名称, 按照当前配置最终目录:/bizdata/jss/businessdata/monitor/logs/td-b2b-front/2024-04-01/default_192.168.0.1_2024-04-01.txt
3、设置好动态参数,datetime时间、biz.log.file.name文件名、class.method.line调用类名+方法+行号
注意:
这里引入了租户、ip、系统名、日期时间等概念,都应用到了目录命名中,方便后续解析的时候能清楚定位, 如不使用全部设置成defult也行。
解析日志功能实现
大体用到两张表,一张t_log_parse解析日志记录表、t_log_print_detail日志详情表
CREATE TABLE `t_log_parse` (
`id` varchar(50) NOT NULL COMMENT 'id',
`application_name` varchar(50) DEFAULT NULL COMMENT '应用名称',
`ip` varchar(50) NOT NULL COMMENT '所属ip地址',
`file_name` varchar(100) DEFAULT NULL COMMENT '文件名称',
`file_path` varchar(255) DEFAULT NULL COMMENT '文件路径',
`file_line` int(11) DEFAULT NULL COMMENT '文件解析行号',
`status` varchar(50) DEFAULT NULL COMMENT '解析状态 init初始化、progressing解析中、finish解析完成\n',
`create_datetime` datetime(3) DEFAULT CURRENT_TIMESTAMP(3) COMMENT '创建时间',
`update_datetime` datetime(3) DEFAULT CURRENT_TIMESTAMP(3) ON UPDATE CURRENT_TIMESTAMP(3) COMMENT '修改时间',
PRIMARY KEY (`id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 ROW_FORMAT=DYNAMIC COMMENT='解析日志记录表';
CREATE TABLE `t_log_print_detail` (
`id` varchar(50) NOT NULL COMMENT 'id',
`log_record_id` varchar(50) DEFAULT NULL COMMENT '关联解析文件记录id',
`parent_biz_no` varchar(50) DEFAULT NULL COMMENT '父业务码',
`sub_biz_no` varchar(50) DEFAULT NULL COMMENT '子业务码',
`unique_id` varchar(50) DEFAULT NULL COMMENT '日志唯一标识',
`project_no` varchar(50) DEFAULT NULL COMMENT '项目编号',
`order_no` varchar(50) DEFAULT NULL COMMENT '订单编号',
`trans_field` varchar(50) DEFAULT NULL COMMENT '透传字段',
`thread_id` varchar(100) DEFAULT NULL COMMENT '线程id',
`type` varchar(4) NOT NULL DEFAULT '01' COMMENT '01 正常 02 卡件',
`start_time` datetime(3) DEFAULT CURRENT_TIMESTAMP(3) COMMENT '开始时间',
`end_time` datetime(3) DEFAULT NULL COMMENT '完成时间',
`start_datetime` bigint(13) DEFAULT NULL COMMENT '开始时间',
`end_datetime` bigint(13) DEFAULT NULL COMMENT '结束时间',
`create_datetime` datetime(3) DEFAULT CURRENT_TIMESTAMP(3) COMMENT '创建时间',
`update_datetime` datetime(3) DEFAULT CURRENT_TIMESTAMP(3) ON UPDATE CURRENT_TIMESTAMP(3) COMMENT '修改时间',
PRIMARY KEY (`id`) USING BTREE,
KEY `idx_sub_biz_no_unique_id` (`sub_biz_no`,`unique_id`) USING BTREE COMMENT '业务码+日志唯一id',
KEY `idx_sub_biz_no_start_datetime_end_datetime` (`sub_biz_no`,`start_datetime`,`end_datetime`) USING BTREE COMMENT '业务码+开始时间+结束时间'
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 ROW_FORMAT=DYNAMIC COMMENT='耗时日志详情表';
解析日志记录
起个定时调度, 定时扫描先前约定路径,做好日志文件初始化。
前置准备工作:添加好枚举类、常量、文件Util、HostUtil,定时调度自行选择框架,用Spring原生也行。
前置工作
枚举
public enum LogStatusEnum implements LogEnums{
/**
* 解析状态
*/
INIT("INIT", "初始化"),
PROGRESSING("PROGRESSING", "解析中"),
FINISH("FINISH", "解析完成");
private final String code;
private final String msg;
LogStatusEnum(String code, String msg) {
this.code = code;
this.msg = msg;
}
public static LogStatusEnum judgeValue(String code) {
LogStatusEnum dataType = null;
for (LogStatusEnum t : LogStatusEnum.values()) {
if (StringUtils.equals(code, String.valueOf