基于变量间注意机制的Transformer多元时间序列异常检测

图片

论文地址:https://www.sciencedirect.com/science/article/abs/pii/S0950705124001424

论文源码:无

期刊:Knowledge-Based Systems

图片

图片

多变量时间序列异常检测的主要目标是在不同传感器和系统同时编译的时间序列数据中发现与规则模式的偏差。这种方法可以在不同的行业中找到应用,帮助完成系统维护任务。由于多元时间序列中变量之间的相互联系和相互影响,同时捕获变量之间的时间依赖性和相关性具有挑战性。

在本文中,提出了一种独特的方法——可变时间Transformer(VTT),它利用Transformer的自关注机制来有效地理解变量之间的时间依赖性和关系。该模型通过使用时间自注意来模拟时间依赖性,使用变量自注意来模拟变量相关性来进行异常检测。在发现传统时间序列异常检测方法在使用点调整协议评估度量后,使用了最近引入的评估度量。提出的方法通过这个新指标展示了尖端的性能。此外,提出了一个异常解释模块来阐明异常数据,使用合成和实际工业数据进行验证。

图片

图片

VTT模型的架构设计基于Transformer网络,它引入了一个新颖的自注意力机制,专门用于处理多变量时间序列数据。VTT的核心思想是通过两种自注意力模块——时间自注意力(Temporal self-attention)和变量自注意力(Variable self-attention)来分别捕捉时间序列的时间依赖性和变量间的相关性。

为了有效地处理时间序列数据,VTT首先通过一个嵌入层(Embedding Layer)将时间序列数据转换成适合模型处理的格式。该嵌入层使用扩张因果卷积(Dilated Causal Convolution)技术来保留变量信息,并允许模型利用多分辨率的信息。

在进行嵌入和编码后,模型利用变量时间注意力机制来同时处理时间依赖性和变量间的关系。这一机制通过交替使用时间自注意力模块和变量自注意力模块,有效地整合了时间和变量间的信息。

模型的输出通过一个前馈网络(Feed-forward Network)进行数据的重建。通过比较输入数据和重建数据之间的差异,VTT可以计算异常评分,评分较高的数据点被认为是异常的。

VTT还引入了一个异常解释模块,该模块通过比较正常数据和异常数据的注意力图来提供对异常原因的见解。这一功能使得VTT不仅能够检测异常,还能在一定程度上解释异常发生的原因。

图片

图片

图片

本文提出了一种基于变压器模型的多变量时间序列异常检测方法,命名为变量时间变换器(Variable Temporal Transformer, VTT),特别强调了通过结合时间自注意力和变量自注意力机制来捕捉时间序列数据中的时间依赖性和变量间的相关性。VTT模型主要包括两个变体:VTT-SAT(串行注意力机制)和VTT-PAT(并行注意力机制),分别采用串行和并行的方式处理时间和变量间的关系,以适应不同的数据特征和异常检测需求。

VTT模型的核心贡献包括:引入了一种新颖的自注意力机制,有效整合了时间依赖性和变量间相关性的分析,提高了多变量时间序列异常检测的准确性和效率。通过扩张因果卷积层进行数据嵌入,保留了变量信息并利用了多分辨率信息,增强了模型对时间序列数据的处理能力。设计了异常解释模块,不仅能检测出异常,还能在一定程度上解释异常发生的原因,提高了异常检测的可解释性。

实验结果显示,VTT在多个真实世界数据集上展现出了优越的性能,尤其是在异常检测的准确性和模型解释能力方面。通过与现有的异常检测方法进行比较,VTT展现了其在处理复杂多变量时间序列数据方面的先进性和实用性。

总的来说,本文成功地提出并验证了一种创新的多变量时间序列异常检测框架,为未来的时间序列分析和异常检测研究提供了新的视角和工具。

论文下载地址:

链接:https://pan.baidu.com/s/19vw0ZoVirnGEFcDSdv1Nqw 
提取码:1msi 
--来自百度网盘超级会员V6的分享

最近更新

  1. TCP协议是安全的吗?

    2024-04-13 02:48:01       16 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-04-13 02:48:01       16 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-04-13 02:48:01       15 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-04-13 02:48:01       18 阅读

热门阅读

  1. C++类引用的好处

    2024-04-13 02:48:01       15 阅读
  2. 详解QUuid类的使用

    2024-04-13 02:48:01       12 阅读
  3. std命名空间是C++标准库的命名空间

    2024-04-13 02:48:01       14 阅读
  4. 前端面试题(2)

    2024-04-13 02:48:01       11 阅读
  5. ccf201712-2游戏

    2024-04-13 02:48:01       12 阅读
  6. 替换服务器的SSL证书有什么影响?

    2024-04-13 02:48:01       11 阅读
  7. 数据库迁移平台构思001

    2024-04-13 02:48:01       11 阅读
  8. 自回归模型

    2024-04-13 02:48:01       12 阅读