论文阅读【时间序列】DSformer

论文阅读【时间序列】DSformer

arxive: DSformer: A Double Sampling Transformer for Multivariate Time Series Long-term Prediction
github: MTST

分类：多变量时间序列（Multivariate time series）

核心观点

多变量时间序列3个维度信息

1. 变量间关联（Variable correlation）：如Fig. 1(a)所示，不同变量具有相似的变化趋势 $\to$ Variable Attention
2. 全局信息（Global information）：如Fig. 1(b)所示，从全局来看，序列显示出一定的周期性 $\to$ Down Sampling
3. 局部信息（Local information）：如Fig. 1©所示，局部信息 $\to$ Piecewise Sampling

个人观点：全局信息更多指周期项，局部信息更多指趋势项

整体框架

N 为变量数，H为输入序列长度，C是切分子序列的数量。
输入序列$X\in R^{N\ast H}$，经过Down sampling得到$X_{ds}\in R^{N\ast C\ast \frac{H}{C}}$，经过Picewise Sampling得到$X_{ps}\in R^{N\ast C\ast \frac{H}{C}}$。
在TVA-block中进行Variable Attention和Temporal Attention。其中Temporal Attention中$Q\in R^{N\ast C\ast \frac{H}{C}}$,$K\in R^{N\ast \frac{H}{C}\ast C}$；Variable Attention中$Q\in R^{\frac{H}{C}\ast C\ast N}$,$K\in R^{\ast \frac{H}{C}\ast N\ast C}$。

Temporal Attention是子序列之间，通过比较同一变量子序列的相似度计算注意力，Variable Attention是不同子序列之间，通过比较同一位置各个变量的相似度计算注意力。

随后，Temporal Attention和Variable Attention输出$X^{\prime }\in R^{N\ast C\ast \frac{H}{C}}$被FFN压缩成$X^{\prime }\in R^{N\ast \frac{H}{C}}$，然后相加。
最后，经过一个TVA-block整理来自不同视角的信息（Down sampling和Picewise Sampling）和MLP得到输出。

采样过程

两种采样方式的区别在于如何将切分后的子序列重新排列。

• Down Sampling: 每隔几个点取一个，用来捕获全局信息
  $X_{ds}^j=[x_j,x_{j+\frac{H}{C}},x_{j+2\ast \frac{H}{C}},...,x_{j+(C-1)\ast \frac{H}{C}}]$
• Piecewise Sampling:
  $X_{ps}^j=[x_{1+(j-1)\ast C},x_{2+(j-1)\ast C},x_{3+(j-1)\ast C},...,x_{j\ast C}]$

TVA block

两种attention的主要区别在于X的维度变化：

• Temporal Attention： $Q\in R^{N\ast C\ast \frac{H}{C}}$, $K\in R^{N\ast \frac{H}{C}\ast C}$
• Variable Attention： $Q\in R^{\frac{H}{C}\ast C\ast N}$, $K\in R^{\frac{H}{C}\ast N\ast C}$