运动想象 (MI) 迁移学习系列 (13) : DS-KTL

论文地址：https://www.frontiersin.org/journals/neuroscience/articles/10.3389/fnins.2023.1274320/full
论文题目：Dual selections based knowledge transfer learning for cross-subject motor imagery EEG classification
论文代码：无

0. 引言

为了解决受试者之间的样本差异这个问题，基于领域适应的跨学科场景得到了广泛的研究。然而，现有的方法经常会遇到目标域中冗余特征和伪标签预测不正确等问题。为了实现高性能的跨学科MI-EEG分类，本文提出了一种名为基于双选的知识迁移学习（DS-KTL）的新方法。DS-KTL 从源域中选择两个判别特征，并从目标域中校正伪标签。DS-KTL方法首先对样本进行质心对齐，然后采用黎曼切线空间特征进行特征自适应。在特征适应过程中，通过正则化执行对偶选择，从而增强迭代期间的分类性能。

1. 主要贡献

1. 在特征适应过程中，对源域和目标域都引入了流形嵌入空间特征选择和具有增量置信度的伪标签选择两个步骤，从而在跨受试者MI-EEG分类中表现出色。
2. 在流形正则化特征适应框架中引入了双重选择，进一步减小了主体间的分布差异，并自动正则化异常特征维度和伪标签。
3. 所提方法不存在维度爆炸问题，在实际应用中可以调整流形嵌入空间特征的维度。同时，在各种基准数据集上进行了大量实验，验证了所提方法的有效性。

2. 提出的方法

所提出的DS-KTL方法的流程图。

算法详情：

3. DS-KTL

3.1 质心对齐和RTS特征提取

质心对齐（CA）的详细内容介绍可以参考这里：运动想象 (MI) 迁移学习系列 (10) : 数据对齐（CA）

通常，我们从对齐的 MI-EEG 样本中提取空间特征，以便后续的特征适应。CSP 和 RTS 是两个常用的空间要素。由于CSP是一种监督方法，其维数受通道数的影响，因此我们选择使用RTS功能进行以下功能适配。RTS 特征形式上将黎曼 SPD 矩阵 $M_i$ 投影到黎曼 SPD $M$ 周围的切空间上，并得到欧几里得切向量空间向量，可以表示为：

其中，$upper$ 表示上三角部分提取算子，用于获取欧几里得切线空间向量。

3.2 流形嵌入式空间特征选择

冗余特征的存在会阻碍特征适应过程。因此，在特征适应之前，我们建议使用监督流形嵌入式特征选择（MEFS）方法为以下特征适应选择判别特征。该方法旨在构建原始特征空间的线性变换以近似低维嵌入特征空间。由于标记的样本来自源域，因此我们利用这些样本进行特征选择，并为目标域中的未标记样本选择相同的特征维度。

假定上一步提取得到的空间向量为 $f_i$, 通过变换特征向量 $v$ 得到了低维嵌入投影 $p$, MEFS方法的目的便是学习线性变换 $fv->p$。
为了确保监督过程，应将标签作为正则化项合并到投影中。此外，拉普拉斯正则化项 $Tr(p^{T}Lp)$ 用于保留流形上嵌入特征的结构性质。为了在线性近似内进行特征选择，引入了 $l_{2,1}$ 范数来自动选择低维流形嵌入中的代表性特征。最终，MEFS的目标可以表述为：

具体的参数介绍如下所示：

3.3 联合概率分布适应

为了促进源域和目标域之间所选RTS特征的适应，开始了联合概率分布适应，该适应被广泛用于MI-EEG信号背景下的特征适应。JPDA方法源自TCA和JDA，它证实了适应过程中的类内可转移性和可区分性。对于选定的RTS功能，在适应的过程中应考虑跨域的可转移性和跨类的可区分性， 用公式描述如下所示：

其中 λ 是两项之间的权衡参数。

3.4 特征适应的正则化

公式 14 的 JPDA 方法是剥夺正则化，这将导致特征适应过程中的过拟合。继 MEKT （Zhang and Wu， 2020b） 和 JGSA （Zhang et al.， 2017） 的正则化之后，我们还为特征适配添加了三个正则化。

1. 源域的可区分性
2. 目标域的本地保留
3. 变换向量的正则化

3.5伪标签选择特征适配

MI-EEG 样本的非线性和非平稳特性通常会导致分类器在早期迭代期间在源域上训练的初始错误伪标签预测。此问题会显著影响功能适配过程。以前的研究研究表明，在特征适应过程中，从高质量样本到低质量样本的逐步预测伪标记比直接预测目标域所有样本的伪标记产生更好的结果。因此，为了保证特征适应的迭代过程的良好性能，我们采用了选择性的伪标记策略。该策略涉及在迭代过程中有选择地预测目标域样本的伪标签。随着分类器置信度的增加，越来越多的目标域样本被正确预测。

4. 总结

到此，使用 DS-KTL 已经介绍完毕了！！！ 如果有什么疑问欢迎在评论区提出，对于共性问题可能会后续添加到文章介绍中。

如果觉得这篇文章对你有用，记得点赞、收藏并分享给你的小伙伴们哦😄。

欢迎来稿

欢迎投稿合作，投稿请遵循科学严谨、内容清晰明了的原则！！！！ 有意者可以后台私信！！