STNDT官方代码库：https://github.com/trungle93/STNDT
OpenReview：https://openreview.net/forum?id=iUOUnyS6uTf
目标：
SpatioTemporal Neural Data Transformer (STNDT) 基于NDT的架构，显式地建模群体中单个神经元跨时间和空间的响应，以揭示其潜在的放电率。
方法：
建模：基于多头注意力机制分别对神经元放电率特征矩阵 [T, N] 的时间维度 T 和神经元（空间）维度 N 进行时空注意力提取，二者相乘得到最终的隐藏状态：
Loss：
假设脉冲计数为一个非齐次泊松过程 P ( λ ( t , n ) )的样本，其中 λ ( t , n)是神经元n在t时刻的真实放电率，然后使用BERT的掩码重建目标对输入进行随机掩码，然后最小化重构对数发放率，使泊松负对数似然最小化：
由于在神经科学实验中经常发现的刻板行为中，具有相同条件的trials应该产生相似的输出放电率曲线。因此，为了增强模型预测对神经放电变异性的鲁棒性，进一步通过一个对比损失来约束模型的放电率输出，使得相同trial的不同输入更接近，而远离其他trial的输入：
其中 sim( u , v) 是两个预测u和v在两个不同的输入x上的余弦相似度。
整个模型框架是一个无监督的可适应多模态任务的潜变量模型，旨在得到更真实有效的潜在放电率特征，以提高下游任务的性能
结果：
- 在部分指标特别是衡量潜变量模型泛化性（训练过程未见到的神经元活动的能力）的指标如 Co-smoothing (co-bps)，Forward prediction (fp-bps) 上达到SOTA：
- 空间注意力机制识别了驱动种群动态的重要神经元子集：
- 空间注意显示，在早期层，群体中只有一小部分神经元被所有神经元一致地注意到。随着模型向更深的层次发展，空间注意力趋于分散。值得注意的是，在不同的实验中，大量参与的神经元的子集保持相对一致，这表明这些神经元可能在驱动群体对行为任务的反应中起着至关重要的作用：
- 当降低STNDT识别的重要神经元的放电活动，并让一个预训练的NDT对结果输入进行推断时，观察到了同样的性能恶化。这一发现表明，只有STNDT能够识别的重要神经元的影响可能潜在地推广到其他潜变量模型，如果没有这些神经元的输入，一些潜变量模型可能无法发挥最佳功能：
- 空间注意显示，在早期层，群体中只有一小部分神经元被所有神经元一致地注意到。随着模型向更深的层次发展，空间注意力趋于分散。值得注意的是，在不同的实验中，大量参与的神经元的子集保持相对一致，这表明这些神经元可能在驱动群体对行为任务的反应中起着至关重要的作用：
结论：
- STNDT，一种基于NDT的新架构，它显式地学习种群中个体神经元之间的共变以及种群脉冲活动的瞬时演化，以推断高度可变的单试次脉冲串背后的潜在发射率。通过结合空间和时间维度的自注意力以及对比损失，STNDT增强了NDT对跨越各种任务和脑区的动力学建模的能力，最明显的是对看不见的神经元( co-bps )的活动进行了准确的预测。STNDT对co - bps的贡献是空间注意力成功的直接体现。
- STNDT特有的新颖的空间注意机制带来了有价值的可解释性，因为它发现了有影响力的神经元子集，这些神经元的活动包含了关于整个神经群体反应的显著信息，如果没有这些信息，一些潜变量模型可能无法最佳地发挥作用。
STNDT官方代码库：https://github.com/trungle93/STNDT
OpenReview：https://openreview.net/forum?id=iUOUnyS6uTf
第三届智能机械与人机交互技术学术会议（IHCIT 2024，7月27）：相关博文
2024年应用计算智能、信息学与大数据国际会议（ACIIBD 2024，7月26-28）：相关博文
第三届金融创新、金融科技与信息技术国际学术会议（FFIT 2024，7月26-28）：相关博文
2024年云计算与大数据国际学术会议（ICCBD 2024，7月26-28)：相关博文
第六届电子与通信，网络与计算机技术国际学术会议（ECNCT 2024，7月19-21）：相关博文
2024年第四届人工智能、自动化与高性能计算国际会议（AIAHPC 2024，7月19-21）：相关博文
第五届智能计算与人机交互国际研讨会（ICHCI 2024, 9/27-29）：相关博文
2024年生物医药和智能技术国际学术会议（ICBIT 2024，8月23-25）：相关博文
第三届图像处理、目标检测与跟踪国际学术会议（IPODT 2024，8月9-11）：相关博文
第五届大数据与社会科学国际学术会议（ICBDSS 2024，8月16-18）：相关博文
2024计算建模与应用数学国际学术会议暨中俄微分方程及其应用学术会议（CMAM 2024 & DEA，8月2-4）：相关博文
2024年虚拟现实、图像和信号处理国际学术会议（ICVISP 2024，8月2日-4）：相关博文
第13届亚洲膜计算会议（ACMC2024）暨 2024年机器学习、模式识别与自动化工程国际学术会议(MLPRAE 2024，8月7日-9)：相关博文
2024年图像处理、智能控制与计算机工程国际学术会议（IPICE 2024，8月9-11）：相关博文
2024年智能感知与模式识别国际学术会议（ISPC 2024，9月6日-8）：相关博文
2024算法、高性能计算与人工智能国际学术会议（AHPCAI 2024，8月14-16）：相关博文
2024云计算、性能计算与深度学习国际学术会议(CCPCDL 2024，8月14-16)：相关博文
2024年大数据与数字化管理国际学术会议 (ICBDDM 2024，8月16-18)：相关博文
2024年数据管理与计算机科学国际学术会议 ICDMCS 2024, 8月16-18：相关博文
第四届互联网金融与数字经济国际学术会议（ICIFDE 2024，8月16日-18）：相关博文
2024年图像处理、机器学习与模式识别国际学术会议（IPMLP 2024，9月13-15)：相关博文
第四届计算机科学与区块链国际学术会议 (CCSB 2024，9月6-8)：相关博文
2024智能物联与计算国际学术会议（AITC 2024，8月30-9月1）：相关博文
第五届智能计算与人机交互国际研讨会（ICHCI 2024, 9/27-29）：相关博文
第五届信号处理与计算机科学国际学术会议（SPCS 2024,8月23-25)：相关博文
2024年数字经济，区块链与人工智能国际学术会议（DEBAI 2024, 8月23-25）：相关博文
2024年第五届医学人工智能国际学术会议(ISAIMS 2024，8月13-17)：相关博文
第四届先进算法与神经网络国际学术会议（AANN 2024，8月9日-11）：相关博文
第四届物联网与机器学习国际学术会议（IoTML 2024，8月23-25）：相关博文
2024年虚拟现实、图像和信号处理国际学术会议（VRISP 2024，8月2日-4）：相关博文
