在自然语言处理（NLP）领域，随着深度学习技术的飞速发展，预训练语言模型如BERT（Bidirectional Encoder Representations from Transformers）已成为推动研究与应用进步的重要基石。BERT通过其强大的上下文感知能力，在多项NLP任务中取得了显著成效，尤其是在文本表示和语义理解方面。然而，面对海量数据和复杂查询需求，传统的密集向量表示方法在效率和精度上逐渐显露出局限性。正是在这样的背景下，SPLADE（Sparse Lexical and Dense Embeddings）应运而生，它标志着在生成Learned稀疏向量方面的重大进步，为搜索、信息检索等任务提供了更加高效且精确的解决方案。
一、BERT与MLM：基础与核心
首先，让我们深入回顾一下BERT及其核心训练机制——掩码语言模型（MLM）的基本原理。MLM是一种无监督学习任务，其核心思想是在输入文本中随机掩码掉一部分Tokens，然后要求模型仅根据未被掩码的上下文信息来预测这些被掩码的词汇。这种训练方式迫使模型学习更加丰富的语言表示，因为它必须理解并利用周围词汇的语义信息来做出准确的预测。因此，MLM不仅增强了模型对语言结构的认知能力，还显著提升了其在各种NLP任务中的表现。
在BERT的预训练阶段，对于每个掩码位置，模型利用其上下文化Embedding（即Transformer中的隐藏层输出H[i]）生成一个概率分布w_i，该分布表示了BE
