探索SPLADE模型的表示能力
Exploring the Representation Power of SPLADE Models
AI总结：
本文通过实证分析发现，即使将词表限制为停用词或随机词，SPLADE模型仍能有效编码有用的排序信号，展现了其超越传统词法匹配的表示能力。
摘要：
SPLADE（SParse Lexical AnD Expansion）模型是一种非常有效的学习型稀疏检索方法，其中文档由大语言模型导出的词项影响分数表示。在训练期间，SPLADE应用正则化以确保倒排表保持稀疏——旨在模仿自然词项分布的特性——从而实现高效且有效的词法匹配与排序。然而，我们假设SPLADE可能将额外的信号编码到常见的倒排表中，以进一步提高有效性。为了探索这一想法，我们进行了若干实证分析，在其中我们使用不同的受控词表重新训练SPLADE，并测量其在段落排序上的有效性。我们的发现表明，即使词表被限制为传统上对排序无用的词项（如停用词甚至随机词），SPLADE也能在文档中有效地编码有用的排序信号。
英文摘要：
The SPLADE (SParse Lexical AnD Expansion) model is a highly effective approach to learned sparse retrieval, where documents are represented by term impact scores derived from large language models. During training, SPLADE applies regularization to ensure postings lists are kept sparse -- with the aim of mimicking the properties of natural term distributions -- allowing efficient and effective lexical matching and ranking. However, we hypothesize that SPLADE may encode additional signals into common postings lists to further improve effectiveness. To explore this idea, we perform a number of empirical analyses where we re-train SPLADE with different, controlled vocabularies and measure how effective it is at ranking passages. Our findings suggest that SPLADE can effectively encode useful ranking signals in documents even when the vocabulary is constrained to terms that are not traditionally useful for ranking, such as stopwords or even random words.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
