Still Fresh? 评估检索基准中的时间漂移
Still Fresh? Evaluating Temporal Drift in Retrieval Benchmarks
AI总结：
本研究评估了时间变化对检索基准FreshStack的影响，发现语料库更新后大部分查询仍能得到支持，模型排名变化较小，表明基准在时间演变下仍具可靠性。
摘要：
信息检索（IR）基准通常遵循Cranfield范式，依赖静态和预定义的语料库。然而，技术语料库中的时间变化，如API弃用和代码重组，可以使现有基准过时。在我们的工作中，我们研究了时间语料漂移如何影响FreshStack，一个专注于技术领域的检索基准。我们检查了FreshStack的两个独立语料库快照，分别来自2024年10月和2025年10月，以回答关于LangChain的问题。我们的分析显示，除一个查询外，2024年提出的所有查询都完全由2025年的语料库支持，因为相关文档从LangChain迁移到竞争对手仓库，如LlamaIndex。接下来，我们比较了检索模型在两个快照上的准确性，并观察到模型排名仅有小幅变化，整体相关性高达0.978 Kendall τ在Recall@50。这些结果表明，使用不断演变的时间语料库重新评估的检索基准可以保持检索评估的可靠性。我们公开发布所有成果在https://github.com/fresh-stack/driftbench。
英文摘要：
Information retrieval (IR) benchmarks typically follow the Cranfield paradigm, relying on static and predefined corpora. However, temporal changes in technical corpora, such as API deprecations and code reorganizations, can render existing benchmarks stale. In our work, we investigate how temporal corpus drift affects FreshStack, a retrieval benchmark focused on technical domains. We examine two independent corpus snapshots of FreshStack from October 2024 and October 2025 to answer questions about LangChain. Our analysis shows that all but one query posed in 2024 remain fully supported by the 2025 corpus, as relevant documents "migrate" from LangChain to competitor repositories, such as LlamaIndex. Next, we compare the accuracy of retrieval models on both snapshots and observe only minor shifts in model rankings, with overall strong correlation of up to 0.978 Kendall $τ$ at Recall@50. These results suggest that retrieval benchmarks re-judged with evolving temporal corpora can remain reliable for retrieval evaluation. We publicly release all our artifacts at https://github.com/fresh-stack/driftbench.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
