The 99% Success Paradox: When Near-Perfect Retrieval Equals Random Selection
99%成功悖论:当近完美检索等于随机选择
机构 * Meta Platforms Inc.(Meta平台公司)
专题命中 检索器与排序 :RAG(abstract,abstract_cn);retrieval-augmented generation(abstract);分类 cs.IR、cs.AI
AI总结 该研究引入了Bits-over-Random(BoR)指标,揭示了高成功率可能掩盖随机水平性能的现象,指出在大规模数据集上,即使检索结果覆盖率达到99%,其选择性仍可能接近零,从而表明需要重新考虑检索深度和传统指标的报告方式。
Comments 12 pages, 2 figures, 7 tables. Accepted at ICLR 2026 Blog Track, https://iclr-blogposts.github.io/2026/blog/2026/bits-over-random/
Journal ref ICLR Blog Track 2026, https://iclr.cc/virtual/2026/poster/10012083