Enabling Low-Resource Language Retrieval: Establishing Baselines for Urdu MS MARCO
University of Saarland(萨尔大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
本文通过机器翻译构建了首个大规模乌尔都语信息检索数据集,并应用 mMARCO 多语言方法微调模型,显著提升了检索性能,为低资源语言包容性检索研究奠定基础。
2025-04-04 cs.AI cs.CL cs.IR
Utility-Focused LLM Annotation for Retrieval and Retrieval-Augmented Generation
State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院人工智能安全国家重点实验室,计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Baidu Inc.(百度公司)
本文提出利用LLM标注文档效用,通过新损失函数处理多正样本,在MS MARCO和BEIR等基准上验证了其提升检索与RAG性能,且仅需20%人工标注即可达到全量效果。
2025-10-09 cs.AI cs.CL cs.IR
Comparative Analysis of Lion and AdamW Optimizers for Cross-Encoder Reranking with MiniLM, GTE, and ModernBERT
本研究比较Lion与AdamW优化器在交叉编码器重排序微调中的效果,发现Lion在MS MARCO和TREC DL 2019上提升性能并提高GPU利用率。
2025-06-23 cs.IR
Assessing the Benefits of Model Ensembles in Neural Re-Ranking for Passage Retrieval
我们的工作旨在通过实验评估神经方法的背景下,通过重新排序的模型集成的好处。从相对标准的神经模型开始,我们使用一种名为快速几何集成的先前技术来从特定的训练时间表生成多个模型实例,然后将注意力集中在用于组合来自多个模型实例的结果的不同类型的方法上(例如,平均排序分数、使用来自IR文献的融合方法、或使用监督学习排序)。使用MS-MARCO数据集的测试表明,模型集成确实可以提高排名质量,特别是在监督学习-to-rank的情况下,尽管也有无监督的排名聚合。
2021-01-21 cs.IR
Text Retrieval with Multi-Stage Re-Ranking Models
提出三阶段重排序模型,结合BM25、语言模型及模型集成或更大语言模型,在MS-MARCO上训练MiniLM,零样本评估,兼顾高准确率与低速度衰减。
2023-11-14 cs.IR
IndicIRSuite: Multilingual Dataset and Neural Information Models for Indian Languages
IIT Bombay(印度理工学院孟买分校)
该研究推出面向11种印度语言的神经信息检索资源套件IndicIRSuite,包含多语言数据集INDIC-MARCO与11个单语检索模型Indic-ColBERT,实验验证其在多个基准上取得显著性能提升,填补了印度语言大规模神经IR资源的空白。
2023-12-15 cs.CL cs.IR
SuiteEval: Simplifying Retrieval Benchmarks
University of Glasgow(格拉斯哥大学)
SuiteEval通过统一框架简化检索基准测试,提供自动化端到端评估和动态索引,支持多种基准,减少样板代码以促进可重复的IR研究。
2026-02-20 cs.IR
HYRR: Hybrid Infused Reranking for Passage Retrieval
Google Research(谷歌研究院)
我们提出了混合注入重排序的段落检索(HYRR),一个框架,用于训练重排序的基础上的混合BM 25和神经检索模型。基于混合模型的检索器已被证明优于单独的BM 25和神经模型。我们的方法在训练重排序器时利用了这种改进的性能,从而产生了一个强大的重排序模型。的reranker,交叉注意神经模型,被证明是强大的不同的第一阶段检索系统,实现更好的性能比rerankers简单地训练后的第一阶段检索在多阶段系统。我们目前的评估监督通过检索任务使用MS MARCO和zero-shot检索任务使用BEIR。实证结果表明,这两个评价表现强劲。
2022-12-20 cs.CL cs.IR
Promptagator: Few-shot Dense Retrieval From 8 Examples
Google Research(谷歌研究院)
最近关于信息检索的许多研究都集中在如何从一个任务(通常具有丰富的监督数据)转移到监督有限的各种其他任务上,隐含的假设是可以从一个任务推广到所有其他任务。然而,这忽略了一个事实,即有许多不同的和独特的检索任务,每一个目标是不同的搜索意图,查询和搜索域。在本文中,我们建议在Few-Shot稠密检索上工作,在这种设置中,每个任务都有一个简短的描述和一些例子。为了放大几个例子的力量,我们提出了检索器(检索器),它利用大语言模型(LLM)作为一个Few-Shot查询生成器,并根据生成的数据创建特定于任务的检索器。在LLM的泛化能力的支持下,Aptagator可以仅基于几个示例创建特定于任务的端到端检索器,而不使用Natural Questions或MS MARCO来训练%问题生成器或双编码器。令人惊讶的是,不超过8个示例的LLM提示允许双编码器在11个检索集上平均超过1.2 nDCG,超过在MS MARCO(如ColBERT v2)上训练的经过大量工程设计的模型。使用相同的生成数据进一步训练标准尺寸的重新排序器产生另一个5.0点nDCG改善。我们的研究确定,查询生成可以比以前观察到的更有效,特别是当少量的特定于任务的知识。
2022-09-23 cs.CL cs.IR
Adaptive Sparsity Optimization with Learnable Soft Top-K and Per-Term Thresholding for Efficient Retrieval
University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
本文提出一种结合可学习软Top-K、逐项阈值化和FLOPs正则化的自适应稀疏性优化方案,在MS MARCO和BEIR数据集上显著缩短查询和文档长度,降低检索延迟与存储成本,同时保持高相关性。
2026-10-05 cs.IR
Benchmarking Middle-Trained Language Models for Neural Search
本文在统一微调条件下基准评测 CoCondenser、RetroMAE 和 LexMAE,比较不同语料与稠密、稀疏检索方案,发现稀疏方法差异有限,而 RetroMAE 在稠密检索中表现突出。
2023-06-05 cs.IR
A Modern Perspective on Query Likelihood with Deep Generative Retrieval Models
现有的神经排序模型遵循文本匹配范式,其中通过预测匹配分数来估计文档与查询的相关性。借鉴经典生成式检索模型的丰富文献,我们引入并形式化了通过生成查询词的累积概率定义的深度生成式检索模型的范式。这种模式提供了一个接地概率相关性估计的观点,同时仍然能够使用现代神经架构。与匹配范式相反,生成排名的概率性质很容易提供一个细粒度的不确定性度量。我们在我们的框架中采用了几种当前的神经生成模型,并引入了一种新的生成排序器(T-PGN),它结合了Transformers的编码能力和指针生成器网络模型。我们利用MS MARCO Passage Re-ranking和TREC深度学习2019 Passage Re-ranking集合,对段落检索进行了一系列广泛的评估实验。我们的研究结果表明,显着更高的性能的T-PGN模型相比,其他生成模型。最后,我们证明了利用深度生成排名器的不确定性信息为查询/集合理解开辟了新的视角,并显着改善了截止预测任务。
2021-06-25 cs.IR
More Robust Dense Retrieval with Contrastive Dual Learning
稠密检索在嵌入空间进行文本检索,与稀疏检索相比具有许多优点。现有的密集检索器通过对比训练优化查询和文档的表示,并将其映射到嵌入空间。通过对齐匹配的查询-文档对并将否定文档推离查询来优化嵌入空间。然而,在这样的训练范例中,查询仅被优化为与文档对齐并且被粗略地定位,从而导致各向异性的查询嵌入空间。在本文中,我们分析了嵌入空间分布,并提出了一个有效的训练范式,对比对偶学习近似最近邻(DANCE)学习细粒度的查询表示稠密检索。DANCE结合了一个额外的双重训练对象的查询检索,灵感来自经典的信息检索训练公理,查询可能性。通过对比学习,DANCE的双训练对象学习查询和文档的更定制的表示,以保持嵌入空间的平滑和均匀,在MS MARCO文档检索任务上的DANCE排名性能上蓬勃发展。与仅对文档检索任务进行优化的ANCE不同,DANCE将查询嵌入集中在更接近文档表示的位置,同时使文档分布更具区分性。这种集中的查询嵌入分布为查询分配了更均匀的负采样概率,并有助于充分优化查询检索任务中的查询表示。我们的代码在https://github.com/thunlp/DANCE上发布。
2021-07-16 cs.IR
Fusion-in-T5: Unifying Document Ranking Signals for Improved Information Retrieval
本文提出统一重排模型 FiT5,将文本匹配、排序特征和全局文档信息融合进单一 T5 模型,在 MS MARCO 和 TREC DL 上超越复杂级联流水线,并开源代码。
2024-05-05 cs.IR
Fréchet Distance for Offline Evaluation of Information Retrieval Systems with Sparse Labels
针对稀疏标签下信息检索系统评估困难的问题,借鉴FID在视觉任务中的成功,提出利用Fréchet Distance度量相关判定项与检索结果分布的距离,并在MS MARCO等数据集上验证了其有效性。
2024-02-18 cs.IR
Revisiting Query Variants: The Advantage of Retrieval Over Generation of Query Variants for Effective QPP
University of Glasgow(格拉斯哥大学)
针对现有基于生成查询变体的QPP方法易出现主题漂移和幻觉的问题,提出从训练集检索并通过2跳方式扩展查询变体的方法,在TREC DL数据集上较最优生成式方法性能提升约20%。
2025-10-02 cs.IR
Does Generative Retrieval Overcome the Limitations of Dense Retrieval?
State Key Laboratory of AI Safety, Institute of Computing Technology, CAS(中国科学院计算技术研究所人工智能安全重点实验室);University of Chinese Academy of Sciences(中国科学院大学);University of Amsterdam(阿姆斯特丹大学)
本文从学习目标与表示能力两方面对比生成式检索与稠密检索,揭示 GR 在语料和模型扩展下的理论优势,并通过实验验证,同时指出其实践差距与未来研究方向。
2025-11-11 cs.IR
Doc2Query++: Topic-Coverage based Document Expansion and its Application to Dense Retrieval via Dual-Index Fusion
National Taiwan University(國立臺灣大學)
提出Doc2Query++框架,通过无监督主题建模和混合关键词选择结构化LLM查询生成,并采用双索引融合策略隔离噪声,显著提升稀疏与稠密检索性能。
2025-10-13 cs.IR
A Few Brief Notes on DeepImpact, COIL, and a Conceptual Framework for Information Retrieval Techniques
David R. Cheriton School of Computer Science(戴维·R·切里顿计算机科学学院);University of Waterloo(滑铁卢大学)
信息检索表征学习的最新发展可以组织在一个概念框架中,建立两对对比:稀疏与密集表示和无监督与学习表示。稀疏学习表示可以进一步分解为扩展和项加权组件。这个框架使我们能够理解最近提出的技术之间的关系,如DPR,ANCE,DeepCT,DeepImpact和COIL,此外,我们的分析揭示的差距指向尚未探索的技术方面的“低挂水果”。我们提出了一种新的技术称为“uniCOIL”,一个简单的扩展COIL,达到我们所知的流行MS MARCO通道排名数据集上的稀疏检索的当前最先进的。我们使用Anserini IR工具包的实现是建立在Lucene搜索库上的,因此与标准的倒排索引完全兼容。
2021-06-28 cs.CL cs.IR
Aligning Web Query Generation with Ranking Objectives via Direct Preference Optimization
提出利用直接偏好优化(DPO)将排序信号融入查询生成,以生成高质量合成查询,提升下游检索性能,并在MS MARCO基准上验证了有效性。
2025-05-25 cs.IR
Scalable and Effective Generative Information Retrieval
本文提出RIPOR优化框架,通过前缀导向排序和基于关联性的文档ID构建,首次实现生成式检索在大规模基准上的有效训练,大幅超越现有生成式模型并媲美稠密检索。
2023-11-15 cs.IR
Ultra-High Dimensional Sparse Representations with Binarization for Efficient Text Retrieval
KAIST(韩国科学技术院);NAVER(Naver公司)
神经信息检索的语义匹配能力可以改善符号方法的同义词和多义词问题。然而,神经模型的密集表示更适合重新排序,因为它们效率低下。稀疏表示,无论是符号形式还是潜在形式,使用倒排索引都更有效。结合稀疏表示和稠密表示的优点,提出了一种稀疏度可直接控制的超高维(UHD)表示方案。UHD的大容量和最小的噪声和维度之间的干扰允许二值化表示,这对于存储和搜索是非常有效的。还提出了一种桶方法,其中选择/合并来自BERT的多个层的嵌入以表示不同的语言方面。我们用MS MARCO和TREC CAR测试我们的模型,表明我们的模型优于其他稀疏模型
2021-10-15 cs.CL cs.IR
Efficient Inverted Indexes for Approximate Retrieval over Learned Sparse Representations
针对学习稀疏表示检索与传统倒排索引不兼容的问题,提出将倒排列表组织为带摘要向量的几何内聚块的Seismic方法,在MS MARCO数据集上实现亚毫秒级高召回检索,性能远超现有方案及BigANN挑战赛优胜方案。
2024-04-29 cs.IR
How Different are Pre-trained Transformers for Text Ranking?
University of Amsterdam(阿姆斯特丹大学)
近年来,大型预训练的Transformers已经导致了传统检索模型和反馈方法的性能大幅提高。然而,这些结果主要基于MS Marco/TREC深度学习跟踪设置,其设置非常特殊,我们对这些模型为什么以及如何更好地工作的理解充其量是支离破碎的。我们分析了有效的基于BERT的交叉编码器与传统的BM 25排名的通道检索任务,其中最大的收益已被观察到,并调查两个主要问题。一方面,什么是相似的?神经排名器在多大程度上已经包含了传统排名器的能力?性能的提高是否是由于对相同文档的更好排名(优先级精度)?另一方面,有什么不同?它能否有效地检索传统系统遗漏的文档(优先召回)?我们发现,在相关性的概念,确定BERT的优势和劣势,可能会激发未来的改进研究有很大的差异。我们的研究结果有助于我们理解(黑盒)神经排名相对于(众所周知的)传统的排名,帮助理解特定的实验设置的MS-Marco为基础的测试集合。
2022-04-05 cs.AI cs.CL cs.IR
Information Retrieval with Entity Linking
针对传统稀疏检索器受语义差异和词汇鸿沟限制的问题,提出用显式和哈希两种格式的链接实体扩展查询与文档,结合零样本稠密实体链接系统增强语料库,在MS MARCO数据集上有效提升稀疏检索性能并缩小与稠密检索器的差距。
2024-04-07 cs.IR
SHIFT: Self-reconstruction Harnesses Implicit Fine-grained Thinking for Retrieval
Peking University(北京大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Beihang University(北京航空航天大学)
研究针对基于LLM的检索器存在的问题,提出SHIFT框架。通过残差投影等转换LLM为高效检索器,利用细粒度重建缓解不匹配,经实验验证其性能优于其他检索器,为信息检索提供新方法。
2026-07-24 cs.IR
Effective Inference-Free Retrieval for Learned Sparse Representations
本文提出学习型免推理检索方法Li-LSR,通过为每个token学习分数将查询编码转化为表查找,消除了查询编码瓶颈,在域内外评估中均达到最先进的有效性。
2025-04-30 cs.IR
Moving Beyond Downstream Task Accuracy for Information Retrieval Benchmarking
Stanford University(斯坦福大学);IBM Research AI(IBM研究院AI部门)
神经信息检索(IR)系统近年来发展迅速,这在很大程度上是由于公开可用的基准测试任务的发布。不幸的是,这一进展的某些方面是虚幻的:今天大多数流行的IR基准只关注下游任务的准确性,从而掩盖了以效率换取质量的系统所产生的成本。延迟、硬件成本和其他效率考虑对于在面向用户的环境中部署IR系统至关重要。我们建议,IR基准结构的评估方法,不仅包括准确性的指标,但也效率的考虑,如查询延迟和相应的成本预算的可再生的硬件设置。对于流行的IR基准MS MARCO和XOR-TyDi,我们展示了IR系统的最佳选择如何根据这些效率因素的选择和权衡而变化。我们希望未来的基准将采用这些指导方针,以更全面的IR评估。
2022-12-02 cs.CL cs.IR
Exploring Classic and Neural Lexical Translation Models for Information Retrieval: Interpretability, Effectiveness, and Efficiency Benefits
Bosch Center for Artificial Intelligence(博世人工智能中心);Carnegie Mellon University(卡内基梅隆大学)
我们研究了词汇翻译模型(IBM Model 1)在英语文本检索中的实用性,特别是其端到端训练的神经变体。我们使用神经模型1作为聚合器层,应用于上下文无关或上下文化的查询/文档嵌入。这种设计神经排序系统的新方法在有效性、效率和可解释性方面都有好处。具体来说,我们表明,在基于BERT的上下文嵌入之上添加可解释的神经模型1层(1)不会降低准确性和/或效率;(2)可以克服现有BERT模型的最大序列长度限制。与上下文无关的神经模型1不如基于BERT的排名模型有效,但它可以在CPU上高效运行(无需对大型张量进行昂贵的索引时预计算或查询时操作)。使用模型1,我们在2020年底的MS MARCO文档排序排行榜上产生了最佳神经和非神经运行。
2021-03-17 cs.CL cs.IR
Lightweight and Direct Document Relevance Optimization for Generative Information Retrieval
Institute for Clarity in Documentation(文档清晰度研究所);Inria Paris-Rocquencourt(巴黎- Rocquencourt 国家信息与自动化所);Rajiv Gandhi University(拉朱·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕勒尔研究实验室);University of Amsterdam(阿姆斯特丹大学)
提出直接文档相关性优化(DDRO)方法,通过成对排序直接对齐令牌级文档ID生成与文档级相关性估计,无需显式奖励建模和强化学习,在MS MARCO和Natural Questions上分别提升MRR@10 7.4%和19.9%。
2025-04-24 cs.AI cs.DL cs.IR
Neural Approaches to Multilingual Information Retrieval
Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland(马里兰大学)
几十年来,提供跨语言的信息访问一直是信息检索(IR)的目标。虽然跨语言IR(CLIR)已经取得了进展,其中查询以一种语言表示,文档以另一种语言表示,但创建跨多种语言的文档的单一排名列表的多语言(MLIR)任务更具挑战性。本文研究了神经文档翻译和预训练的多语言神经语言模型的进步是否能够改善早期MLIR技术的最新技术水平。结果表明,虽然将神经文档翻译与神经排名相结合可以获得最佳的平均精度(MAP),但通过使用预训练的XLM-R多语言语言模型以其母语索引文档,可以在索引时间减少84%的情况下实现98%的MAP得分,并且2%的有效性差异在统计学上并不显著。MLIR实现这些结果的关键是使用来自MS MARCO通道神经翻译的混合语言批次微调XLM-R。
2023-02-09 cs.CL cs.IR
Improving Cross-lingual Information Retrieval on Low-Resource Languages via Optimal Transport Distillation
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
得益于基于transformer的预训练语言模型,神经排序模型取得了重大进展。最近,多语言预训练语言模型的出现为设计神经跨语言检索模型提供了很大的支持。但是,由于不同语言的预训练数据不平衡,多语言语言模型在许多下游任务中已经表现出高资源语言和低资源语言之间的性能差距。基于这种预训练模型构建的跨语言检索模型可能会继承语言偏见,从而导致低资源语言的次优结果。此外,与英语到英语检索任务不同,在英语到英语检索任务中,可以获得用于文档排序的大规模训练集合,例如MS MARCO,缺乏用于低资源语言的跨语言检索数据使得训练跨语言检索模型更具挑战性。在这项工作中,我们提出了光学:低资源跨语言信息检索的最佳传输蒸馏。为了将模型从高资源语言转移到低资源语言,OPTICAL将跨语言标记对齐任务形成为最佳传输问题,以从经过良好训练的单语检索模型中学习。通过将跨语言知识与查询文档匹配知识分离,OPTICAL只需要双文本数据就可以进行提取训练,这对于低资源的语言来说更可行。实验结果表明,在训练数据最少的情况下,OPTICAL在低资源语言(包括神经机器翻译)上的表现明显优于强基线。
2023-01-29 cs.CL cs.IR
Uncovering the Limitations of Query Performance Prediction: Failures, Insights, and Implications for Selective Query Processing
Aix Marseille Université(艾克斯-马赛大学);Université de Toulon(土伦大学);CNRS(法国国家科学研究中心);IMT(法国国立高等电信学院);Univ. de Toulouse(图卢兹大学);Université de Toulouse(图卢兹大学);INSPE(国家教育与教学高级学院);UT2J(图卢兹第二让·饶勒斯大学);Université Toulouse Capitole(图卢兹第一大学);UT1(图卢兹第一大学);Edinburgh Napier University(爱丁堡龙比亚大学)
本文全面评估了QPP在跨检索范式和集合上的泛化能力,发现其预测准确性受集合和排序器影响显著,且QPP驱动的选择性查询处理仅带来边际收益,强调了需开发能跨集合泛化、适配稠密检索且服务下游的改进预测器。
2025-04-01 cs.IR cs.LG
CIRR: Causal-Invariant Retrieval-Augmented Recommendation with Faithful Explanations under Distribution Shift
University of Wisconsin--Madison(威斯康星大学麦迪逊分校)
CIRR通过因果不变性学习和一致性约束,解决推荐系统在分布偏移下的性能下降问题,并提供更可信的解释。
2025-12-21 cs.IR
Match Your Words! A Study of Lexical Matching in Neural Information Retrieval
Naver Labs Europe(Naver Labs 欧洲);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
神经信息检索模型有望取代现代搜索引擎中的词汇匹配模型,例如BM 25。虽然他们的能力在MS MARCO等域内数据集上表现出色,但他们最近在域外zero-shot设置(BEIR基准)上受到挑战,与词袋方法相比,他们的实际泛化能力受到质疑。特别是,我们想知道这些缺点是否(部分)是神经IR模型无法执行现成的词汇匹配的结果。在这项工作中,我们提出了一个衡量任何(神经)模型和一个“理想”的词汇匹配之间的差异。在此基础上,我们研究了不同的最先进的神经IR模型的行为,重点是它们是否能够在实际有用的时候(即重要术语)进行词汇匹配。总的来说,我们表明,神经IR模型未能正确概括术语重要性的域外收集或术语几乎看不见在训练过程中
2021-12-13 cs.CL cs.IR
Improving Document Retrieval Coherence for Semantically Equivalent Queries
Amazon AGI(亚马逊人工智能研究院);University of Trento(特伦托大学)
提出Multi-Negative Ranking loss变体,通过惩罚语义等价查询检索结果差异,提升Dense Retrieval模型一致性与准确率。
2025-08-11 cs.CL cs.IR
Model Editing for New Document Integration in Generative Information Retrieval
Shandong University(山东大学);University of Amsterdam(阿姆斯特丹大学);Baidu Inc.(百度公司);Leiden University(莱顿大学)
本文提出DOME方法,通过模型编辑提升生成检索模型对新文档的适应能力,有效解决文档ID映射问题,减少训练时间,提高检索性能。
2026-05-11 cs.IR
Noisy Self-Training with Synthetic Queries for Dense Retrieval
School of Computing and Information Systems(计算与信息系统学院);The University of Melbourne(墨尔本大学);Google DeepMind(谷歌DeepMind)
本文提出一种结合合成查询的噪声自训练框架,使神经检索器无需外部模型即可自进化提升,在通用与领域外基准上一致优于现有方法,并展现出低资源数据高效性和对重排序器训练的通用性。
2023-11-27 cs.CL cs.IR
DS4DH at TREC Health Misinformation 2021: Multi-Dimensional Ranking Models with Transfer Learning and Rank Fusion
本文介绍了数字健康数据科学(DS 4DH)小组在2021年TREC健康错误信息跟踪中的工作。TREC健康错误信息跟踪侧重于开发检索方法,为网络上与健康相关的搜索提供相关、正确和可信的信息。在我们的方法中,我们使用了两步排名方法,包括i)基于BM 25模型的标准检索阶段,以及ii)重新排名阶段,其中模型管道专注于检索文档的有用性,可靠性和可信度维度。为了估计有用性,我们使用基于在MS MARCO语料库上微调的Transformers架构的预训练语言模型对初始排名列表进行分类。为了评估重复性,我们利用了基于BERT的模型,这些模型在科学和维基百科语料库上进行了微调。最后,为了评估文档的可信度,我们采用了一个在Microsoft Credibility数据集上训练的随机森林模型,并结合了一系列可信网站。然后,使用倒数等级融合算法将所产生的排名列表合并,以获得有用、支持和可信文件的最终列表。我们的方法取得了有竞争力的结果,在自动运行的兼容性测量中排名前2。我们的研究结果表明,集成自动排名模型创建的每个信息质量维度与迁移学习可以提高健康相关的信息检索的有效性。
2022-02-14 cs.IR
A Comprehensive Empirical Evaluation of Vector Database Systems for Approximate Nearest Neighbor Search: Performance, Quality, and Resource Trade-offs
University of Kelaniya(凯拉尼亚大学)
本文对7款主流向量数据库系统开展综合实证评估,测量多维度指标,推导系统选择指南并发布开源基准框架,为AI应用选型提供依据。
2026-08-14 cs.IR
Debiasing Neural Retrieval via In-batch Balancing Regularization
UCLA(加州大学洛杉矶分校);AWS AI Labs(亚马逊云科技人工智能实验室)
人们经常与信息检索(IR)系统进行交互,然而,IR模型对各种人口统计数据表现出偏见和歧视。处理中公平排序方法通过在损失函数中添加公平性相关的正则化项来提供准确性和公平性之间的折衷。然而,还没有直观的目标函数,依赖于点击概率和用户参与度来直接优化这一点。在这项工作中,我们提出了批量平衡正则化(IBBR),以减轻子组之间的排名差距。特别是,我们开发了一个可微的\textit{normed Pairwise Ranking Fairness}(nPRF),并利用T统计的nPRF上的子群作为一个正规化,以提高公平性。基于BERT的神经排序器在具有人类注释的非性别查询基准\citep{rekabsaz2020neural}的MS MARCO Passage Retrieval数据集上的实证结果表明,与基线相比,我们的IBBR方法与nPRF相比,在排名性能下降最小的情况下,实现了显著更小的偏差。
2022-05-18 cs.AI cs.CY cs.IR
A Systematic Study of Semantic ID Spaces for Generative Information Retrieval
Artefact Research Center(人工制品研究中心);Angers University(昂热大学)
本研究系统探究生成式信息检索中DocID的语义设计,提出统一量化框架及无需训练的固有指标,并在MS MARCO 300K和NQ320K上验证结构属性对检索效果的影响。
2026-10-07 cs.CL cs.IR
CODER: An efficient framework for improving retrieval through COntextual Document Embedding Reranking
Brown University(布朗大学);Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);Dataminr
本文提出CODER高效检索框架,通过联合评分大量负样本、使用检索负样本和列表式损失等排序上下文因素优化训练,在MS MARCO和TripClick上显著提升检索性能并创下新纪录。
2022-11-03 cs.AI cs.IR
Do Neural Ranking Models Intensify Gender Bias?
Johannes Kepler University(约翰内斯·开普勒大学)
关于信息检索(IR)系统中的社会偏见的足迹的关注已经在以前的几项研究中提出。在这项工作中,我们研究了各种最近的IR模型的角度来看,在其检索结果的性别偏见的程度。为此,我们首先提供了一个偏差测量框架,其中包括两个指标来量化的程度不平衡的存在,性别相关的概念在一个给定的IR模型的排名列表。为了通过框架检查IR模型,我们创建了一个由人类注释者选择的非性别查询数据集。将这些查询应用于MS MARCO Passage检索集合,然后测量BM 25模型和几个最近的神经排名模型的性别偏见。结果表明,虽然所有模型都强烈偏向男性,但神经模型,特别是基于情境嵌入模型的模型,显着加剧了性别偏见。我们的实验还表明,当神经模型利用迁移学习时,即当它们使用(已经有偏见的)预训练嵌入时,神经模型的性别偏见会整体增加。
2020-06-15 cs.IR cs.LG
Translate-Distill: Learning Cross-Language Dense Retrieval by Translation and Distillation
Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland(马里兰大学);Information Sciences Institute, University of Southern California(南加利福尼亚大学信息科学研究所)
本文提出Translate-Distill方法,利用单语或CLIR cross-encoder作为教师模型,通过知识蒸馏训练跨语言信息检索的双编码器学生模型,解决了CLIR缺乏大规模跨语言训练数据的问题。
2024-01-09 cs.CL cs.IR
Rank1: Test-Time Compute for Reranking in Information Retrieval
Johns Hopkins University(约翰霍普金斯大学)
Rank1利用测试时计算训练重排序模型,通过蒸馏推理语言模型(如R1)生成60万推理轨迹,实现最先进性能、分布外泛化及可解释推理链,并支持量化压缩。
2025-08-08 cs.CL cs.IR cs.LG
CoRT: Complementary Rankings from Transformers
RheinMain University of Applied Sciences(莱茵美因应用科学大学)
许多最近的神经信息检索方法通过使用多级排序流水线来降低其计算成本。在第一阶段中,使用诸如BM 25的高效检索模型来检索一些潜在相关的候选者。虽然BM25作为第一阶段的排名已经证明了不错的表现,但它往往会错过相关的段落。在这种情况下,我们提出了CoRT,一个简单的神经第一阶段的排名模型,利用上下文表示从预训练的语言模型,如BERT,以补充基于术语的排名功能,同时在查询时不会造成显着的延迟。使用MS MARCO数据集,我们表明CoRT通过用缺失的候选人补充BM 25来显着提高候选人召回率。因此,我们发现随后的重新排名实现更好的结果与更少的候选人。我们进一步证明了使用CoRT的通道检索可以以令人惊讶的低延迟实现。
2021-05-25 cs.CL cs.IR cs.LG
Bottleneck-Minimal Indexing for Generative Document Retrieval
Waseda Research Institute for Science and Engineering, Waseda University(早稻田大学科学与工程研究所);The University of Tokyo(东京大学);Waseda University(早稻田大学)
本研究从信息论视角分析生成式文档检索的索引瓶颈问题,基于香农率失真理论提出瓶颈最小化索引方法,在NQ320K与MARCO数据集上表现优于现有索引方法。
2024-05-21 cs.AI cs.CL cs.IR
Unsupervised Dense Information Retrieval with Contrastive Learning
Meta AI Research(Meta人工智能研究院);Ecole normale supérieure, PSL University(巴黎文理研究大学高等师范学院);Inria(法国国家信息与自动化研究所);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);University College London(伦敦大学学院)
最近,信息检索已经看到了使用神经网络的密集检索器的出现,作为基于词频的经典稀疏方法的替代。这些模型在有大型训练集的数据集和任务上获得了最先进的结果。然而,它们不能很好地转移到没有训练数据的新应用中,并且被诸如BM 25的无监督词频方法优于。在这项工作中,我们探讨了对比学习的局限性,作为一种训练无监督的密集检索器,并表明它导致在各种检索设置的强大性能。在BEIR基准测试中,我们的无监督模型在Recall@100的15个数据集中的11个数据集上优于BM 25。当在微调之前用作预训练时,无论是在几千个域内示例上还是在大型MS~MARCO数据集上,我们的对比模型都会导致BEIR基准的改进。最后,我们评估了我们的方法多语言检索,其中训练数据甚至比英语更稀缺,并表明我们的方法导致强大的无监督性能。我们的模型也表现出强大的跨语言迁移时,微调监督英语数据和低资源的语言,如斯瓦希里语进行评估。我们表明,我们的无监督模型可以在不同的脚本之间进行跨语言检索,例如从阿拉伯语查询中检索英语文档,这是术语匹配方法无法实现的。
2022-08-29 cs.AI cs.CL cs.IR
Promptriever: Instruction-Trained Retrievers Can Be Prompted Like Language Models
Johns Hopkins University(约翰斯·霍普金斯大学);Samaya AI(萨马亚人工智能公司)
本研究提出首个可像语言模型一样被提示的检索模型Promptriever,基于MS MARCO构建近50万实例的指令训练集,在相关性指令遵循、查询鲁棒性、提示式超参搜索上均取得显著提升,为检索模型的提示控制研究奠定基础。
2024-09-17 cs.CL cs.IR cs.LG
SHIFT: Semantic Harmonization via Index-side Feature Transformation for Multilingual Information Retrieval
Department of Computer Science and Engineering, Korea University(韩国大学计算机科学与工程系)
提出SHIFT方法,在索引阶段通过平行翻译对估计相对语言向量并修正文档嵌入,以缓解多语言密集检索中的语言偏差,无需训练即可提升检索性能。
2026-08-28 cs.AI cs.IR
Exp4Fuse: A Rank Fusion Framework for Enhanced Sparse Retrieval using Large Language Model-based Query Expansion
City University of Hong Kong(香港城市大学);The University of Hong Kong(香港大学)
本文提出 Exp4Fuse 排序融合框架,通过融合原始查询与 LLM 零样本扩展查询的稀疏检索结果,在多个数据集上以更低成本取得 SOTA。
2025-06-05 cs.AI cs.CL cs.IR
Retrieval and Distill: A Temporal Data Shift-Free Paradigm for Online Recommendation System
Shanghai Jiao Tong University(上海交通大学);Yokohama National University(Yokohama国立大学)
针对推荐系统中的时间数据偏移问题,提出关联时间不变性定理,并构建检索与蒸馏框架,使模型从偏移数据中学习稳定关联且在线推理开销极小。
2025-07-27 cs.AI cs.IR
Pooling and Semantic Shift: The Fundamental Challenges in Long Text Embedding and Retrieval
Rutgers University(罗格斯大学)
本文提出池化操作和内部语义偏移是导致Transformer嵌入模型出现各向异性和长度诱导表示崩溃的根本原因,并通过理论证明和实验验证了语义偏移对嵌入集中的主导作用。
2026-05-22 cs.CL cs.IR