Unsupervised Dense Information Retrieval with Contrastive Learning
Meta AI Research(Meta人工智能研究院);Ecole normale supérieure, PSL University(巴黎文理研究大学高等师范学院);Inria(法国国家信息与自动化研究所);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);University College London(伦敦大学学院)
最近,信息检索已经看到了使用神经网络的密集检索器的出现,作为基于词频的经典稀疏方法的替代。这些模型在有大型训练集的数据集和任务上获得了最先进的结果。然而,它们不能很好地转移到没有训练数据的新应用中,并且被诸如BM 25的无监督词频方法优于。在这项工作中,我们探讨了对比学习的局限性,作为一种训练无监督的密集检索器,并表明它导致在各种检索设置的强大性能。在BEIR基准测试中,我们的无监督模型在Recall@100的15个数据集中的11个数据集上优于BM 25。当在微调之前用作预训练时,无论是在几千个域内示例上还是在大型MS~MARCO数据集上,我们的对比模型都会导致BEIR基准的改进。最后,我们评估了我们的方法多语言检索,其中训练数据甚至比英语更稀缺,并表明我们的方法导致强大的无监督性能。我们的模型也表现出强大的跨语言迁移时,微调监督英语数据和低资源的语言,如斯瓦希里语进行评估。我们表明,我们的无监督模型可以在不同的脚本之间进行跨语言检索,例如从阿拉伯语查询中检索英语文档,这是术语匹配方法无法实现的。
2022-08-29 cs.AI cs.CL cs.IR
HYRR: Hybrid Infused Reranking for Passage Retrieval
Google Research(谷歌研究院)
我们提出了混合注入重排序的段落检索(HYRR),一个框架,用于训练重排序的基础上的混合BM 25和神经检索模型。基于混合模型的检索器已被证明优于单独的BM 25和神经模型。我们的方法在训练重排序器时利用了这种改进的性能,从而产生了一个强大的重排序模型。的reranker,交叉注意神经模型,被证明是强大的不同的第一阶段检索系统,实现更好的性能比rerankers简单地训练后的第一阶段检索在多阶段系统。我们目前的评估监督通过检索任务使用MS MARCO和zero-shot检索任务使用BEIR。实证结果表明,这两个评价表现强劲。
2022-12-20 cs.CL cs.IR
CUBO: Self-Contained Retrieval-Augmented Generation on Consumer Laptops 10 GB Corpora, 16 GB RAM, Single-Device Deployment
CUBO是一种面向消费者笔记本电脑的RAG系统,通过16GB内存和本地处理实现GDPR合规的高效检索增强生成。
2026-02-03 cs.CL
Hindi-BEIR : A Large Scale Retrieval Benchmark in Hindi
Indian Institute of Technology Patna(印度理工学院巴特那分校);IBM Research(IBM研究院)
针对印地语缺乏综合检索评估基准的问题,研究者推出包含15个数据集、覆盖8种任务的Hindi-BEIR基准,并评估前沿多语言检索模型以明确挑战,推动印地语检索研究发展。
2024-08-18 cs.CL cs.IR
GAR-meets-RAG Paradigm for Zero-Shot Information Retrieval
Microsoft Research, India(微软研究院(印度))
本文提出GAR与RAG融合的循环迭代范式,通过迭代改进检索与重写阶段提升召回率,并以最终重排序提升精确率,在零样本检索基准BEIR上取得新的最优结果。
2023-10-31 cs.CL
SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot Neural Sparse Retrieval
University of Waterloo(滑铁卢大学);TU Darmstadt(达姆施塔特工业大学)
本研究推出基于Pyserini和Lucene的统一神经稀疏检索评估工具包SPRINT,在BEIR基准上建立零样本稀疏检索基线,揭示SPLADEv2性能最优的关键原因。
2023-07-19 cs.CL cs.IR cs.LG
Utility-Focused LLM Annotation for Retrieval and Retrieval-Augmented Generation
State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院人工智能安全国家重点实验室,计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Baidu Inc.(百度公司)
本文提出利用LLM标注文档效用,通过新损失函数处理多正样本,在MS MARCO和BEIR等基准上验证了其提升检索与RAG性能,且仅需20%人工标注即可达到全量效果。
2025-10-09 cs.AI cs.CL cs.IR
Benchmarking and Building Zero-Shot Hindi Retrieval Model with Hindi-BEIR and NLLB-E5
Department of Computer Science and Engineering, Indian Institute of Technology Patna(计算机科学与工程系,印度理工学院帕纳布分校);IBM Research(IBM研究院)
针对印地语检索缺乏基准的问题,提出Hindi-BEIR基准(15个数据集、7个任务)并评估现有模型,进而开发零样本多语言检索模型NLLB-E5,无需印地语训练数据即可支持印地语检索。
2025-06-21 cs.CL cs.IR
Benchmarking Google Embeddings 2 against Open-Source Models for Multilingual Dense Retrieval and RAG Systems
University of Salerno(萨勒诺大学);University of Bari(巴里大学)
通过对比 Google Embeddings 2 与五个开源模型在 BEIR 子集、合成意大利语 RAG 语料库和分块消融实验上的表现,发现 GE2 在所有任务上排名第一但延迟高,而 mE5-L 在延迟敏感场景下是优选,LaBSE 表现最差,且所有模型在 32 令牌分块时性能饱和。
2026-05-22 cs.CL
Navigating Global AI Regulation: A Multi-Jurisdictional Retrieval-Augmented Generation System
PoliticalNLP Workshop(政治NLP研讨会);LREC 2026 Report(LREC 2026报告)
本文提出一个多司法管辖区的检索增强生成系统,用于全球人工智能监管,通过类型特定分块、条件检索路由和优先级重排序技术,提升法律文档检索效果。
2026-04-28 cs.CL
GenCRF: Generative Clustering and Reformulation Framework for Enhanced Intent-Driven Information Retrieval
Peking University(北京大学);Wilfrid Laurier University(威尔弗里德劳里埃大学)
针对现有大语言模型查询重构方法存在的扩展有限、冗余问题,本文提出GenCRF生成式聚类与重构框架,通过生成差异化查询聚类捕捉多样意图,结合加权聚合与QERM反馈优化,在BEIR基准上nDCG@10最高提升12%,达到SOTA。
2024-09-17 cs.AI cs.CL cs.IR
Rational Retrieval Acts: Leveraging Pragmatic Reasoning to Improve Sparse Retrieval
Université Paris-Saclay(巴黎-萨克雷大学);ILLS;ISIR;Air Liquide France(法国Air Liquide);CentraleSupélec(中央圣埃克苏佩里);AMIAD France(法国AMIAD);Sorbonne Université(索邦大学);CNRS(国家科学研究中心);MILA - Quebec AI Institute(魁北克人工智能研究所)
本文提出将理性言语行为框架适配到稀疏神经信息检索中,通过考虑文档集合中其他文档的影响动态调节词元-文档交互,从而改进多个稀疏检索模型并在BEIR域外数据集上取得最先进性能。
2025-05-06 cs.CL cs.IR
UniIR: Training and Benchmarking Universal Multimodal Information Retrievers
University of Waterloo(滑铁卢大学);Georgia Institute of Technology(佐治亚理工学院);Hong Kong University of Science and Technology(香港科技大学);Google DeepMind(谷歌DeepMind)
本文提出UniIR,一个指令引导的统一多模态检索器,通过多任务联合训练实现八类检索任务与零样本泛化,并构建M-BEIR基准以标准化通用多模态检索评测。
2023-11-28 cs.AI cs.CL cs.CV
Match Your Words! A Study of Lexical Matching in Neural Information Retrieval
Naver Labs Europe(Naver Labs 欧洲);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
神经信息检索模型有望取代现代搜索引擎中的词汇匹配模型,例如BM 25。虽然他们的能力在MS MARCO等域内数据集上表现出色,但他们最近在域外zero-shot设置(BEIR基准)上受到挑战,与词袋方法相比,他们的实际泛化能力受到质疑。特别是,我们想知道这些缺点是否(部分)是神经IR模型无法执行现成的词汇匹配的结果。在这项工作中,我们提出了一个衡量任何(神经)模型和一个“理想”的词汇匹配之间的差异。在此基础上,我们研究了不同的最先进的神经IR模型的行为,重点是它们是否能够在实际有用的时候(即重要术语)进行词汇匹配。总的来说,我们表明,神经IR模型未能正确概括术语重要性的域外收集或术语几乎看不见在训练过程中
2021-12-13 cs.CL cs.IR
Improving Document Retrieval Coherence for Semantically Equivalent Queries
Amazon AGI(亚马逊人工智能研究院);University of Trento(特伦托大学)
提出Multi-Negative Ranking loss变体,通过惩罚语义等价查询检索结果差异,提升Dense Retrieval模型一致性与准确率。
2025-08-11 cs.CL cs.IR
CoIR: A Comprehensive Benchmark for Code Information Retrieval Models
Huawei Noah’s Ark Lab(华为诺亚实验室)
本文提出COIR代码信息检索综合基准,涵盖七个领域八类任务的十个数据集,并评估九种检索模型,以揭示代码检索难点并推动该领域研究。
2025-06-06 cs.CL cs.IR
Noisy Self-Training with Synthetic Queries for Dense Retrieval
School of Computing and Information Systems(计算与信息系统学院);The University of Melbourne(墨尔本大学);Google DeepMind(谷歌DeepMind)
本文提出一种结合合成查询的噪声自训练框架,使神经检索器无需外部模型即可自进化提升,在通用与领域外基准上一致优于现有方法,并展现出低资源数据高效性和对重排序器训练的通用性。
2023-11-27 cs.CL cs.IR
Evaluating Embedding APIs for Information Retrieval
University of Waterloo(滑铁卢大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文在BEIR和MIRACL基准上评估语义嵌入API的领域泛化与多语言检索能力,发现对BM25结果重排序在英语中最具性价比,非英语场景下BM25混合模型效果最佳但成本更高。
2023-07-06 cs.CL cs.IR
No Parameter Left Behind: How Distillation and Model Size Affect Zero-Shot Retrieval
NeuralMind;UNICAMP(坎皮纳斯大学);Zeta Alpha
最近的研究表明,在广泛的信息检索任务中,小的提取语言模型是大的数量级和慢的数量级的模型的强有力的竞争对手。由于延迟限制,这使得蒸馏和密集模型成为现实世界检索应用程序中部署的首选。在这项工作中,我们质疑这种做法,表明参数的数量和早期的查询文档交互检索模型的泛化能力发挥了重要作用。我们的实验表明,增加模型大小的结果在域内测试集的边际收益,但更大的收益在新的领域从未见过在微调。此外,我们表明,rerankers在很大程度上优于密集的类似大小的几个任务。我们最大的重新排序器在Benchmark-IR(BEIR)的18个数据集中的12个达到了最先进的水平,并超过了之前的最先进水平3个平均点。最后,我们确认,在域的有效性是不是一个很好的指标zero-shot的有效性。代码可在https://github.com/guilhermemr04/scaling-zero-shot-retrieval.git上获得
2022-12-12 cs.CL cs.IR cs.PF
Salient Phrase Aware Dense Retrieval: Can a Dense Retriever Imitate a Sparse One?
Meta AI
尽管其最近的流行和众所周知的优势,密集检索器仍然落后于稀疏的方法,如BM 25在其可靠地匹配查询中的突出短语和罕见的实体,并推广到域外数据的能力。有人认为,这是密集模型的固有局限性。我们反驳这种说法,通过引入显着短语感知检索器(SPAR),一个密集的检索与词汇匹配能力的稀疏模型。我们证明了一个稠密的词汇模型Λ可以被训练来模仿一个稀疏的词汇模型,SPAR是通过用Λ来增强一个标准的稠密检索器来构建的。从经验上看,SPAR在一系列任务上表现出卓越的性能,包括五个问答数据集,MS MARCO段落检索,以及用于域外评估的BattletyQuestions和BEIR基准,超过了最先进的密集和稀疏检索器的性能。SPAR的代码和型号可在以下网址获得:https://github.com/facebookresearch/dpr-scale/tree/main/spar
2022-11-11 cs.CL cs.IR cs.LG
Boot and Switch: Alternating Distillation for Zero-Shot Dense Retrieval
School of Computing and Information Systems(计算与信息系统学院);The University of Melbourne(墨尔本大学);Google DeepMind(谷歌DeepMind)
本文提出无监督交替蒸馏方法ABEL,通过稠密检索器与重排序器相互提供监督信号迭代提升,在BEIR基准上超越有监督和无监督检索器,并具备强零样本领域适应能力。
2023-11-27 cs.CL cs.IR
TurkColBERT: A Benchmark of Dense and Late-Interaction Models for Turkish Information Retrieval
NewMind AI
TurkColBERT通过比较密集编码器和晚期交互模型,展示了在土耳其信息检索中的高效参数利用和性能提升。
2025-11-20 cs.AI cs.CL cs.IR
RetroMAE v2: Duplex Masked Auto-Encoder For Pre-Training Retrieval-Oriented Language Models
Beijing University of Posts and Telecommunications(北京邮电大学);Huawei Technologies Ltd. Co.(华为技术有限公司)
为了更好地支持检索应用,如网络搜索和问答,越来越多的努力,开发面向检索的语言模型。现有的大多数工作都集中在提高[CLS]令牌的上下文嵌入的语义表示能力。然而,最近的研究表明,除了[CLS]之外的普通标记可能会提供额外的信息,这有助于产生更好的表征效果。因此,有必要扩展当前的方法,其中所有上下文嵌入都可以联合预训练用于检索任务。基于这种动机,我们提出了一种新的预训练方法:双工掩码自动编码器,a.k.a. DupMAE,其目标是提高[CLS]和普通令牌的上下文嵌入的语义表示能力。它引入了两个解码任务:一个是基于[CLS]嵌入重建原始输入句子,另一个是基于整个普通标记的嵌入最小化输入句子的词袋损失(BoW)。将两种译码损失相加,训练出统一的编码模型。在降维和聚合之后,来自[CLS]和普通令牌的嵌入被连接为输入的一个统一的语义表示。DupMAE很简单,但在经验上很有竞争力:解码成本很小,它大大有助于模型的表示能力和可转移性,在MS MARCO和BEIR基准上实现了显着的改进。
2022-11-16 cs.CL cs.IR
2D Matryoshka Training for Information Retrieval
The University of Queensland(昆士兰大学);CSIRO(联邦科学与工业研究组织)
针对二维套娃训练两种实现存在差异的问题,本研究复现并评估其在STS和检索任务上的表现,发现其在子维度上优于传统方法但不及特定设置单独训练模型,还探索了更适合检索任务的实现方式并提供复现代码。
2024-11-26 cs.CL cs.IR
BERM: Training the Balanced and Extractable Representation for Matching to Improve Generalization Ability of Dense Retrieval
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出BERM方法,通过将段落分割为单元并施加语义单元平衡与关键匹配单元可提取性约束,捕获细粒度且面向查询的匹配信号,有效提升了稠密检索在未见域的泛化能力且无额外开销。
2023-05-18 cs.CL cs.IR
Multi-Vector Retrieval as Sparse Alignment
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Google Research(谷歌研究院)
多向量检索模型在许多信息检索任务上优于单向量双编码器。在本文中,我们铸造的多向量检索问题的查询和文档标记之间的稀疏对齐。我们提出了AligneR,一种新的多向量检索模型,学习查询和文档标记(例如“狗”与“小狗”)之间的稀疏成对对齐,以及反映其相对重要性的每标记一元显着性检索。我们表明,控制成对令牌对齐的稀疏性往往会带来显着的性能增益。虽然大多数聚焦于文档的特定部分的仿真问题需要较少数量的对齐,但其他需要对文档有更广泛理解的问题则倾向于更多数量的对齐。另一方面,一元显着性决定了一个token是否需要与其他token对齐以进行检索(例如,“kind”来自“kind of currency is used in new zealand}”)。利用稀疏化的一元显著性,我们能够修剪大量的查询和文档标记向量,提高多向量检索的效率。我们使用熵正则化线性规划来学习稀疏的一元显著性,这比其他方法更能实现稀疏性。在zero-shot设置中,AligneR在nDCG@10中得分为51.1分,在BEIR基准测试中的13项任务中实现了新的仅回收器的最先进水平。此外,采用几个示例(<= 8)的成对比对进一步提高了参数检索任务的性能,最高可达15.7分nDCG@10。AligneR的一元显着性帮助我们仅保留20%的文档标记表示,性能损失最小。我们进一步表明,我们的模型通常产生可解释的对齐,并显着提高其性能时,从…
2022-11-02 cs.CL cs.IR
Unsupervised Domain Adaption for Neural Information Retrieval
HiTZ Basque Center for Language Technologies(HiTZ巴斯克语言技术中心);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
本文对比了大型语言模型与规则方法在神经信息检索合成数据生成中的效果,发现前者大幅领先,且无监督域适应优于零样本,中等规模模型即可胜任。
2023-10-13 cs.AI cs.CL
Disentangling Questions from Query Generation for Task-Adaptive Retrieval
Seoul National University(首尔大学)
本文提出EGG查询生成器,将高级搜索意图编译为任务自适应查询,在BeIR基准上以更小模型超越基线,证明显式意图指导是关键。
2024-09-25 cs.CL
Rethinking the Role of Token Retrieval in Multi-Vector Retrieval
Google DeepMind(谷歌DeepMind)
本文提出 XTR 多向量检索模型,通过新目标函数优先检索重要文档 token,使评分仅依赖检索到的 token,成本较 ColBERT 降低两到三个数量级,并在 BEIR 上提升 nDCG@10 达 2.8。
2024-04-08 cs.CL cs.IR
FeB4RAG: Evaluating Federated Search in the Context of Retrieval Augmented Generation
The University of Queensland(昆士兰大学);CSIRO(联邦科学与工业研究组织)
本文提出了专为RAG框架内联邦搜索设计的新数据集FeB4RAG,包含790个查询和LLM相关性判断,并证明高质量联邦搜索系统优于朴素方法。
2024-02-19 cs.CL cs.IR
Promptriever: Instruction-Trained Retrievers Can Be Prompted Like Language Models
Johns Hopkins University(约翰斯·霍普金斯大学);Samaya AI(萨马亚人工智能公司)
本研究提出首个可像语言模型一样被提示的检索模型Promptriever,基于MS MARCO构建近50万实例的指令训练集,在相关性指令遵循、查询鲁棒性、提示式超参搜索上均取得显著提升,为检索模型的提示控制研究奠定基础。
2024-09-17 cs.CL cs.IR cs.LG
From Retrieval to Generation: Comparing Different Approaches
University of Innsbruck(因斯布鲁克大学)
本研究系统比较了检索、生成及混合模型在开放域问答和检索增强任务中的性能,发现DPR在NQ上top-1达50.17%,混合模型提升BEIR nDCG@10至52.59,而BM25在WikiText-103上困惑度更低。
2025-02-27 cs.CL
Recurrence-Enhanced Vision-and-Language Transformers for Robust Multimodal Document Retrieval
University of Modena and Reggio Emilia(摩德纳与雷焦艾米利亚大学);IIT-CNR(意大利国家研究委员会信息科学与技术研究所)
本文提出ReT模型,通过基于Transformer的递归单元和LSTM启发的sigmoid门控整合多级视觉与文本特征,支持多模态查询在交错图文文档中检索,在M2KR和M-BEIR基准上达到最先进性能。
2025-03-03 cs.AI cs.CL cs.CV
Systematic Evaluation of Neural Retrieval Models on the Touché 2020 Argument Retrieval Subset of BEIR
该研究针对神经检索模型在BEIR基准的Touché 2020论辩检索子集上效果远差于BM25的问题,通过黑盒评估和数据去噪实验分析局限,发现模型短段落偏差与标注缺失问题,去噪后模型效果提升但仍不及BM25,同时公开了代码与增强数据集。
2024-07-10 cs.IR
Byte-Exact Deduplication in Retrieval-Augmented Generation: A Three-Regime Empirical Analysis Across Public Benchmarks
Corbenic AI, Inc.(Corbenic AI公司)
本文通过三种不同模式的实证分析,展示了检索增强生成中字节精确去重技术在减少上下文量方面的效果,并证明其在保持模型质量方面无显著退化。
2026-05-10 cs.CL
Query Expansion Should Be Coordinated: Dense Expands, Sparse Anchors
School of Computing and Artificial Intelligence(计算机与人工智能学院);Southwest Jiaotong University(西南交通大学)
本研究提出DESA通道非对称查询扩展方法,在7个BEIR数据集上提升检索指标,同时降低访问深度,为生成段落的通道特定整合及检索效果与访问深度的联合评估提供支撑。
2026-09-01 cs.CL cs.IR
JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking
Salesforce AI Research(Salesforce AI研究院)
针对大语言模型在推理密集型检索重排序中缺乏细致分析的问题,提出模拟人类认知的三阶段智能体重排序器JudgeRank,在BRIGHT、BEIR基准上表现优异且具备良好的零样本泛化与多模型集成提升能力。
2024-10-31 cs.AI cs.CL
From Association to Causation: Improving Retrieval Precision of Retrieval-Augmented Generation via Causal Relations and an Attention Mechanism
Hangzhou Innovation Institute, Beihang University(北京航空航天大学杭州创新研究院)
该研究针对RAG检索阶段仅捕捉关联关系的问题,通过建模检索过程的因果结构,提出一种无需训练的注意力式重评分规则,在企业知识库和关键词堆砌语料库上显著提升了检索精度。
2026-11-02 cs.AI cs.CL
UEmbed: Unified Sparse and Dense Multimodal Embeddings
CASIA(中国科学院自动化研究所);Alibaba Group(阿里巴巴集团);University of Chinese Academy of Sciences(中国科学院大学);Yale University(耶鲁大学)
UEmbed是一种仅解码器的多模态嵌入模型,可单次前向传播生成稀疏与稠密表示,在MMEB-v2和BEIR上表现优异,统一了两类嵌入并支持多模态智能体应用。
2026-08-04 cs.AI cs.CL cs.CV
RetroMAE-2: Duplex Masked Auto-Encoder For Pre-Training Retrieval-Oriented Language Models
Beijing University of Posts and Telecommunications(北京邮电大学);Huawei Technologies Ltd. Co.(华为技术有限公司)
为了更好地支持诸如web搜索和开放域问答的信息检索任务,越来越多的努力被用于开发面向检索的语言模型,例如,Retromae和许多其他人。大多数现有的工作集中在提高[CLS]令牌的上下文嵌入的语义表示能力。然而,最近的研究表明,除了[CLS]之外的普通标记可能会提供额外的信息,这有助于产生更好的表征效果。因此,有必要扩展当前的方法,其中所有上下文嵌入都可以联合预训练用于检索任务。在这项工作中,我们提出了一种新的预训练方法,称为双工掩蔽自动编码器,又名。Dupmae。它旨在提高语义表示的质量,其中可以利用预训练模型的所有上下文嵌入。它利用了两个互补的自动编码任务:一个是在[CLS]嵌入的基础上重建输入句子;另一个是基于普通标记的嵌入来预测输入句子的词袋特征。这两个任务共同进行训练一个统一的编码器,其中整个上下文嵌入聚合在一个紧凑的方式,以产生最终的语义表示。DupMAE很简单,但在经验上很有竞争力:它大大提高了预训练模型的表示能力和可移植性,在流行的基准测试中可以实现卓越的检索性能,如MS MARCO和BEIR。
2023-05-04 cs.CL
Multi-Vector Index Compression in Any Modality
Johns Hopkins University(约翰霍普金斯大学)
本文提出注意力引导聚类方法,用于在任意模态中高效压缩多向量索引,提升检索性能。
2026-02-24 cs.CL cs.CV cs.IR
ProRank: Prompt Warmup via Reinforcement Learning for Small Language Models Reranking
Mixedbread AI;The Hong Kong Polytechnic University(香港理工大学)
本文提出ProRank方法,通过强化学习提升小语言模型对任务提示的理解,结合细粒度分数学习增强表示能力,实验证明其在文档重排序任务中优于现有模型,尤其在BEIR基准上表现突出。
2026-04-15 cs.CL cs.IR
Parameterized Dense-Sparse Fusion for Hybrid Retrieval: Tuning a Rank-Score Mix on BEIR SciFact with Qdrant
Involead Services Pvt. Ltd.(Involead服务私人有限公司)
本研究提出参数化稠密-稀疏融合混合检索器,在SciFact上通过网格搜索调优参数,达到0.753 nDCG@10,优于稠密BGE和等权重RRF,并验证系数需按数据集调整。
2026-09-23 cs.AI cs.IR
vstash: Local-First Hybrid Retrieval with Adaptive Fusion for LLM Agents
vstash通过自适应融合和自监督嵌入优化,提升LLM代理在多数据集上的检索性能,实现NDCG@10的显著提升。
2026-04-16 cs.IR
Test-Time Training for Zero-Resource Dense Retrieval Reranking
Huazhong University of Science and Technology(华中科技大学);ByteDance(字节跳动)
提出 DART 方法,通过测试时自适应双线性评分矩阵,利用伪正负样本进行少量梯度更新,在零资源下提升稠密检索重排性能。
2026-05-31 cs.AI cs.IR cs.LG
Text Embeddings by Weakly-Supervised Contrastive Pre-training
Microsoft Corporation(微软公司)
本文提出基于弱监督对比预训练的文本嵌入模型E5,利用大规模文本对数据集CCPairs训练,在零样本和微调场景下于BEIR和MTEB基准上取得领先性能。
2024-02-22 cs.CL cs.IR
Streamlining Conformal Information Retrieval via Score Refinement
Verily AI (Google Life Sciences)(Verily AI(谷歌生命科学));Technion(以色列理工学院)
针对现有共形信息检索方法生成集合规模大、成本高的问题,提出对检索分数做单调变换的分数精炼法,在保留统计保证的同时缩小共形集,经BEIR基准验证可生成含相关信息的紧凑集合。
2024-10-03 cs.AI cs.IR cs.LG
LaPraDoR: Unsupervised Pretrained Dense Retriever for Zero-Shot Text Retrieval
University of California, San Diego(加州大学圣地亚哥分校);Microsoft Research Asia(微软亚洲研究院);Sun Yat-sen University(中山大学)
在本文中,我们提出了LaPraDoR,这是一种预训练的双塔密集检索器,不需要任何监督数据进行训练。具体来说,我们首先提出迭代对比学习(ICoL),迭代训练查询和文档编码器的缓存机制。ICoL不仅扩大了负实例的数量,而且还将缓存示例的表示保持在相同的隐藏空间中。然后,我们提出了词汇增强的稠密检索(LEDR)作为一个简单而有效的方法来提高稠密检索与词汇匹配。我们评估LaPraDoR最近提出的BEIR基准,包括18个数据集的9个zero-shot文本检索任务。实验结果表明,与有监督的稠密检索模型相比,LaPraDoR具有最先进的性能,进一步的分析揭示了我们的训练策略和目标的有效性。与重新排名相比,我们的词汇增强方法可以在毫秒内运行(快22.5倍),同时实现卓越的性能。
2022-04-27 cs.AI cs.CL cs.IR
LLM2IR: simple unsupervised contrastive learning makes long-context LLM great retriever
Computer Science(计算机科学)
LLM2IR通过简单无监督对比学习将长上下文LLM转化为高效检索器,验证了上下文长度与检索能力的关系。
2025-10-31 cs.AI cs.CL cs.IR
Injecting Domain Adaptation with Learning-to-hash for Effective and Efficient Zero-shot Dense Retrieval
University of Waterloo(滑铁卢大学)
针对直接应用学习哈希技术会降低零样本稠密检索性能的问题,提出将领域适配注入有监督学习哈希的方法,在保持内存与速度效率的同时显著提升零样本检索效果。
2023-07-19 cs.AI cs.IR cs.LG
HAKARI-Bench: A Lightweight Benchmark for Comparing Retrieval Architectures and Efficiency Settings under Unified Conditions
MIT License(MIT许可证)
提出HAKARI-Bench轻量级基准,通过重构现有检索套件为统一格式的小型数据集,实现五种检索家族及其效率变体的同条件比较,在排名上高保真复现MTEB等大型基准。
2026-06-23 cs.CL cs.IR
In Defense of Cross-Encoders for Zero-Shot Retrieval
NeuralMind;UNICAMP(坎皮纳斯大学);Zeta Alpha
双编码器和交叉编码器广泛用于许多最先进的检索管道中。在这项工作中,我们研究的泛化能力,这两种类型的架构上的一个广泛的参数计数域内和域外的情况。我们发现,参数的数量和交叉编码器的早期查询文档的相互作用在检索模型的泛化能力发挥了重要作用。我们的实验表明,增加模型大小的结果在域内测试集的边际收益,但更大的收益在新的领域从未见过在微调。此外,我们表明,交叉编码器在很大程度上优于类似大小的双编码器在几个任务。在BEIR基准测试中,我们最大的交叉编码器超过最先进的双向编码器超过4个平均点。最后,我们表明,使用双编码器作为第一阶段检索器相比,一个更简单的检索器,如BM 25的域外任务,没有提供任何收益。代码可在www.example.com上获得
2022-12-12 cs.CL cs.IR
UnIte: Uncertainty-based Iterative Document Sampling for Domain Adaptation in Information Retrieval
Interdisciplinary Program in Artificial Intelligence(人工智能交叉学科项目);Seoul National University(首尔国立大学)
UnIte通过过滤高aleatoric不确定性文档和优先选择高epistemic不确定性文档,提升领域适应的效率和质量,在BEIR数据集上实验显示显著提升nDCG@10性能。
2026-04-28 cs.AI cs.IR
Zero-Shot Dense Retrieval with Momentum Adversarial Domain Invariant Representations
University of Waterloo(滑铁卢大学);Microsoft(微软公司)
稠密检索(DR)方法通过首先在嵌入空间中对文本进行编码,然后通过最近邻搜索来匹配它们来进行文本检索。这需要来自表示空间的强局部性,即,相关文本的每个小组的紧密分配,这在没有足够的训练数据的情况下难以推广到域。在zero-shot设置下,本文旨在提高DR模型从具有丰富监督信号的源训练域到没有任何相关标签的目标域的泛化能力。为了实现这一点,我们提出了动量对抗域不变表示学习(Mod),它在DR训练过程中引入动量方法来训练区分源与目标的域分类器,然后对抗地更新DR编码器以学习域不变表示。我们的实验表明,在zero-shot设置中,Mosteums在BEIR基准测试的10+排名数据集上的表现优于其基线,在数据集上的相对增益超过10%,具有足够的灵敏度用于DR模型的评估。本文的源代码将发布。
2021-10-14 cs.CL cs.IR cs.LG