Improving Query Representations for Dense Retrieval with Pseudo Relevance Feedback: A Reproducibility Study
伪相关反馈(PRF)利用来自第一轮检索的前k个段落的相关性信号来执行旨在提高搜索效率的第二轮检索。最近的研究方向是研究和开发用于基于深度语言模型的排序器的PRF方法,特别是在密集检索器的上下文中。与更复杂的神经排名器相比,密集检索器提供了有效性与查询延迟之间的权衡,有效性与更复杂的神经排名器相比通常会降低,查询延迟也会降低,从而使检索管道更有效。密集型寻回犬的PRF方法的引入是为了进一步提高其有效性。在本文中,我们复制和研究了最近的方法与密集的检索器,称为ANCE-PRF。该方法将查询文本和前k个反馈通道的文本连接起来以形成新的查询输入,然后使用基于用于第一轮检索的原始密集检索器的新训练的查询编码器将其编码为密集表示。虽然该方法可以潜在地应用于任何现有的密集回收,以前的工作只研究了它的上下文中的ANCE密集回收。我们研究了ANCE-PRF的再现性,在其训练(编码的PRF信号)和推理(排名)步骤。我们进一步扩展了原始工作中提供的实证分析,以研究控制训练过程的超参数的影响以及该方法在这些不同设置中的鲁棒性。最后,我们贡献了一个研究的ANCE-PRF方法的普适性时,密集的检索器以外的其他ANCE用于第一轮的检索和编码的PRF信号。
2023-03-21 cs.IR
A Unified Generative Retriever for Knowledge-Intensive Language Tasks via Prompt Learning
针对知识密集型语言任务专用检索器泛化差、部署成本高的问题,提出统一生成式检索器UGR,通过基于n-gram的标识符统一检索形式、提示学习适配不同任务,在KILT基准上验证了其有效性与泛化能力。
2023-04-28 cs.IR
Silver Retriever: Advancing Neural Passage Retrieval for Polish Question Answering
Polish Academy of Sciences(波兰科学院)
本文提出面向波兰语的神经段落检索模型 Silver Retriever,在多样化标注数据上训练,性能显著优于现有波兰语模型,并开源五个新数据集。
2024-02-22 cs.CL cs.IR
Multivector Reranking in the Era of Strong First-Stage Retrievers
ISTI-CNR(ISTC-国家研究委员会);University of Pisa(比萨大学)
本文提出了一种两阶段检索方法,通过替换token级收集阶段为单向量文档检索器,显著提升了检索效率,同时保持了高质量的检索效果。
2026-01-16 cs.IR
Argus-Retriever: Vision-LLM Late-Interaction Retrieval with Region-Aware Query-Conditioned MoE for Visual Document Retrieval
University of Innsbruck(因斯布鲁克大学);Chungbuk National University(忠北国立大学)
提出Argus系列查询条件后期交互检索器,通过区域感知混合专家模块使文档表示依赖查询,在ViDoRe基准上以更低维度和更少训练数据取得领先性能。
2026-06-03 cs.IR
Early Stage Sparse Retrieval with Entity Linking
尽管他们的低资源设置的优势,传统的稀疏检索依赖于精确的匹配方法之间的高维词袋(BoW)表示的查询和收集。因此,检索性能受到语义差异和词汇空缺的限制。另一方面,基于transformer的密集检索器通过利用语料库的低维上下文化表示来显著改进信息检索任务。虽然密集检索器以其相对有效性而闻名,但与稀疏检索器相比,它们的效率较低且缺乏泛化问题。对于轻量级检索任务,高计算资源和时间消耗是鼓励放弃密集模型的主要障碍,尽管有潜在的收益。在这项工作中,我们建议通过扩展查询和具有两种格式的实体名称的链接实体的文档来提高稀疏检索器的性能:1)显式和2)散列。我们采用了一个zero-shot的端到端密集实体链接系统的实体识别和消歧,以增加语料库。通过利用先进的实体链接方法,我们相信稀疏和密集检索器之间的有效性差距可以缩小。我们在MS MARCO通道数据集上进行实验。由于我们关注的是大型信息检索系统的级联排名架构中的早期检索,我们使用recall@1000来评估我们的结果。我们的方法也能够检索文件的查询子集判断是特别困难的,在以前的工作。我们进一步证明了非扩展和扩展运行与显式和散列实体检索互补的结果。因此,我们采用了运行融合的方法,以最大限度地提高实体链接的好处。
2022-08-10 cs.IR
SAGE: Structure Aware Graph Expansion for Retrieval of Heterogeneous Data
University of Pennsylvania(宾夕法尼亚大学);Arizona State University(亚利桑那州立大学)
SAGE通过构建结构感知的图扩展框架,在异构数据检索中提升召回率,采用混合检索与代理策略实现多模态证据链检索。
2026-02-18 cs.IR
SHIFT: Self-reconstruction Harnesses Implicit Fine-grained Thinking for Retrieval
Peking University(北京大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Beihang University(北京航空航天大学)
研究针对基于LLM的检索器存在的问题,提出SHIFT框架。通过残差投影等转换LLM为高效检索器,利用细粒度重建缓解不匹配,经实验验证其性能优于其他检索器,为信息检索提供新方法。
2026-07-24 cs.IR
KG-Retriever: Efficient Knowledge Indexing for Retrieval-Augmented Large Language Models
Beijing University of Posts and Telecommunications(北京邮电大学);University of Science and Technology Beijing(北京科技大学);Xiaomi Corporation(小米公司)
本文提出KG-Retriever框架,通过知识图谱层与协作文档层构成的分层索引图增强文档连通性,缓解多跳问答中的信息碎片化问题,并在五个QA数据集上验证了其检索效果与效率。
2025-05-05 cs.AI cs.IR
Information Retrieval with Entity Linking
针对传统稀疏检索器受语义差异和词汇鸿沟限制的问题,提出用显式和哈希两种格式的链接实体扩展查询与文档,结合零样本稠密实体链接系统增强语料库,在MS MARCO数据集上有效提升稀疏检索性能并缩小与稠密检索器的差距。
2024-04-07 cs.IR
RAGFlip: Measuring Query-Level Negative Flips in Retriever Upgrades
Yale School of Medicine(耶鲁医学院)
本文提出RAGFlip,研究检索器升级中查询级负面翻转现象,发现替代检索器虽提升整体覆盖率但导致部分BM25成功查询回退,建议评估时结合查询级兼容性。
2026-10-07 cs.IR
A Systematic Multi-Domain Evaluation of Document Retrievers
University of Konstanz(康斯坦茨大学)
本研究对33个文档检索器在七个数据集上进行大规模实证评估,发现NV-Embed-v2性能最强但延迟高,SPLADE-v3以低延迟媲美顶尖方法,并揭示了检索器失败点中的潜在改进空间。
2026-09-25 cs.IR
Is Position Bias in Dense Retrievers Built In-or Learned from Data?
Sionic AI(Sonic AI)
研究密集检索器中位置偏差的来源,通过构造位置偏斜的训练集微调模型,发现训练数据中证据的位置分布是影响检索级偏差方向的主要可控因素,并验证了位置平衡训练可显著降低位置敏感性。
2026-09-04 cs.IR
Dense Hierarchical Retrieval for Open-Domain Question Answering
密集型神经文本检索在开放域问答(QA)中取得了令人鼓舞的成果,其中问题和段落的潜在表示被利用来在检索过程中进行最大内积搜索。然而,目前的密集检索器需要分裂成短的段落,通常包含本地,部分,有时偏见的背景下,并高度依赖于分裂过程的文件。因此,它可能会产生不准确和误导的隐藏表示,从而恶化最终的检索结果。在这项工作中,我们提出了密集层次检索(DHR),层次结构框架,可以生成准确的密集表示的通道,利用宏观语义的文件和微观语义特定于每个通道。具体地说,文档级检索器首先识别相关文档,然后由文档级检索器检索其中的相关段落。检索到的段落的排名将通过检查文档级别的相关性来进一步校准。此外,分层标题结构和两个负抽样策略(即,In-Doc和In-Sec阴性)。我们将DHR应用于大规模开放域QA数据集。DHR显著优于原始的密集通道检索器,并帮助端到端QA系统在多个开放域QA基准上优于强基线。
2021-10-28 cs.IR
I^3 Retriever: Incorporating Implicit Interaction in Pre-trained Language Models for Passage Retrieval
针对双编码器忽略查询-段落交互导致性能受限的问题,提出I^3检索器,通过生成伪查询模拟交互并端到端联合优化,保持推理效率的同时提升检索效果,在MSMARCO和TREC2019上取得最先进性能。
2024-03-20 cs.IR
HASH-RAG: Bridging Deep Hashing with Retriever for Efficient, Fine Retrieval and Augmented Generation
Hash-RAG 通过深度哈希直接从知识库学习二进制码以提升检索效率,并设计 PGCC 模块增强大模型上下文感知,在多个问答数据集上实现检索时间降低 90% 且 EM 分数提升 1.4-4.3%。
2025-06-03 cs.IR
ScalingNote: Scaling up Retrievers with Large Language Models for Real-World Dense Retrieval
ScalingNote提出两阶段方法,先用同一LLM初始化双塔释放稠密检索潜力,再仅蒸馏查询塔以控制在线延迟,在工业场景中验证了LLM稠密检索的扩展定律并提升检索相关性。
2024-11-24 cs.IR
GPR: Empowering Generation with Graph-Pretrained Retriever
The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出直接在图知识图谱上预训练的检索器GPR,通过LLM引导的图增强和结构感知目标学习细粒度检索策略,在多个数据集和LLM骨干上持续提升GRAG的检索质量与下游生成效果。
2025-06-03 cs.CL cs.IR
Masking or Mitigating? Deconstructing the Impact of Query Rewriting on Retriever Biases in RAG
Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校赛贝尔计算与数据科学学院);Adobe Research(Adobe研究院);Inception Labs;Indian Institute of Science(印度科学研究所)
本文研究查询重写技术对RAG系统中检索偏见的影响,发现简单LLM重写能显著降低偏见,但对抗条件下效果受限。分析揭示两种机制:简单重写通过增加分数方差降低偏见,伪文档生成通过真实去相关性降低偏见。
2026-04-20 cs.IR
Fine-Grained Guidance for Retrievers: Leveraging LLMs' Feedback in Retrieval-Augmented Generation
Zhejiang University(浙江大学);Shanghai Jiao Tong University(上海交通大学)
提出FiGRet框架,利用LLM构建细粒度示例引导检索器学习,对齐LLM偏好,提升RAG系统性能。
2024-11-06 cs.AI cs.IR
Semantic Search for Information Retrieval
本研究综述信息检索从词汇技术到语义检索器的发展,介绍BM25基线及DPR、ColBERT、SPLADE、MonoT5等现代语义检索模型,还探讨评估策略、挑战与未来方向。
2025-08-25 cs.IR
AttentionRetriever: Attention Layers are Secretly Long Document Retrievers
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
AttentionRetriever通过结合注意力机制和实体检索,实现高效长文档检索,优于现有方法并保持高效性能。
2026-02-12 cs.AI cs.IR
IMRNNs: An Efficient Method for Interpretable Dense Retrieval via Embedding Modulation
University of Maryland, Baltimore County(马里兰大学巴尔的摩分校)
IMRNNs通过动态嵌入调节提升密集检索的可解释性和检索效果
2026-01-27 cs.IR
DUPAR: Dual-Path Conversational Retrieval via Speech Retriever with Cross-Turn Evidence Caching
Shandong University(山东大学);Li Auto Inc.(理想汽车);Tsinghua University(清华大学)
DUPAR通过双路径对话检索框架,利用跨轮证据缓存和语音编码器,在保持检索准确率的同时实现3.75倍加速,并显著提升噪声环境下的检索性能。
2026-09-17 cs.IR
SEINE: SEgment-based Indexing for NEural information retrieval
提出基于片段的神经索引方法SEINE,通过片段级倒排索引存储查询-文档交互值,灵活支持多种基于交互的神经检索方法,在MQ2007和MQ2008数据集上实现最高28倍加速且不损失检索有效性。
2023-11-27 cs.IR
Improving Multitask Retrieval by Promoting Task Specialization
Rutgers University(罗格斯大学);Microsoft(微软)
本文提出通过选择多任务优化的预训练模型与自适应学习方法促进任务特化,训练出在 KILT 基准上优于任务特定检索器的多任务检索器。
2023-07-01 cs.CL cs.IR
Improving Biomedical Information Retrieval with Neural Retrievers
Arizona State University(亚利桑那州立大学);Microsoft(微软)
信息检索(IR)在搜索引擎和对话系统以及自然语言处理任务(例如开放域问答)中是必不可少的。信息检索在生物医学领域发挥着重要作用,因为生物医学领域的科学知识的内容和来源可能会迅速发展。虽然神经检索器在标准开放域问答任务中已经超过了传统的IR方法,如TF-IDF和BM 25,但它们在生物医学领域仍然存在不足。在本文中,我们试图改善信息检索(IR)在生物医学领域使用神经检索器(NR),并实现这一目标,使用三管齐下的方法。首先,为了解决生物医学领域数据相对缺乏的问题,我们提出了一种基于模板的问题生成方法,可以用来训练神经检索模型。其次,我们开发了两个新的预训练任务,这些任务与信息检索的下游任务密切相关。第三,我们引入了“Poly-DPR”模型,该模型将每个上下文编码为多个上下文向量。对BioASQ挑战的广泛实验和分析表明,我们提出的方法比现有的神经方法有很大的增益,并且在小语料库环境中击败了BM 25。我们表明,BM 25和我们的方法可以相互补充,一个简单的混合模型导致在大型语料库设置的进一步收益。
2022-01-19 cs.CL cs.IR
The Case Against Generation for Retrieval: Discriminative Language Models as Effective Retrievers
Meta
研究探讨大语言模型用于检索的问题,通过将其作为语义表示主干重振双塔检索架构,引入创新的双塔框架,经实验评估,该架构在公共基准和生产系统中表现出色,证明传统双塔范式结合现代学习后在工业检索中仍具竞争力。
2026-07-29 cs.IR
Tracing Query Expansion Effects through Sparse Autoencoder Features
Shandong University(山东大学);University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
本研究利用稀疏自编码器特征追踪查询扩展对稠密检索器的内部影响,发现有效扩展引起层集中的潜在特征变化,并通过激活引导验证其能更一致地提升检索性能。
2026-09-09 cs.IR
When Should Dense Retrievers Be Updated in Evolving Corpora? Detecting Out-of-Distribution Corpora Using GradNormIR
Seoul National University(首尔国立大学);POSTECH;Samsung SDS(三星SDS)
本文提出新任务,即在索引前检测语料库相对于稠密检索器是否为分布外,并设计无监督方法 GradNormIR 利用梯度范数进行检测,在 BEIR 上验证其能实现及时更新并提升检索稳健性与效率。
2025-06-02 cs.CL cs.IR
Salient Phrase Aware Dense Retrieval: Can a Dense Retriever Imitate a Sparse One?
Meta AI
尽管其最近的流行和众所周知的优势,密集检索器仍然落后于稀疏的方法,如BM 25在其可靠地匹配查询中的突出短语和罕见的实体,并推广到域外数据的能力。有人认为,这是密集模型的固有局限性。我们反驳这种说法,通过引入显着短语感知检索器(SPAR),一个密集的检索与词汇匹配能力的稀疏模型。我们证明了一个稠密的词汇模型Λ可以被训练来模仿一个稀疏的词汇模型,SPAR是通过用Λ来增强一个标准的稠密检索器来构建的。从经验上看,SPAR在一系列任务上表现出卓越的性能,包括五个问答数据集,MS MARCO段落检索,以及用于域外评估的BattletyQuestions和BEIR基准,超过了最先进的密集和稀疏检索器的性能。SPAR的代码和型号可在以下网址获得:https://github.com/facebookresearch/dpr-scale/tree/main/spar
2022-11-11 cs.CL cs.IR cs.LG
Intermediate Distillation: Data-Efficient Distillation from Black-Box LLMs for Information Retrieval
针对黑盒 LLM 无法通过权重或输出概率提供蒸馏监督的问题,提出仅用排序生成结果的 LLM-ranker-retriever 中间蒸馏方案,以 1,000 个实例提升检索器及 RAG 问答性能。
2024-06-18 cs.IR
RAGPart & RAGMask: Retrieval-Stage Defenses Against Corpus Poisoning in Retrieval-Augmented Generation
University of Maryland College Park(马里兰大学帕克分校);Peraton Labs(佩拉顿实验室);Capital One(第一资本)
本文提出RAGPart和RAGMask两种检索阶段防御方法,用于对抗RAG中语料污染攻击,通过文档分区和标记遮蔽技术降低攻击成功率,提升RAG系统的鲁棒性。
2025-12-30 cs.IR
DeepRetrieval: Hacking Real Search Engines and Retrievers with Large Language Models via Reinforcement Learning
DeepRetrieval提出一种无需监督数据的强化学习方法训练LLM生成查询,以检索指标为奖励,在多个检索任务上以3B参数超越GPT-4o等领先模型。
2025-04-12 cs.IR
Embark on DenseQuest: A System for Selecting the Best Dense Retriever for a Custom Collection
本研究提出了名为DenseQuest的网页应用系统,可针对用户上传的私有自定义语料库,借助含LLM驱动方法在内的多种无监督方案,无需查询和标注即可选出最优预训练稠密检索器,云端部署便于检索领域从业者使用。
2024-07-09 cs.IR
Boosted Dense Retriever
Meta AI
我们提出了DrBoost,一个稠密检索合奏的灵感来自boosting。DrBoost是分阶段训练的:每个组件模型被顺序地学习,并且通过仅关注由当前集合产生的检索错误而被专门化。最终的表示是所有组件模型的输出向量的连接,使其在测试时成为标准密集检索器的直接替代品。与标准的稠密检索模型相比,DrBoost具有几个优点。它产生的表示是4倍更紧凑,同时提供可比的检索结果。它在粗略量化的近似搜索下也表现得非常好,将延迟和带宽需求再减少4倍。在实践中,这可以在从磁盘和从内存提供索引之间产生差异,为更便宜的部署铺平道路。
2021-12-14 cs.CL cs.IR
Understanding the Behaviors of Environment-aware Information Retrieval
Fudan University(复旦大学);Alibaba DAMO Academy(阿里巴巴达摩院);Chinese University of Hong Kong(香港中文大学);Stanford University(斯坦福大学);Shanghai University of Finance and Economics(上海财经大学)
通过强化学习使LLM适应不同检索器的查询策略,发现不同检索器偏好不同查询风格,并提出分支式滚动技术提升训练稳定性。
2026-06-16 cs.CL cs.IR
Ultron: An Ultimate Retriever on Corpus with a Model-based Indexer
文献检索在索引检索框架下已经被广泛研究了几十年,它经受住了时间的考验。不幸的是,这种流水线框架限制了最终检索质量的优化,因为索引和检索是分离的阶段,不能以端到端的方式联合优化。为了统一这两个阶段,我们探讨了一个基于模型的索引文件检索。具体来说,我们提出了Ultron,它将所有文档的知识编码到模型中,旨在端到端地直接检索相关文档。对于基于模型的索引器来说,如何表示文档和如何训练模型是需要探索的两个主要问题。现有的解决方案遭受语义缺陷docids和有限的监督数据。为了解决这两个问题,首先,我们设计了两种类型的docids,更丰富的语义和更容易的模型推理。此外,我们提出了一个三阶段的训练工作流程,以捕获更多的知识包含在语料库和查询和docids之间的关联。在两个公共数据集上的实验证明了Ultron在文档检索方面优于高级基线。
2022-08-19 cs.IR
Latent Terms: Dense Retrievers Contain Trivially Extractable BM25-ready Zipfian Vocabularies
Mixedbread AI;National Institute of Informatics(国家信息研究所);University of Tsukuba(筑波大学)
提出潜在词方法,揭示密集检索模型(单向量或多向量)学习到的表示可轻易分解为稀疏特征,通过稀疏自编码器提取潜在词汇表,无需检索特定调整即可直接用于BM25稀疏检索,匹配或超越原模型及SPLADE变体。
2026-05-28 cs.AI cs.CL cs.IR
Tevatron 2.0: Unified Document Retrieval Toolkit across Scale, Language, and Modality
本文介绍升级版 Tevatron 2.0 工具包,支持跨规模、跨语言和多模态的统一神经检索训练与评估,并发布首个统一文本、图像、视频和音频检索的 OmniEmbed 模型作为研究基线。
2025-05-05 cs.IR
Document Screenshot Retrievers are Vulnerable to Pixel Poisoning Attacks
本文提出三种针对基于视觉语言模型的文档截图检索器的像素投毒攻击方法,发现注入单张对抗性截图即可显著破坏检索结果,揭示了该类模型部署的潜在安全风险。
2025-01-28 cs.IR
ModernVBERT: Towards Smaller Visual Document Retrievers
Illuin Technology(Illuin 技术);EPFL(洛桑联邦理工学院);CentraleSupélec, Paris-Saclay(巴黎萨克雷中央理工-高等电力学院)
ModernVBERT通过优化视觉文档检索模型,实现了在文档检索任务中性能优于更大模型的高效轻量级模型。
2025-12-16 cs.IR
SmallReason-ColBERT: An Ultra-Small Late-Interaction Retriever for Reasoning Intensive Retrieval
University of Innsbruck(因斯布鲁克大学)
提出32M参数的SmallReason-ColBERT后期交互检索器,通过对比预热、难负样本精炼和重要性头训练,在BRIGHT上达到21.41 nDCG@10,接近150M模型,并证明学习头优于固定IDF加权。
2026-09-25 cs.IR
MLAIRE: Multilingual Language-Aware Information Retrieval Evaluation Protocol
Korea University(韩国大学)
本文提出MLAIRE评估协议,用于评估多语言信息检索中语言感知维度,引入语言偏好率和Lang-nDCG等指标,分析语义检索与查询语言偏好之间的差异。
2026-11-04 cs.IR
LLMs as Sparse Retrievers:A Framework for First-Stage Product Search
State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所人工智能安全重点实验室);University of Chinese Academy of Sciences(中国科学院大学);University of Amsterdam(阿姆斯特丹大学)
针对商品搜索中稀疏检索的词汇不匹配问题,以及大语言模型应用于稀疏检索的幻觉、训练初始化难问题,提出PROSPER框架,通过字面残差网络和词汇聚焦窗口优化,性能优于稀疏基线、召回率媲美先进稠密检索器,还能提升线上收入。
2025-10-22 cs.IR
Can Generative Retrievers Learn Semantic IDs Without Forgetting How to Speak?
University of Glasgow(格拉斯哥大学);Brave
针对生成式检索仅检索微调会扭曲模型语言分布的问题,提出双目标框架SpeakGR及自适应版本,在保留有效检索性能的同时大幅降低语言漂移,适配交互式系统需求。
2026-09-28 cs.IR
Unsupervised Multilingual Dense Retrieval via Generative Pseudo Labeling
National Taiwan University(国立台湾大学);Taiwan AI Labs(台湾人工智能实验室)
针对多语言稠密检索依赖大量配对数据的难题,提出无监督模型UMR,利用多语言大模型的序列似然估计生成伪标签,通过两阶段迭代框架训练,在两个基准数据集上超越有监督基线,且代码数据模型已开源。
2024-03-06 cs.CL cs.IR
NER Retriever: Zero-Shot Named Entity Retrieval with Type-Aware Embeddings
Computer Science Department, Bar-Ilan University(巴伊兰大学计算机科学系)
针对无预定义类型的即席命名实体检索问题,提出基于大语言模型中间层value向量和轻量对比投影网络的零样本框架NER Retriever,性能优于现有基线,为无模式实体检索提供实用方案。
2025-09-04 cs.AI cs.CL cs.IR
Operational Advice for Dense and Sparse Retrievers: HNSW, Flat, or Inverted Indexes?
本文基于 Lucene 在 BEIR 上比较 HNSW、flat(含量化变体)与稀疏倒排索引,从索引时间、查询性能和检索质量给出稠密与稀疏检索器的选型建议。
2024-09-10 cs.IR
Uni-Retriever: Towards Learning The Unified Embedding Based Retriever in Bing Sponsored Search
Microsoft WebXT and Microsoft Research Asia(微软WebXT和微软亚洲研究院);Beijing University of Posts and Telecommunications(北京邮电大学)
基于嵌入的检索(EBR)是许多Web应用程序中的基本构建块。然而,EBR在赞助搜索是区别于其他一般的情况下,技术上具有挑战性,由于需要服务于多个检索目的:首先,它必须检索高相关性的广告,这可能正是用户的搜索意图;其次,它需要检索高点击率的广告,以最大限度地提高整体用户点击。在本文中,我们提出了一种新的表示学习框架Uni-Retriever开发的Bing搜索,它统一了两种不同的训练模式知识蒸馏和对比学习,以实现这两个所需的目标。一方面,通过从“相关教师模型”中提取知识,建立了进行高相关检索的能力。另一方面,通过学习从整个语料库中区分用户点击的广告,优化了进行高点击率检索的能力。这两种训练模式被联合执行为多目标学习过程,使得高相关性和CTR的广告可以被生成的嵌入所青睐。除了学习策略,我们还详细阐述了我们的EBR服务管道的解决方案,建立在大幅优化的神经网络,其中大规模的EBR可以执行有竞争力的时间和内存效率,并在高质量完成。我们进行了全面的离线和在线实验来评估所提出的技术,其研究结果可能会提供有用的见解,为未来的EBR系统的发展。Uni-Retriever已经成为Bing产品中的主要检索路径,这要归功于其在表示和EBR服务质量上的显着改进。
2022-02-13 cs.CL cs.IR
SAGE: Benchmarking and Improving Retrieval for Deep Research Agents
NYU Shanghai(纽约大学上海校区);Yale University(耶鲁大学);Center for Data Science, New York University(纽约大学数据科学中心)
SAGE基准测试评估了深度研究代理的检索能力,发现BM25在推理密集型检索中表现优于大语言模型检索器,并提出基于语料库的测试时扩展框架提升检索性能。
2026-02-06 cs.CL cs.IR
Ask Optimal Questions: Aligning Large Language Models with Retriever's Preference in Conversation
Korea University(韩国大学);KAIST AI(韩国科学技术院人工智能研究中心);Seoul National University(首尔国立大学);AIGEN Sciences(AIGEN科学)
针对对话式搜索中现有重写-检索方法查询重写效果不佳的问题,提出RetPO框架,通过构建含41万+重写反馈的RF collection数据集微调小模型,实现与检索器偏好对齐,性能超现有SOTA。
2025-06-16 cs.CL cs.IR
Exploring $\ell_0$ Sparsification for Inference-free Sparse Retrievers
South China University of Technology School of Future Technology(南方科技大学未来技术学院);Amazon Amazon Web Service Shanghai China(亚马逊中国)
本文提出受 $\ell_0$ 启发的稀疏化方法用于无推理稀疏检索器,在 BEIR 基准上达到最先进性能,并分析了检索效果与计算效率的权衡。
2025-04-21 cs.AI cs.IR
HyReC: Exploring Hybrid-based Retriever for Chinese
Huawei Technologies Ltd. Co.(华为技术有限公司)
针对中文混合检索未被充分探索的问题,提出端到端优化方法HyReC,通过整合语义并集、全局-局部感知编码器与归一化模块优化稠密与词表检索的协同,在C-MTEB基准上验证了其有效性。
2025-06-27 cs.CL cs.IR