I^3 Retriever: Incorporating Implicit Interaction in Pre-trained Language Models for Passage Retrieval
针对双编码器忽略查询-段落交互导致性能受限的问题，提出I^3检索器，通过生成伪查询模拟交互并端到端联合优化，保持推理效率的同时提升检索效果，在MSMARCO和TREC2019上取得最先进性能。
2024-03-20 cs.IR
ARMOR: Adaptive Retriever Optimization for Low-Resource Telecom Question Answering
Rensselaer Polytechnic Institute（罗切斯特理工学院）；Cornell University（康奈尔大学）；Samsung Research America（三星美国研究院）
针对电信问答中证据分散且资源稀缺的问题，提出ARMOR方法，通过联合优化RAG似然和InfoNCE对比目标来适配查询编码器，在固定生成器下提升检索和答案生成性能。
2026-06-29 cs.AI cs.CL cs.IR
On the Robustness of LLM-Based Dense Retrievers: A Systematic Analysis of Generalizability and Stability
University of Amsterdam（阿姆斯特丹大学）；Chinese Academy of Sciences（中国科学院）
本文系统分析了基于LLM的密集检索器的通用性和稳定性，发现指令微调模型在复杂推理任务中存在'专业化税'，而嵌入几何结构对鲁棒性有预测作用。
2026-04-17 cs.CL cs.IR
Q-TIE: A Lightweight and Generalizable Re-ranking Framework for Temporal Information Retrieval
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Sungkyunkwan University（成均馆大学）
Q-TIE提出基于学习的时间意图提取的重排序框架，将查询时间约束映射为统一区间表示，兼顾灵活性与显式约束，在TIR任务上超越现有方法并增强泛化能力。
2026-09-22 cs.CL cs.IR
Pre-Training Multi-Modal Dense Retrievers for Outside-Knowledge Visual Question Answering
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对OK-VQA任务中多模态检索模型训练数据需求大的问题，提出自动数据生成流水线预训练段落检索模型，使Precision@5提升26.9%且具备零样本检索能力。
2023-06-28 cs.CL cs.CV cs.IR
DistilVDR: A Compact End-to-End Visual Document Retriever via Dual-Student Distillation
Aalto University（阿尔托大学）
本研究提出DistilVDR，通过双学生蒸馏从80亿参数视觉-语言教师模型得到5.24亿参数的紧凑端到端VDR系统，在多个基准上性能接近教师模型且索引速度更快、体积更小。
2026-08-12 cs.CL cs.CV cs.IR
Jina-ColBERT-v2: A General-Purpose Multilingual Late Interaction Retriever
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Jina AI GmbH（吉纳人工智能有限公司）
本研究借鉴单向量嵌入模型训练的成熟方法，对ColBERT的架构与训练流程做渐进式改进，推出通用多语言晚期交互检索模型Jina-ColBERT-v2，在多类英文及多语言检索任务上表现优异。
2024-09-14 cs.AI cs.CL cs.IR
How to Train Your DRAGON: Diverse Augmentation Towards Generalizable Dense Retrieval
University of Waterloo（滑铁卢大学）；University of Washington（华盛顿大学）；Meta AI
近年来，已经开发了各种技术来提高稠密检索（DR），如无监督对比学习和伪查询生成。然而，现有的DR，经常遭受监督和zero-shot检索之间的有效性权衡，有人认为这是由于有限的模型容量。我们反驳了这一假设，并表明，一个可推广的DR可以训练，以实现高精度的监督和zero-shot检索，而不增加模型的大小。特别是，我们系统地研究了数据增强（DA）的框架下的DR的对比学习。我们的研究表明，常见的DA实践，如查询增强生成模型和伪相关标签创建使用交叉编码器，往往是低效和次优的。因此，我们提出了一种新的DA方法，具有不同的查询和监督来源，以逐步训练一个可推广的DR。因此，DRAGON，我们的密集检索训练与不同的增强，是第一个BERT基地大小的DR实现国家的最先进的有效性，在监督和zero-shot评估，甚至竞争与模型使用更复杂的后期交互（ColBERTv2和SPLADE++）。
2023-02-15 cs.CL cs.IR
NanoVDR: Distilling a 2B Vision-Language Retriever into a 70M Text-Only Encoder for Visual Document Retrieval
Aalto University（阿alto大学）
利用查询-文档不对称性，通过蒸馏将20亿参数的视觉语言模型教师蒸馏为7000万参数的纯文本学生编码器，采用点态余弦对齐目标，实现视觉文档检索的高效推理。
2026-09-01 cs.CV cs.IR cs.LG
ReFIT: Relevance Feedback from a Reranker during Inference
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Allen Institute for AI（艾伦人工智能研究所）；IBM Research AI（IBM人工智能研究院）；Yale University（耶鲁大学）；University of Washington（华盛顿大学）
提出ReFIT方法，在推理时利用重排序器的预测通过轻量级更新机制蒸馏到检索器查询表示中，执行第二次检索以提升Recall@K，实验证明该方法在多个领域、语言和模态中显著提高检索召回率。
2024-05-28 cs.CL cs.IR
Blended RAG: Improving RAG (Retriever-Augmented Generation) Accuracy with Semantic Search and Hybrid Query-Based Retrievers
IBM（国际商业机器公司）
本文提出Blended RAG方法，通过融合稠密向量索引、稀疏编码器索引与混合查询策略提升检索准确性，在NQ、TREC-COVID及SQUAD等数据集上取得优于微调的效果。
2024-08-04 cs.AI cs.CL cs.IR
UniRetriever: Multi-task Candidates Selection for Various Context-Adaptive Conversational Retrieval
The Chinese University of Hong Kong（香港中文大学）；Nankai University（南开大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出UniRetriever多任务双编码器框架，利用上下文自适应编码、点积匹配及历史候选难负例约束，统一完成角色、知识与回复选择，并在域内外取得SOTA效果。
2024-02-28 cs.CL cs.IR
The Multilingual Curse at the Retrieval Layer: Evidence from Amharic
Independent Researcher（独立研究者）；University of Amsterdam（阿姆斯特丹大学）
针对零样本多语言检索在低资源形态丰富语言（如阿姆哈拉语）上表现不佳的问题，通过对比实验发现单语检索器显著优于多语言检索器，并揭示了多语言基准测试的局限性。
2026-05-23 cs.CL cs.IR cs.LG
HyReC: Exploring Hybrid-based Retriever for Chinese
Huawei Technologies Ltd. Co.（华为技术有限公司）
针对中文混合检索未被充分探索的问题，提出端到端优化方法HyReC，通过整合语义并集、全局-局部感知编码器与归一化模块优化稠密与词表检索的协同，在C-MTEB基准上验证了其有效性。
2025-06-27 cs.CL cs.IR
Semantic Search for Information Retrieval
本研究综述信息检索从词汇技术到语义检索器的发展，介绍BM25基线及DPR、ColBERT、SPLADE、MonoT5等现代语义检索模型，还探讨评估策略、挑战与未来方向。
2025-08-25 cs.IR
OBLIQ-IR: Training a Dense Retriever for Oblique Queries
Chungbuk National University（忠北国立大学）；University of Innsbruck（因斯布鲁克大学）
针对斜向查询中潜在属性难以表面匹配的问题，提出OBLIQ-IR稠密检索器，通过合成查询与kNN图蒸馏训练，显著提升各任务NDCG@10。
2026-09-25 cs.IR
The Case Against Generation for Retrieval: Discriminative Language Models as Effective Retrievers
Meta
研究探讨大语言模型用于检索的问题，通过将其作为语义表示主干重振双塔检索架构，引入创新的双塔框架，经实验评估，该架构在公共基准和生产系统中表现出色，证明传统双塔范式结合现代学习后在工业检索中仍具竞争力。
2026-07-29 cs.IR
Analysing the Robustness of Dual Encoders for Dense Retrieval Against Misspellings
稠密检索正在成为文档和段落排序的标准方法之一。双编码器架构由于其效率和高性能而被广泛用于评分问题-通道对。通常，稠密检索模型是在干净和精心策划的数据集上评估的。然而，当部署在现实生活中的应用程序，这些模型遇到嘈杂的用户生成的文本。也就是说，当暴露在嘈杂的文本中时，最先进的密集检索器的性能会大大恶化。在这项工作中，我们研究了密集检索器对用户问题中的错别字的鲁棒性。我们观察到双编码器模型在遇到错别字时的性能显着下降，并探索通过将数据增强与对比学习相结合来提高其鲁棒性的方法。我们在两个大规模的文章排名和开放域问答数据集上的实验表明，我们提出的方法优于竞争方法。此外，我们对鲁棒性进行了全面的分析。最后，我们提供了关于不同的错别字如何不同地影响嵌入的鲁棒性以及我们的方法如何消除某些错别字的影响而不是其他错别字的影响的见解。
2022-05-04 cs.IR
DUPAR: Dual-Path Conversational Retrieval via Speech Retriever with Cross-Turn Evidence Caching
Shandong University（山东大学）；Li Auto Inc.（理想汽车）；Tsinghua University（清华大学）
DUPAR通过双路径对话检索框架，利用跨轮证据缓存和语音编码器，在保持检索准确率的同时实现3.75倍加速，并显著提升噪声环境下的检索性能。
2026-09-17 cs.IR
RRRA: Resampling and Reranking through a Retriever Adapter
Bongsu Kim
本文提出可学习适配器模块RRRA，动态估计难负例为假负例的概率，并用于训练重采样与推理重排序，在标准基准上一致超越强双编码器基线。
2025-08-07 cs.AI cs.IR
LaSER: Internalizing Explicit Reasoning into Latent Space for Dense Retrieval
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高陵人工智能学院）；Tongyi Lab, Alibaba Group（阿里集团通义实验室）
LaSER通过将显式推理内化到潜在空间，提升密集检索性能，结合推理深度与推理效率。
2026-03-02 cs.CL cs.IR
Mamba Retriever: Utilizing Mamba for Effective and Efficient Dense Retrieval
本文提出 Mamba Retriever，利用 Mamba 架构作为密集检索的编码器，在短文本和长文本数据集上微调，实验证明其在有效性和推理速度上均优于或等同于 Transformer 模型，尤其适用于长文本检索。
2024-08-22 cs.IR
Multivector Reranking in the Era of Strong First-Stage Retrievers
ISTI-CNR（ISTC-国家研究委员会）；University of Pisa（比萨大学）
本文提出了一种两阶段检索方法，通过替换token级收集阶段为单向量文档检索器，显著提升了检索效率，同时保持了高质量的检索效果。
2026-01-16 cs.IR
Encoder Adaptation of Dense Passage Retrieval for Open-Domain Question Answering
David R. Cheriton School of Computer Science（大卫·R·切里顿计算机科学学院）；University of Waterloo（滑铁卢大学）
密集通道检索器（DPR）的一个关键特征是在双向编码器设计中使用单独的问题和通道编码器。以前的DPR的推广工作主要集中在测试两个编码器串联在分布外（OOD）问答（QA）任务，这也被称为领域自适应。然而，DPR的单个问题/段落编码器如何影响泛化仍然是未知的。具体来说，在本文中，我们想知道如果与来自另一个域的OOD通道/问题编码器配对，分发（IND）问题/通道编码器将如何泛化。我们将此挑战称为\textit{encoder adaptation}。为了回答这个问题，我们检查DPR的问题和通道编码器的不同组合，从五个基准QA数据集上的域内和域外的问题。我们发现通道编码器对泛化下限的影响更大，而问题编码器似乎在总体上影响上界。例如，应用OOD段落编码器通常会损害检索准确性，而OOD问题编码器有时甚至会提高准确性。
2021-10-04 cs.CL cs.IR
LaPraDoR: Unsupervised Pretrained Dense Retriever for Zero-Shot Text Retrieval
University of California, San Diego（加州大学圣地亚哥分校）；Microsoft Research Asia（微软亚洲研究院）；Sun Yat-sen University（中山大学）
在本文中，我们提出了LaPraDoR，这是一种预训练的双塔密集检索器，不需要任何监督数据进行训练。具体来说，我们首先提出迭代对比学习（ICoL），迭代训练查询和文档编码器的缓存机制。ICoL不仅扩大了负实例的数量，而且还将缓存示例的表示保持在相同的隐藏空间中。然后，我们提出了词汇增强的稠密检索（LEDR）作为一个简单而有效的方法来提高稠密检索与词汇匹配。我们评估LaPraDoR最近提出的BEIR基准，包括18个数据集的9个zero-shot文本检索任务。实验结果表明，与有监督的稠密检索模型相比，LaPraDoR具有最先进的性能，进一步的分析揭示了我们的训练策略和目标的有效性。与重新排名相比，我们的词汇增强方法可以在毫秒内运行（快22.5倍），同时实现卓越的性能。
2022-04-27 cs.AI cs.CL cs.IR
Promptagator: Few-shot Dense Retrieval From 8 Examples
Google Research（谷歌研究院）
最近关于信息检索的许多研究都集中在如何从一个任务（通常具有丰富的监督数据）转移到监督有限的各种其他任务上，隐含的假设是可以从一个任务推广到所有其他任务。然而，这忽略了一个事实，即有许多不同的和独特的检索任务，每一个目标是不同的搜索意图，查询和搜索域。在本文中，我们建议在Few-Shot稠密检索上工作，在这种设置中，每个任务都有一个简短的描述和一些例子。为了放大几个例子的力量，我们提出了检索器（检索器），它利用大语言模型（LLM）作为一个Few-Shot查询生成器，并根据生成的数据创建特定于任务的检索器。在LLM的泛化能力的支持下，Aptagator可以仅基于几个示例创建特定于任务的端到端检索器，而不使用Natural Questions或MS MARCO来训练%问题生成器或双编码器。令人惊讶的是，不超过8个示例的LLM提示允许双编码器在11个检索集上平均超过1.2 nDCG，超过在MS MARCO（如ColBERT v2）上训练的经过大量工程设计的模型。使用相同的生成数据进一步训练标准尺寸的重新排序器产生另一个5.0点nDCG改善。我们的研究确定，查询生成可以比以前观察到的更有效，特别是当少量的特定于任务的知识。
2022-09-23 cs.CL cs.IR
NeoMME: A Single-Tower Multimodal-Native Multilingual Foundation Encoder for Efficient Fine-Tuning and Inference
H Company（H公司）
本文提出NeoMME，一款单塔多模态原生多语言基础编码器，通过预训练后微调得到的检索模型在ViDoRe v3等基准测试中表现优异，还实现了高效的压缩与编码，相关资源已开源。
2026-09-03 cs.AI cs.CV cs.IR
MST-R: Multi-Stage Tuning for Retrieval Systems and Metric Evaluation
Indic aiDias Team（Indic aiDias团队）
针对监管领域FRAG系统的检索与回答性能问题，提出多阶段调优的检索方法MST-R，在RIRAG挑战赛数据集上取得领先成绩，同时发现RePASs指标存在可被利用的漏洞并给出研究启示。
2024-12-13 cs.IR cs.LG
MASTER: Multi-task Pre-trained Bottlenecked Masked Autoencoders are Better Dense Retrievers
Renmin University of China（中国人民大学）；Microsoft Research（微软研究院）
本文提出多任务预训练模型MASTER，通过瓶颈掩码自编码器统一多种预训练任务，提升稠密检索性能，实验验证其优于现有方法。
2023-06-19 cs.CL cs.IR
Benchmarking and Enabling Efficient Chinese Medical Retrieval via Asymmetric Encoders
University of Science and Technology of China（中国科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能全国重点实验室）；iFlytek Research（科大讯飞研究院）；HeFei Institute of Technology（合肥工业大学）
本文提出CMedTEB基准，结合检索、重排序和语义文本相似性任务，引入CARE不对称检索器，通过两阶段训练策略提升性能，实现高效医疗检索。
2026-04-20 cs.IR
CO-Search: COVID-19 Information Retrieval with Semantic Search, Question Answering, and Abstractive Summarization
Salesforce Research（赛富时研究院）
2019冠状病毒病全球大流行促使国际社会努力了解、跟踪和减轻这种疾病，产生了跨科学学科的2019冠状病毒病和SARS-CoV-2相关出版物的重要语料库。截至2020年5月，已通过COVID-19开放研究数据集挑战收集了128，000篇与冠状病毒相关的出版物。在这里，我们介绍了CO-Search，这是一个检索器-排名器语义搜索引擎，旨在处理对COVID-19文献的复杂查询，可能有助于负担过重的卫生工作者在危机时期找到科学答案。检索器是建立从Siamese-BERT编码器，是线性组成的TF-IDF矢量化，和倒数秩融合的BM 25矢量化。该排名器是由一个多跳问答模块，连同多段摘要摘要调整检索分数。为了解决特定领域和相对有限的数据集，我们生成了文档段落和引用的二分图，创建了130万个（引用标题，段落）元组用于训练编码器。我们根据TREC-COVID信息检索挑战的数据评估了我们的系统。CO-Search在第一轮和第二轮的数据集上获得了最佳性能，包括几个关键指标：归一化折扣累积增益、精度、平均精度和二进制偏好。
2020-06-17 cs.AI cs.CL cs.IR
A Multi-level Distillation based Dense Passage Retrieval Model
本文提出基于多级蒸馏的稠密检索模型MD2PR，通过句子级和词语级蒸馏将交叉编码器知识转移至双编码器，并引入动态过滤方法，在两个标准数据集上超越11个基线模型。
2023-12-28 cs.IR
Questions Are All You Need to Train a Dense Passage Retriever
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Meta AI；DeepMind（深度思维）；University of Washington（华盛顿大学）
提出无需标注数据的语料库级自编码方法ART，通过问题重建训练密集检索模型，在多个QA检索基准上取得最先进结果。
2023-04-03 cs.CL cs.IR
Mistral-SPLADE: LLMs for better Learned Sparse Retrieval
Indian Institute of Technology Bombay（印度孟买理工学院）；IBM Research（IBM研究院）
本文提出使用仅解码器大语言模型Mistral作为骨干网络构建学习型稀疏检索器Mistral-SPLADE，以学习语义关键词扩展。实验表明，该模型超越了SPLADE及其变体，在BEIR基准上达到最先进水平。
2024-08-22 cs.CL cs.IR
Pre-training vs. Fine-tuning: A Reproducibility Study on Dense Retrieval Knowledge Acquisition
The University of Queensland（昆士兰大学）
本文复现并扩展稠密检索知识获取研究，发现 DPR 中预训练主导知识、微调主要改变激活，但该结论不适用于 Contriever 和 LLaMA。
2025-05-12 cs.CL cs.IR
Efficiently Teaching an Effective Dense Retriever with Balanced Topic Aware Sampling
TU Wien（维也纳工业大学）；University of Waterloo（滑铁卢大学）
广泛采用神经检索模型的关键一步是在整个训练，索引和查询工作流程中的资源效率。近年来，神经检索界在训练有效的双编码器稠密检索（DR）模型方面取得了很大进展。密集文本检索模型使用每个查询和段落的单个向量表示来对匹配进行评分，这使得具有最近邻搜索的低延迟第一阶段检索成为可能。越来越常见的训练方法需要巨大的计算能力，因为它们要么从不断更新的刷新索引中进行负通道采样，要么需要非常大的批量进行批量负采样。而不是依赖于更多的计算能力，我们引入了一个有效的主题感知查询和平衡的利润率采样技术，称为TAS平衡。我们在训练之前对查询进行一次聚类，并在每个批次中对聚类中的查询进行采样。我们用一种新颖的双教师监督来训练我们的轻量级6层DR模型，该监督结合了成对和批量的负教师。我们的方法可以在48小时内在单个消费级GPU上训练（而不是8 x V100的常见配置）。我们证明了我们的TAS-Balanced训练方法在两个TREC深度学习Track查询集上实现了最先进的低延迟（每个查询64 ms）结果。在NDCG@10上进行评估，我们的表现比BM 25好44%，比普通训练的DR好19%，比docT 5 query好11%，比之前最好的DR模型好5%。此外，TAS-Balanced还生成了第一个密集检索器，该检索器在TREC-DL的任何截止点上的召回率都优于其他所有方法，并允许更多资源密集型重新排序模型在更少的段落上…
2021-05-26 cs.CL cs.IR
Improving Out-of-Distribution Generalization of Neural Rerankers with Contextualized Late Interaction
University of Waterloo（滑铁卢大学）
信息检索的最新进展发现，将查询和文档表示嵌入到多向量中可以在分布外的数据集上产生鲁棒的双编码器检索器。在本文中，我们探讨了后期交互（最简单的多向量形式）是否也有助于仅使用[CLS]向量来计算相似性得分的神经重排序器。虽然直观地说，前几层的重排序器的注意力机制已经收集了令牌级别的信息，但我们发现添加后期交互仍然会在分布外数据集上带来额外的5%的平均改善，延迟几乎没有增加，域内有效性也没有下降。通过大量的实验和分析，我们发现，在不同的模型大小和不同性质的第一阶段检索器是一致的，并且在较长的查询中，这种改进更为突出。
2023-02-13 cs.CL cs.IR
BRIDGE: Multimodal-to-Text Retrieval via Reinforcement-Learned Query Alignment
High institute for computer & information systems（高等计算机与信息系统学院）；Chungbuk National University（忠北大学）；Assiut University（艾斯尤特大学）；University of Innsbruck（因斯布鲁克大学）
BRIDGE通过强化学习查询对齐模型和增强神经搜索检索器，解决多模态查询在文本库中的检索问题，实现优于多模态编码器的nDCG@10性能。
2026-04-08 cs.CV cs.IR
NAIL: Lexical Retrieval Indices with Efficient Non-Autoregressive Decoders
Google Deepmind（谷歌DeepMind）
提出 NAIL 模型架构，利用词法化评分函数和非自回归解码器，在商用 CPU 上高效捕获 Transformer 交叉注意力模型 86% 的增益，匹配最先进双编码器检索器质量且无需专用硬件。
2023-10-23 cs.CL cs.IR
Fine-Grained Distillation for Long Document Retrieval
University of Technology Sydney（悉尼科技大学）；Microsoft Corporation（微软公司）
长文档检索的目标是从大规模的集合中获取查询相关的文档，其中知识蒸馏已经成为事实上通过模仿异构但功能强大的交叉编码器来改进检索器。然而，与段落或句子相反，长文档的检索受到范围假设的影响，即长文档可能涵盖多个主题。这使它们的结构异质性最大化，并造成颗粒失配问题，导致较差的蒸馏效率。在这项工作中，我们提出了一个新的学习框架，细粒度蒸馏（FGD），长文档检索。在保持传统的稠密检索范式的同时，它首先产生跨不同细粒度的全局一致表示，然后仅在训练期间应用多粒度对齐蒸馏。在实验中，我们评估我们的框架上的两个长文档检索基准，这表明国家的最先进的性能。
2022-12-20 cs.CL cs.IR
Improving Query Representations for Dense Retrieval with Pseudo Relevance Feedback: A Reproducibility Study
伪相关反馈（PRF）利用来自第一轮检索的前k个段落的相关性信号来执行旨在提高搜索效率的第二轮检索。最近的研究方向是研究和开发用于基于深度语言模型的排序器的PRF方法，特别是在密集检索器的上下文中。与更复杂的神经排名器相比，密集检索器提供了有效性与查询延迟之间的权衡，有效性与更复杂的神经排名器相比通常会降低，查询延迟也会降低，从而使检索管道更有效。密集型寻回犬的PRF方法的引入是为了进一步提高其有效性。在本文中，我们复制和研究了最近的方法与密集的检索器，称为ANCE-PRF。该方法将查询文本和前k个反馈通道的文本连接起来以形成新的查询输入，然后使用基于用于第一轮检索的原始密集检索器的新训练的查询编码器将其编码为密集表示。虽然该方法可以潜在地应用于任何现有的密集回收，以前的工作只研究了它的上下文中的ANCE密集回收。我们研究了ANCE-PRF的再现性，在其训练（编码的PRF信号）和推理（排名）步骤。我们进一步扩展了原始工作中提供的实证分析，以研究控制训练过程的超参数的影响以及该方法在这些不同设置中的鲁棒性。最后，我们贡献了一个研究的ANCE-PRF方法的普适性时，密集的检索器以外的其他ANCE用于第一轮的检索和编码的PRF信号。
2023-03-21 cs.IR
Distribution-Aligned Fine-Tuning for Efficient Neural Retrieval
基于双编码器的神经检索模型实现了可观的性能，并补充传统的词汇检索器，以及由于其语义匹配能力，这使得它们成为混合IR系统的常见选择。然而，这些模型在在线查询编码步骤中表现出性能瓶颈，因为相应的查询编码器通常是大型且复杂的Transformer模型。在本文中，我们研究异构双编码器模型，其中两个编码器是单独的模型，不共享参数或初始化。我们的经验表明，异构的双编码器容易崩溃的表示，使他们输出恒定的平凡表示时，他们使用一个标准的对比度损失，由于分布不匹配进行微调。我们提出了DAFT，一个简单的两阶段微调方法，对齐两个编码器，以防止它们崩溃。我们进一步演示了如何DAFT可以用来训练高效的异构双编码器模型，使用轻量级查询编码器。
2022-11-09 cs.IR
Efficient Retrieval Optimized Multi-task Learning
Amazon Alexa（亚马逊Alexa）
最近，在处理知识密集型任务（如开放领域问答（QA））的神经方法方面取得了重大进展。这些进步是通过将大型预训练语言模型与可学习的文档检索相结合来推动的。这些模型中的大多数使用单独的编码器来学习查询表示，检索器的通道表示和下游任务的附加编码器。为每个阶段/任务使用单独的编码器会占用大量内存，并且难以扩展到大量任务。在本文中，我们提出了一种新的检索优化多任务（ROM）框架，用于联合训练自监督任务，知识检索和提取问答。我们的ROM方法提出了一个统一的和可推广的框架，可以有效地扩展到多个任务，不同级别的监督和优化选择，如不同的学习时间表，而不改变模型架构。它还提供了在不改变系统架构的情况下改变编码器的灵活性。使用我们的框架，我们实现了可比或更好的性能比最近的QA方法，同时大大减少了参数的数量。
2021-04-20 cs.CL cs.IR
Towards Competitive Search Relevance For Inference-Free Learned Sparse Retrievers
Amazon（亚马逊）
本文针对无推理稀疏检索器搜索相关性不足的问题，提出IDF感知惩罚与异构集成知识蒸馏框架，在BEIR基准上超越SOTA模型3.3 NDCG@10，实现与siamese稀疏检索器相当的相关性且延迟仅为BM25的1.1倍。
2025-07-01 cs.AI cs.IR
Reproducibility Analysis and Enhancements for Multi-Aspect Dense Retriever with Aspect Learning
本文针对多层面稠密检索器MADRAL在公开数据上无法复现的问题，提出用CLS替换OTHER、用内容token表示方面等组件改进方案，并通过实验证明其能显著提升检索性能。
2024-01-16 cs.IR
Sparse and Dense Retrievers Learn Better Together: Joint Sparse-Dense Optimization for Text-Image Retrieval
Graduate School of Data Science, Seoul National University（首尔国立大学数据科学研究生院）；NAVER Corporation（NAVER公司）
本文提出一种基于自知识蒸馏的稀疏-稠密联合优化框架，通过集成相似度分数实现双向学习，仅微调稠密编码器末层与稀疏投影头，使稀疏检索器在MSCOCO和Flickr30k上超越稀疏基线并达到或超过稠密模型性能。
2025-08-22 cs.CL cs.IR cs.LG
Empowering Dual-Encoder with Query Generator for Cross-Lingual Dense Retrieval
在单语稠密检索中，大量的工作集中在如何从交叉编码器重排序器到双编码器检索器中提取知识，这些方法由于交叉编码器重排序器的有效性而获得更好的性能。然而，我们发现跨编码器重排序器的性能受到训练样本的数量和负样本的质量的严重影响，这在跨语言设置中很难获得。在本文中，我们提出了使用查询生成器作为教师在跨语言设置，这是较少依赖于足够的训练样本和高质量的负样本。除了传统的知识蒸馏，我们进一步提出了一种新的增强方法，使用查询生成器来帮助双编码器对齐来自不同语言的查询，但不需要任何额外的并行语句。实验结果表明，我们的方法优于国家的最先进的方法在两个基准数据集。
2023-03-27 cs.IR
RARe: Retrieval Augmented Retrieval with In-Context Examples
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Princeton University（普林斯顿大学）；New York University（纽约大学）
RARe通过在检索查询中引入语义相似的上下文示例，提升开放域检索性能，实现nDCG最高+2.72%的提升。
2026-02-08 cs.AI cs.CL cs.IR
Comparative Analysis of Neural Retriever-Reranker Pipelines for Retrieval-Augmented Generation over Knowledge Graphs in E-commerce Applications
Abertay University（阿伯泰大学）
本文研究电商场景下知识图谱检索增强生成中神经检索-排序流水线的设计与比较，通过实验验证了优化配置在提升检索性能上的有效性。
2025-12-14 cs.AI cs.CL cs.IR
Exploring $\ell_0$ Sparsification for Inference-free Sparse Retrievers
South China University of Technology School of Future Technology（南方科技大学未来技术学院）；Amazon Amazon Web Service Shanghai China（亚马逊中国）
本文提出受 $\ell_0$ 启发的稀疏化方法用于无推理稀疏检索器，在 BEIR 基准上达到最先进性能，并分析了检索效果与计算效率的权衡。
2025-04-21 cs.AI cs.IR
LogiCoL: Logically-Informed Contrastive Learning for Set-based Dense Retrieval
Stanford University（斯坦福大学）；Microsoft（微软）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Pennsylvania（宾夕法尼亚大学）
针对稠密检索器难以处理含逻辑连接词查询的问题，提出基于t-范数软约束的对比学习目标LogiCoL，提升实体检索的逻辑一致性与性能。
2025-05-26 cs.AI cs.IR
Optimizing What Matters: AUC-Driven Learning for Robust Neural Retrieval
ServiceNow
针对现有双编码器检索器的NCE目标与AUC脱节、导致下游任务性能不佳的问题，提出等价于最大化AUC的MW损失，理论与实验均证明其能提升检索器校准性与判别力，适用于RAG等高风险场景。
2025-09-30 cs.AI cs.CL cs.IR
Argus-Retriever: Vision-LLM Late-Interaction Retrieval with Region-Aware Query-Conditioned MoE for Visual Document Retrieval
University of Innsbruck（因斯布鲁克大学）；Chungbuk National University（忠北国立大学）
提出Argus系列查询条件后期交互检索器，通过区域感知混合专家模块使文档表示依赖查询，在ViDoRe基准上以更低维度和更少训练数据取得领先性能。
2026-06-03 cs.IR
MACA: A Framework for Distilling Trustworthy LLMs into Efficient Retrievers
JP Morgan Chase（摩根大通公司）；IIIT Hyderabad（海得拉巴印度理工学院）
MACA通过提炼可信LLM为高效检索器，提升检索准确率并减少LLM调用成本
2026-01-01 cs.AI cs.IR
