SmallReason-ColBERT: An Ultra-Small Late-Interaction Retriever for Reasoning Intensive Retrieval
University of Innsbruck（因斯布鲁克大学）
提出32M参数的SmallReason-ColBERT后期交互检索器，通过对比预热、难负样本精炼和重要性头训练，在BRIGHT上达到21.41 nDCG@10，接近150M模型，并证明学习头优于固定IDF加权。
2026-09-25 cs.IR
Fantastic (small) Retrievers and How to Train Them: mxbai-edge-colbert-v0 Tech Report
Mixedbread AI；Waseda University（早稻田大学）
本文介绍 mxbai-edge-colbert-v0 小型检索模型（17M/32M），通过消融实验优化后期交互，在 BEIR 上超越 ColBERTv2，并显著提升长上下文任务效率。
2025-10-16 cs.IR
Rethinking the Role of Token Retrieval in Multi-Vector Retrieval
Google DeepMind（谷歌DeepMind）
本文提出 XTR 多向量检索模型，通过新目标函数优先检索重要文档 token，使评分仅依赖检索到的 token，成本较 ColBERT 降低两到三个数量级，并在 BEIR 上提升 nDCG@10 达 2.8。
2024-04-08 cs.CL cs.IR
TurkColBERT: A Benchmark of Dense and Late-Interaction Models for Turkish Information Retrieval
NewMind AI
TurkColBERT通过比较密集编码器和晚期交互模型，展示了在土耳其信息检索中的高效参数利用和性能提升。
2025-11-20 cs.AI cs.CL cs.IR
HKVM-RAG: Key-Value-Separated Hypergraph Evidence Organization for Multi-Hop RAG
Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院）；School of Computer and Information Engineering, Henan University（河南大学计算机与信息工程学院）
提出HKVM-RAG，一种键值分离的证据组织层，通过超图键值检索改进多跳RAG的证据链暴露，在三个基准上提升F1分数。
2026-06-12 cs.CL cs.IR
ERNIE-Search: Bridging Cross-Encoder with Dual-Encoder via Self On-the-fly Distillation for Dense Passage Retrieval
Baidu Inc.（百度公司）
基于预训练语言模型（PLM）的神经检索器，如双编码器，在开放域问答（QA）任务上取得了令人满意的性能。它们的有效性可以通过结合跨架构的知识蒸馏而进一步达到新的技术水平。然而，现有的研究大多只是直接应用常规蒸馏方法。他们没有考虑到教师和学生具有不同结构的特殊情况。在本文中，我们提出了一种新的蒸馏方法，显着推进双编码器的跨架构蒸馏。我们的方法1）引入了一种可以有效地提取后期相互作用（即，ColBERT）到vanilla双编码器，以及2）采用级联蒸馏过程，以进一步提高交叉编码器教师的性能。进行了大量的实验，以验证我们提出的解决方案优于强大的基线，并建立一个新的国家的最先进的开放域QA基准。
2022-05-18 cs.CL
Simple Linear Corrections for Compression in Late Interaction
Microsoft Research India（微软亚洲研究院）
该研究针对晚交互模型压缩后质量下降问题，提出学习全局线性修正的轻量方法，在多个基准上多数场景优于基线压缩，可恢复压缩带来的部分质量损失。
2026-10-14 cs.CL cs.IR cs.LG
Retrieval Improvements Do Not Guarantee Better Answers: A Study of RAG for AI Policy QA
Department of Computer Science, Purdue University（计算机科学系，普渡大学）；Department of Political Science, Purdue University（政治学系，普渡大学）
本文研究了RAG在人工智能治理中的应用，发现领域特定微调虽提升检索指标，但未必改善问答性能，尤其在相关文档缺失时可能导致更自信的幻觉。
2026-03-25 cs.AI cs.CL cs.CY
A Comparative Study of Language Models for Khmer Retrieval-Augmented Question Answering
Department of Computer Science, Chungbuk National University（Chungbuk National University 计算机科学系）；Department of Big Data, Chungbuk National University（Chungbuk National University 大数据系）；General Department of Information and Communication Technology, Ministry of Post and Telecommunications（邮电部信息和通信技术总局）；Department of Management Information Systems, Chungbuk National University（Chungbuk National University 管理信息系统系）；BigDatalabs Co., Ltd（BigDatalabs 公司）
本文针对低资源非拉丁语种柬埔寨语言，比较了多种语言模型在检索增强问答任务中的性能，发现检索器选择是影响效果的关键因素，生成器在不同指标上表现各异。
2026-05-21 cs.CL
ItColBERT: An Italian-Specialised Late-Interaction Retriever
ItColBERT是首个意大利语专用后期交互检索器，以135M参数在四个基准上优于多数通用基线，并发现推理时分块在域外基准上带来显著提升，而额外训练和负样本策略未通过预注册门控。
2026-09-24 cs.IR
WARP: An Efficient Engine for Multi-Vector Retrieval
WARP 提出动态相似度填补、隐式解压缩和两阶段分数归约三项创新，结合优化 C++ 内核，在保持检索质量的同时将 XTR 端到端延迟降低 41 倍，并比 ColBERTv2/PLAID 快 3 倍。
2025-07-06 cs.IR
Semantic Search for Information Retrieval
本研究综述信息检索从词汇技术到语义检索器的发展，介绍BM25基线及DPR、ColBERT、SPLADE、MonoT5等现代语义检索模型，还探讨评估策略、挑战与未来方向。
2025-08-25 cs.IR
Large Dual Encoders Are Generalizable Retrievers
Google Research（谷歌研究院）
已经表明，在一个域上训练的双编码器通常不能推广到其他域的检索任务。一个普遍的看法是，双编码器的瓶颈层，其中最终得分只是一个查询向量和通道向量之间的点积，是太有限，使双编码器的有效检索模型外的领域泛化。在本文中，我们挑战这种信念，规模的双重编码器模型{ \em的大小，同时保持瓶颈嵌入大小固定。}令人惊讶的是，通过多阶段训练，扩大模型大小可以显着改善各种检索任务，特别是对于领域泛化。实验结果表明，我们的双编码器，\textbf{G}可推广的\textbf{T} 5为基础的密集\textbf{R}检索器（GTR），优于%ColBERT~ \cite{khattab2020colbert}和现有的稀疏和密集检索器的BEIR数据集~ \cite{thakur2021beir}显着。最令人惊讶的是，我们的消融研究发现，GTR是非常有效的数据，因为它只需要10%的MS Marco监督数据，以实现最佳的域外性能。所有的GTR型号都在https://tfhub.dev/google/collections/gtr/1上发布。
2021-12-15 cs.CL cs.IR
SilentRetrieval: Hijacking Retrieval-Augmented Generation via Semantically-Preserving Adversarial Data Poisoning
City University of Hong Kong（香港城市大学）
提出SilentRetrieval两阶段数据投毒攻击，通过协调束搜索和上下文自适应触发生成，在保持文档流畅性的同时实现高检索命中率和攻击成功率，并评估了防御措施的有效性。
2026-05-27 cs.CL cs.CR cs.IR
A Replicability Study of XTR
Johns Hopkins University（约翰斯·霍普金斯大学）；Human Language Technology Center of Excellence（人类语言技术中心卓越中心）
本文复现了XTR算法及其训练目标，扩展至知识蒸馏和高效检索引擎，发现XTR在某些场景下不如ColBERT有效，但提升了IVF检索效率。
2026-05-01 cs.IR
DiffRetriever: Parallel Representative Tokens for Retrieval with Diffusion Language Models
The University of Queensland（昆士兰大学）；CSIRO（澳大利亚联邦科学与工业研究组织）
提出DiffRetriever，利用扩散语言模型的掩码位置预测直接进行检索，支持单表示和多表示检索，在多个基准上优于现有方法。
2026-05-27 cs.CL cs.IR
Promptagator: Few-shot Dense Retrieval From 8 Examples
Google Research（谷歌研究院）
最近关于信息检索的许多研究都集中在如何从一个任务（通常具有丰富的监督数据）转移到监督有限的各种其他任务上，隐含的假设是可以从一个任务推广到所有其他任务。然而，这忽略了一个事实，即有许多不同的和独特的检索任务，每一个目标是不同的搜索意图，查询和搜索域。在本文中，我们建议在Few-Shot稠密检索上工作，在这种设置中，每个任务都有一个简短的描述和一些例子。为了放大几个例子的力量，我们提出了检索器（检索器），它利用大语言模型（LLM）作为一个Few-Shot查询生成器，并根据生成的数据创建特定于任务的检索器。在LLM的泛化能力的支持下，Aptagator可以仅基于几个示例创建特定于任务的端到端检索器，而不使用Natural Questions或MS MARCO来训练%问题生成器或双编码器。令人惊讶的是，不超过8个示例的LLM提示允许双编码器在11个检索集上平均超过1.2 nDCG，超过在MS MARCO（如ColBERT v2）上训练的经过大量工程设计的模型。使用相同的生成数据进一步训练标准尺寸的重新排序器产生另一个5.0点nDCG改善。我们的研究确定，查询生成可以比以前观察到的更有效，特别是当少量的特定于任务的知识。
2022-09-23 cs.CL cs.IR
LLM-Augmented Retrieval: Enhancing Retrieval Models Through Language Models and Doc-Level Embedding
Meta
本文提出模型无关的LLM增强文档级嵌入框架，并改进负采样与损失函数等训练组件，显著提升Contriever、DRAGON和ColBERTv2等检索器，在LoTTE与BEIR上达到SOTA。
2024-04-08 cs.AI cs.IR
Evaluating the Robustness of Dense Retrievers in Interdisciplinary Domains
Pacific Northwest National Laboratory（太平洋西北国家实验室）
本文以环境监管文件检索为案例，发现评估基准的语义结构特征会显著影响对密集检索模型领域适应收益的评估，主题边界重叠的基准更能反映真实复杂场景中的改进效果。
2025-06-16 cs.AI cs.IR cs.LG
CrossQ: Task-Aligned Cross-Token Conditional Quantization for Late Interaction Retrieval
Virginia Tech（弗吉尼亚理工大学）；Columbia University（哥伦比亚大学）
CrossQ是一种任务对齐跨令牌条件量化方法，通过利用索引时的轻量文档上下文优化令牌编码，在压缩晚期交互检索器索引的同时，提升了检索性能，优化了内存-性能权衡。
2026-08-21 cs.IR
CITADEL: Conditional Token Interaction via Dynamic Lexical Routing for Efficient and Effective Multi-Vector Retrieval
University of Waterloo（滑铁卢大学）；Meta AI
多向量检索方法结合了稀疏（例如BM 25）和密集（例如DPR）检索器的优点，并在各种检索任务上实现了最先进的性能。然而，与单向量方法相比，这些方法要慢几个数量级，并且需要更多的空间来存储索引。在本文中，我们统一了不同的多向量检索模型从令牌路由的角度来看，并提出条件令牌交互通过动态词汇路由，即CITADEL，高效和有效的多向量检索。CITADEL学习将不同的令牌向量路由到预测的词汇“键”，使得查询令牌向量仅与路由到相同键的文档令牌向量交互。这种设计在保持高精度的同时显著降低了计算成本。值得注意的是，CITADEL在域内（MS MARCO）和域外（BEIR）评估方面都实现了与先前最先进的ColBERT-v2相同或略好的性能，同时速度快了近40倍。代码和数据可在https://github.com/facebookresearch/dpr-scale上获得。
2022-11-18 cs.CL cs.IR
How to Train Your DRAGON: Diverse Augmentation Towards Generalizable Dense Retrieval
University of Waterloo（滑铁卢大学）；University of Washington（华盛顿大学）；Meta AI
近年来，已经开发了各种技术来提高稠密检索（DR），如无监督对比学习和伪查询生成。然而，现有的DR，经常遭受监督和zero-shot检索之间的有效性权衡，有人认为这是由于有限的模型容量。我们反驳了这一假设，并表明，一个可推广的DR可以训练，以实现高精度的监督和zero-shot检索，而不增加模型的大小。特别是，我们系统地研究了数据增强（DA）的框架下的DR的对比学习。我们的研究表明，常见的DA实践，如查询增强生成模型和伪相关标签创建使用交叉编码器，往往是低效和次优的。因此，我们提出了一种新的DA方法，具有不同的查询和监督来源，以逐步训练一个可推广的DR。因此，DRAGON，我们的密集检索训练与不同的增强，是第一个BERT基地大小的DR实现国家的最先进的有效性，在监督和zero-shot评估，甚至竞争与模型使用更复杂的后期交互（ColBERTv2和SPLADE++）。
2023-02-15 cs.CL cs.IR
EVIE: Evidence-Vector-Informed Embeddings for Visual Document Retrieval
Tencent IMA Product Center（腾讯智能多媒体产品中心）；Tencent Youtu Lab（腾讯优图实验室）
提出EVIE系列视觉文档检索器，通过三项创新解决现有VDR方法的局限性，在138项任务上验证，提升了VDR的准确性与存储效率的权衡。
2026-10-09 cs.IR
CeQe: Grounding Lexical Retrieval in Semantic Evidence
IBM Research（IBM研究院）
针对BM25的语义词汇鸿沟问题，本文提出CE-QE方法，利用交叉编码器的语义检索结果扩展BM25查询，在多个BEIR数据集上显著提升检索性能且不修改底层索引。
2026-08-04 cs.AI cs.IR
Col-Bandit: Query-Time Top-$K$ Estimation for Late-Interaction Retrieval
IBM Research Israel（IBM 以色列研究院）
提出Col-Bandit方法，通过批量揭示矩阵条目并维护置信区间，在查询时高效估计多向量延迟交互检索中的Top-$K$结果，大幅减少计算量且保持高保真度。
2026-06-02 cs.IR
