Introducing Neural Bag of Whole-Words with ColBERTer: Contextualized Late Interactions using Enhanced Reduction
TU Wien（维也纳工业大学）；Stanford University（斯坦福大学）
神经信息检索的最新进展已经证明了有效性的大幅提高，同时与经典方法相比，经常牺牲神经模型的效率和可解释性。本文提出了ColBERTer，一个神经检索模型，使用上下文化后期交互（ColBERT）与增强的减少。沿着有效性帕累托边界，ColBERT的减少大大降低了ColBERT的存储需求，同时提高了其标记匹配分数的可解释性。为此，ColBERTer将单向量检索、多向量细化和可选的词汇匹配组件融合到一个模型中。对于其多向量组件，ColBERTer通过学习每个文档中术语的唯一全词表示并学习识别和删除对有效评分不重要的词表示来减少每个文档的存储向量数量。我们采用了显式的多任务，多阶段的训练，以促进使用非常小的向量维度。MS MARCO和TREC-DL收集的结果表明，ColBERTer可以将存储空间减少多达2.5倍，同时保持有效性。在其最小设置中，每个令牌只有一个维度，ColBERTer实现了与明文大小的索引存储奇偶校验，具有非常强的有效性结果。最后，我们证明了ColBERTer的鲁棒性七个高质量的域外集合，产生统计上显着的收益超过传统的检索基线。
2022-03-24 cs.AI cs.CL cs.IR
Enhancing Q&A Text Retrieval with Ranking Models: Benchmarking, fine-tuning and deploying Rerankers for RAG
NVIDIA（英伟达）
该研究针对RAG系统的问答文本检索场景，对多款公开排序模型做基准测试，提出NV-RerankQA-Mistral-4B-v3模型实现约14%准确率提升，还通过消融实验分析多因素影响并探讨工业应用权衡。
2024-09-12 cs.CL cs.IR cs.LG
SDNet: Contextualized Attention-based Deep Network for Conversational Question Answering
Microsoft Speech and Dialogue Research Group（微软语音与对话研究组）
会话式问答（CQA）是一种需要理解对话语境的新型问答任务。与传统的单轮机器阅读理解（MRC）任务不同，CQA包括篇章理解、共指消解和语境理解。在本文中，我们提出了一种创新的基于上下文的注意力深度神经网络SDNet，将上下文融合到传统的MRC模型中。我们的模型利用相互注意和自我注意来理解会话上下文并从段落中提取相关信息。此外，我们展示了一种新的方法来集成最新的BERT上下文模型。实证结果表明，我们的模型的有效性，它设置了新的国家的最先进的结果在CoQA排行榜，优于以前的最佳模型的1.6%F1。我们的集成模型进一步提高了2.7%F1的结果。
2019-01-02 cs.CL
CoinRAG: Contextualized Information Nugget KV Cache Reuse for Long-Context RAG
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Hanbat National University（韩bat国立大学）
CoinRAG通过两阶段检索识别检索块内与查询相关的细粒度语义单元，复用其KV缓存优化长上下文RAG，在低延迟约束下降低运算成本并提升问答F1值。
2026-10-27 cs.AI cs.CL cs.IR
ERank: Fusing Supervised Fine-Tuning and Reinforcement Learning for Effective and Efficient Text Reranking
针对现有LLM重排序器效果与效率难以兼顾的问题，提出融合监督微调与列表式奖励强化学习的ERank逐点重排序器，在多个基准上实现效果与鲁棒性的提升。
2025-08-30 cs.CL cs.IR
jina-reranker-v3: Last but Not Late Interaction for Listwise Document Reranking
Jina AI GmbH（Jina AI公司）；University of Pittsburgh（匹兹堡大学）
本研究提出0.6B参数的多语言列表式重排序模型jina-reranker-v3，通过“最后但不延迟”交互机制实现查询与候选文档的前置丰富交互，在BEIR基准上取得61.94的nDCG@10的SOTA性能，模型规模远小于同性能模型。
2025-10-06 cs.AI cs.CL cs.IR
Exploring Classic and Neural Lexical Translation Models for Information Retrieval: Interpretability, Effectiveness, and Efficiency Benefits
Bosch Center for Artificial Intelligence（博世人工智能中心）；Carnegie Mellon University（卡内基梅隆大学）
我们研究了词汇翻译模型（IBM Model 1）在英语文本检索中的实用性，特别是其端到端训练的神经变体。我们使用神经模型1作为聚合器层，应用于上下文无关或上下文化的查询/文档嵌入。这种设计神经排序系统的新方法在有效性、效率和可解释性方面都有好处。具体来说，我们表明，在基于BERT的上下文嵌入之上添加可解释的神经模型1层（1）不会降低准确性和/或效率;（2）可以克服现有BERT模型的最大序列长度限制。与上下文无关的神经模型1不如基于BERT的排名模型有效，但它可以在CPU上高效运行（无需对大型张量进行昂贵的索引时预计算或查询时操作）。使用模型1，我们在2020年底的MS MARCO文档排序排行榜上产生了最佳神经和非神经运行。
2021-03-17 cs.CL cs.IR
What's the Best Way to Retrieve Slides? A Comparative Study of Multimodal, Caption-Based, and Hybrid Retrieval Techniques
Aristotle University of Thessaloniki（亚里士多德大学）
本文系统比较了视觉后期交互嵌入、视觉重排序、混合检索及基于视觉语言模型的字幕生成等多种幻灯片检索方法，发现字幕生成方案在保持检索性能的同时显著降低存储需求，为实际系统选型提供了指导。
2025-09-18 cs.CL
BELXTR: Biomedical Entity Linking via Contextualized Token Retrieval
BELXTR提出一种基于多向量晚期交互架构的嵌入模型，通过标记级匹配和主动查询扩展提升生物医学实体链接性能，在多个语料库上平均提升5个百分点recall@1，尤其擅长跨物种基因消歧。
2026-09-23 cs.CL
Developing Visual Augmented Q&A System using Scalable Vision Embedding Retrieval & Late Interaction Re-ranker
Fidelity Investments（富达投资）
本文提出一种多步骤定制方案，利用混合搜索与后期交互重排序器检索最佳匹配页面，并使用多模态大语言模型生成答案，解决了视觉增强问答中检索可扩展性与效率的问题。
2025-07-16 cs.CL cs.IR
UDAPDR: Unsupervised Domain Adaptation via LLM Prompting and Distillation of Rerankers
Stanford University（斯坦福大学）；IBM Research AI（IBM人工智能研究院）
针对信息检索中标注数据稀缺和域偏移问题，提出用LLM生成合成查询微调重排序器并蒸馏为高效检索器的方法，提升长尾域零样本准确率并降低延迟。
2023-10-13 cs.CL cs.IR
Visual Late Chunking: An Empirical Study of Contextual Chunking for Efficient Visual Document Retrieval
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Alibaba Cloud Computing（阿里云）；Hong Kong University of Science and Technology（香港科技大学）
本文提出ColChunk框架，通过多模态后期分块构建高效上下文化多向量，减少存储需求并提升检索性能。
2026-04-11 cs.CL cs.CV cs.IR
SCoRD: Semantic-Assisted Continual Retriever-Reranker Distillation for LLM-Based Recommendation
Korea University（高丽大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Sungkyunkwan University（成均馆大学）
SCoRD是面向非平稳数据流的LLM推荐两阶段流程的持续知识蒸馏框架，通过语义推理助手实现检索器与重排序器的高效协同适配，在真实数据集上验证了其有效性。
2026-08-21 cs.IR
MetaEmbed: Scaling Multimodal Retrieval at Test-Time with Flexible Late Interaction
Meta Superintelligence Labs（Meta超级智能实验室）；Rice University（莱斯大学）
MetaEmbed通过灵活的后期交互机制，在测试时实现多模态检索的扩展，通过多向量检索训练提升信息组织能力，实现在大规模模型下的高效检索性能。
2026-04-06 cs.CL cs.CV cs.IR
From Association to Causation: Improving Retrieval Precision of Retrieval-Augmented Generation via Causal Relations and an Attention Mechanism
Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）
该研究针对RAG检索阶段仅捕捉关联关系的问题，通过建模检索过程的因果结构，提出一种无需训练的注意力式重评分规则，在企业知识库和关键词堆砌语料库上显著提升了检索精度。
2026-11-02 cs.AI cs.CL
Unlocking Multimodal Document Intelligence: From Current Triumphs to Future Frontiers of Visual Document Retrieval
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Alibaba Cloud Computing（阿里云计算）；Hong Kong University of Science and Technology（香港科技大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文综述了视觉文档检索领域，探讨了多模态大语言模型时代下的方法演进与挑战，提出未来发展方向。
2026-09-09 cs.CL cs.IR
Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings
研究证明意义同一性并非嵌入几何属性，而是联合前向传播中的计算操作；独立编码器性能差，联合读取器可高精度识别并蒸馏，挑战了传统检索范式。
2026-09-24 cs.CL
Pailitao-VL: Unified Embedding and Reranker for Real-Time Multi-Modal Industrial Search
Alibaba Group（阿里巴巴集团）
Pailitao-VL通过统一嵌入与重排序方法，解决多模态工业搜索中的高精度、实时性和抗噪声问题，实现先进检索架构的高效部署。
2026-03-05 cs.AI cs.CV cs.IR
Video-ColBERT: Contextualized Late Interaction for Text-to-Video Retrieval
Johns Hopkins Applied Physics Laboratory（约翰霍普金斯应用物理实验室）；Johns Hopkins University（约翰霍普金斯大学）；Human Language Technology Center of Excellence（人类语言技术卓越中心）；DEVCOM Army Research Laboratory（陆军研究实验室）
本文提出 Video-ColBERT，通过时空逐 token 延迟交互、查询与视觉扩展及双 sigmoid 损失，增强文本到视频检索的细粒度匹配与双编码器性能。
2025-03-24 cs.CV cs.IR
Lifelong Neural Topic Learning in Contextualized Autoregressive Topic Models of Language via Informative Transfers
Technische Universität München（慕尼黑工业大学）；TUM（慕尼黑工业大学）；Siemens AG（西门子股份公司）；LMU（慕尼黑大学）
LDA、DocNADE、iDocNADEe等主题模型在文档分析中得到了广泛的应用。然而，传统的主题模型有几个局限性，包括：（1）词袋（BoW）假设，其中它们忽略了单词排序，（2）数据稀疏，其中由于有限的单词共现，主题模型的应用具有挑战性，导致不连贯的主题，以及（3）没有用于终身主题学习的持续学习框架，利用历史知识（或潜在主题）和最小化灾难性遗忘。本文的研究重点是在神经主题建模框架下解决上述问题。我们建议：（1）结合主题和语言模型并引入语言结构（如词序、句法和语义特征等）的语境化主题模型在主题建模中，（2）将一种新的终身学习机制引入神经主题建模框架，以证明连续文档集合中的连续学习和最小化灾难性遗忘。此外，我们执行一个选择性的数据增强，以减轻在数据幻觉或重放过程中需要完整的历史语料库。
2019-09-29 cs.CL cs.IR cs.LG
CLaMR: Contextualized Late-Interaction for Multimodal Content Retrieval
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出多模态后期交互检索器CLaMR，联合索引视频帧、语音转录、屏幕文本和元数据，通过MultiVENT 2.0++合成数据和模态感知损失实现动态模态选择，在多个基准上显著超越现有检索器。
2025-06-06 cs.CL cs.CV cs.IR
Per-Query Gating of LLM Rerankers for Multi-Hop Retrieval
本研究提出一种基于预调用特征的逐查询门控机制，用于在多跳检索中跳过无益的LLM重排序调用，在保持覆盖率的同时节省约一半调用，并量化了有害跳过的代价与校准乐观偏差。
2026-09-22 cs.AI cs.CL cs.IR
SLIM: Sparsified Late Interaction for Multi-Vector Retrieval with Inverted Indexes
SLIM通过将多向量映射到稀疏词汇空间并利用倒排索引实现高效检索，在保持与ColBERT相当准确性的同时，显著减小模型规模并提升CPU上的速度。
2023-05-08 cs.IR
Training-Free Lexical-Dense Fusion for Conversational-Memory Retrieval
Inland Norway University of Applied Sciences（内陆挪威应用科学大学）；University of California, Berkeley（加州大学伯克利分校）
本文提出一种免训练、仅CPU的检索方法，通过分数级融合最大查询-轮次相似度（后期交互）与BM25，显著提升多会话对话记忆检索的命中率，并分析了不同编码器和池化策略的影响。
2026-06-02 cs.CL cs.IR cs.LG
Improving Neural Topic Models with Wasserstein Knowledge Distillation
Indian Association for the Cultivation of Science（印度文化协会）
针对大型神经主题模型内存占用大的问题，提出结合软标签交叉熵和平方2-Wasserstein距离的知识蒸馏框架，可在压缩模型的同时提升主题连贯性，效果超越教师模型及其他主流主题模型。
2024-06-20 cs.CL cs.IR cs.LG
textTOvec: Deep Contextualized Neural Autoregressive Topic Models of Language with Distributed Compositional Prior
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学）
我们解决了概率主题建模的两个挑战，以便更好地估计给定上下文中单词的概率，即，P（单词|上下文）：（1）语境中无语言结构：概率主题模型通过将给定的语境概括为“词袋”而忽略词序，因此语境中的词的语义丢失。LSTM-LM通过考虑局部搭配模式中的词序来学习每个单词的向量空间表示，并对语言的复杂特征（例如，语法和语义），而TM同时从整个文档中学习潜在表示并发现底层主题结构。我们通过结合TM（例如，DocNADE）和统一概率框架中的LM，命名为ctx-DocNADE。(2)有限的上下文和/或较小的文档训练语料库：在具有少量单词出现的设置中（即，缺乏上下文）或在少量文档的语料库中数据稀疏，TM的应用是具有挑战性的。我们通过语言建模方法将外部知识纳入神经自回归主题模型来应对这一挑战：我们使用词嵌入作为LSTM-LM的输入，旨在改善较小和/或短文本语料库上的词主题映射。建议的DocNADE扩展名为ctx-DocNADEe。我们提出了新的神经自回归主题模型变体，加上神经LM和嵌入先验，在泛化（困惑），可解释性（主题一致性）和适用性（检索和分类）方面始终优于最先进的生成TM，超过来自不同领域的6个长文本和8个短文本数据集。
2019-02-23 cs.AI cs.CL cs.IR
WARP: An Efficient Engine for Multi-Vector Retrieval
WARP 提出动态相似度填补、隐式解压缩和两阶段分数归约三项创新，结合优化 C++ 内核，在保持检索质量的同时将 XTR 端到端延迟降低 41 倍，并比 ColBERTv2/PLAID 快 3 倍。
2025-07-06 cs.IR
Learning to Rank Rationales for Explainable Recommendation
现有的推荐系统（RS）主要依赖于复杂的深度神经网络（DNN）模型结构，这使得很难在RS决策的同时提供解释。先前的研究人员已经证明，提供解释和推荐项目可以帮助用户做出明智的决定，并提高他们对不可解释的黑盒系统的信任。在与模型无关的可解释推荐中，系统设计者部署一个单独的解释模型来从决策模型中获取输入，并生成解释以满足说服力的目标。在这项工作中，我们探索的任务，排名文本的理由（支持证据）模型无关的可解释的建议。现有的理据排序算法大多只利用理据ID和交互矩阵来构建潜在的因素表示，而文本理据中的语义信息没有得到有效的学习。我们认为，这样的设计是次优的重要的语义信息的文字原理内，可以用来更好地配置文件的用户偏好和项目功能。针对这一问题，本文提出了一种语义增强贝叶斯个性化解释排序模型（SE-BPER），有效地将交互信息和语义信息结合起来。SE-BPER首先用Transformer模型生成的上下文化嵌入对潜在因子表示进行优化，然后用交互数据对它们进行优化。大量的实验表明，这种方法提高了rationales排名性能，同时简化了模型训练过程（更少的超参数和更快的收敛速度）。我们的结论是，结合语义和交互信息的最佳方式仍然是一个悬而未决的问题，在任务的理由排名。
2022-06-10 cs.IR
A Static Pruning Study on Sparse Neural Retrievers
本文研究稀疏神经检索器查询成本高的问题，系统评估文档中心、词项中心和不可知三种静态剪枝策略，证明其可在几乎不损失检索效果的情况下获得 2 至 4 倍加速，并保持神经重排序鲁棒性。
2023-04-25 cs.IR
