KhyontekAI at CheckThat! 2026: Multilingual Dense Retrieval and Cross-Encoder Reranking for Scientific Web Claims
Tezpur University(特兹普尔大学)
该研究针对社交媒体科学断言的多语言来源检索难题,提出结合微调密集检索与交叉编码器重排序的两阶段框架,经实验验证元数据丰富化及交叉编码器重排序可提升效果,在CLEF 2026任务中取得多语言MRR@5的优异成绩。
2026-10-14 cs.CL cs.IR
Distilling Knowledge for Fast Retrieval-based Chat-bots
University of Tehran(德黑兰大学)
响应检索是神经排序的一个子集,其中模型从给定会话历史的一组候选者中选择合适的响应。基于检索的聊天机器人通常用于信息搜索会话系统,例如客户支持代理。为了在会话历史和候选响应之间进行成对比较,有两种方法是常见的:交叉编码器对这对进行完全自注意,双编码器对这对进行单独编码。前者给出了更好的预测质量,但对于实际使用来说太慢了。在本文中,我们提出了一个新的交叉编码器的架构和知识转移从这个模型到一个双编码器模型使用蒸馏。这有效地提高了双编码器的性能,在推理时间内没有成本。我们对三个响应检索数据集进行了详细的分析。
2020-04-23 cs.CL cs.IR
On Cross-Lingual Retrieval with Multilingual Text Encoders
University of Cambridge(剑桥大学);University of Mannheim(曼海姆大学)
在这项工作中,我们提出了一个系统的实证研究,重点是国家的最先进的多语言编码器跨语言的文件和句子检索任务在许多不同的语言对的适用性。我们首先将这些模型视为多语言文本编码器,并在无监督的特设句子和文档级CLIR中对其性能进行基准测试。与有监督的语言理解相比,我们的研究结果表明,对于无监督的文档级CLIR -一种没有针对IR特定微调的相关性判断的设置-平均而言,预训练的多语言编码器未能显着优于基于CLWE的早期模型。对于高级检索,我们确实获得了最先进的性能:然而,峰值分数是由多语言编码器满足的,这些编码器以监督的方式进一步专门用于句子理解任务,而不是使用它们的香草“现成”变体。根据这些结果,我们介绍了本地化的相关性匹配文档级CLIR,我们独立的分数对文档部分的查询。在第二部分中,我们评估了以监督方式微调的多语言编码器(即,我们学习排名)在一系列的zero-shot语言和域转移CLIR实验中的英语相关性数据。我们的研究结果表明,监督重新排名很少提高性能的多语言Transformers作为无监督的基础排名。最后,只有通过域内对比微调(即,相同的域,只有语言迁移),我们设法提高排名质量。我们发现跨语言检索结果和(zero-shot)跨语言迁移的结果在目标语言中的单语检索之间存在实质性的经验差异,这表明在单语数据上训练的检索模型的“单语过拟合”。
2021-12-21 cs.CL cs.IR
Condenser: a Pre-training Architecture for Dense Retrieval
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
预训练的Transformer语言模型(LM)已经成为文本表示编码器。先前的研究微调了深度LM,将句子和段落等文本序列编码为单个密集向量表示,以实现高效的文本比较和检索。然而,密集编码器需要大量的数据和复杂的技术来有效地训练,并在低数据情况下受到影响。本文发现一个关键的原因是,标准的LM的内部注意力结构是不准备使用的密集编码器,这需要聚合文本信息到密集表示。我们建议使用一种新的Transformer架构Condenser对密集编码器进行预训练,其中LM预测条件基于DENSE表示。我们的实验表明,Condenser在各种文本检索和相似性任务上比标准LM提高了很大的幅度。
2021-09-20 cs.CL cs.IR
Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual Retrieval
University of Mannheim(曼海姆大学);University of Cambridge(剑桥大学)
基于神经Transformer架构的预训练多语言文本编码器,如多语言BERT(mBERT)和XLM,在无数的语言理解任务上取得了很好的性能。因此,它们已被采用作为多语言和跨语言表示学习和迁移的一个去范例,使跨语言词嵌入(CLWEs)有效地过时。然而,问题仍然存在,在何种程度上这一发现推广1)无监督的设置和2)特设跨语言IR(CLIR)的任务。因此,在这项工作中,我们提出了一个系统的实证研究集中在国家的最先进的多语言编码器跨语言的文档和句子检索任务在大量的语言对的适用性。与有监督的语言理解相比,我们的研究结果表明,对于无监督的文档级CLIR -一种没有针对IR特定微调的相关性判断的设置-预训练编码器未能显着优于基于CLWE的模型。对于高级CLIR,我们证明了可以实现最先进的性能。然而,使用通用多语言文本编码器“现成的”并不能达到峰值性能,而是依赖于它们的变体,这些变体进一步专门用于句子理解任务。
2021-01-21 cs.CL cs.IR
GNN-encoder: Learning a Dual-encoder Architecture via Graph Neural Networks for Dense Passage Retrieval
最近,基于密集表示的检索模型在段落检索任务中占主导地位,由于其出色的能力,在捕捉输入文本的语义相比,传统的稀疏向量空间模型。稠密检索模型的一个常见做法是利用双编码器架构来独立地表示查询和段落。虽然有效,但这样的结构失去了查询-通道对之间的交互,导致准确性较差。为了提高稠密检索模型的性能而不损失效率,我们提出了一个GNN编码器模型,其中查询(通道)信息融合到通道(查询)表示通过图神经网络,构建查询和他们的顶部检索通道。通过这种方法,我们保持了一个双编码器结构,并保留了一些查询-通道对之间的相互作用信息,这使我们能够实现效率和功效的通道检索。评估结果表明,我们的方法在MSMARCO,Natural Questions和TriviaQA数据集上的性能明显优于现有模型,并在这些数据集上达到了新的最先进水平。
2022-10-12 cs.IR
Coverage Is Not Containment: A Fundamental Limit of Admission-Time Defenses Against Coordinated Poisoning of Vector Retrieval
该研究揭示摄入时刻防御无法抵御向量检索协同投毒,提出检索时刻检测器可捕获全部攻击,证明覆盖并非包含,稳健防御需转向查询需求。
2026-08-18 cs.CL cs.CR cs.IR
Efficient Retrieval Optimized Multi-task Learning
Amazon Alexa(亚马逊Alexa)
最近,在处理知识密集型任务(如开放领域问答(QA))的神经方法方面取得了重大进展。这些进步是通过将大型预训练语言模型与可学习的文档检索相结合来推动的。这些模型中的大多数使用单独的编码器来学习查询表示,检索器的通道表示和下游任务的附加编码器。为每个阶段/任务使用单独的编码器会占用大量内存,并且难以扩展到大量任务。在本文中,我们提出了一种新的检索优化多任务(ROM)框架,用于联合训练自监督任务,知识检索和提取问答。我们的ROM方法提出了一个统一的和可推广的框架,可以有效地扩展到多个任务,不同级别的监督和优化选择,如不同的学习时间表,而不改变模型架构。它还提供了在不改变系统架构的情况下改变编码器的灵活性。使用我们的框架,我们实现了可比或更好的性能比最近的QA方法,同时大大减少了参数的数量。
2021-04-20 cs.CL cs.IR
Learning Diverse Document Representations with Deep Query Interactions for Dense Retrieval
Beihang University(北京航空航天大学);Microsoft Research Asia(微软亚洲研究院)
在本文中,我们提出了一个新的稠密检索模型,学习不同的文档表示与深度查询交互。我们的模型编码每个文档与一组生成的伪查询,以获得查询通知,多视图文档表示。它不仅像vanilla双编码器模型一样具有高推理效率,而且还可以在文档编码中实现深度查询-文档交互,并提供多方面的表示以更好地匹配不同的查询。在几个基准测试上的实验证明了所提出的方法的有效性,性能优于强双编码器基线。代码可在\url {https:github.com/jordane95/dual-cross-encoder
2022-08-08 cs.CL cs.IR
BiRD: A Bidirectional Ranking Defense Mechanism for Retrieval Augmented Generation
Wuhan University(武汉大学);Naval University of Engineering(海军工程大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学)
本文提出BiRD,一种基于双向排序的防御机制,通过双信号框架提升检索增强生成系统的效率和鲁棒性,有效降低对抗攻击成功率并提高任务准确性。
2026-05-19 cs.CR cs.IR
Event-enhanced Retrieval in Real-time Search
Tencent Search, Platform and Content Group(腾讯平台与内容事业群搜索业务)
本文提出事件增强检索方法EER,通过改进双编码器并结合对比学习与事件三元组抽取,强化实时搜索对关键事件信息的关注,显著提升检索性能。
2024-04-09 cs.CL cs.IR
ScoreGate: Adaptive Chunk Selection for Retrieval-Augmented Generation via Dual-Score Statistical Fusion
HighLevel, Inc.(HighLevel公司)
针对固定K检索导致过检索或欠检索的问题,提出ScoreGate,利用双编码器相似度和交叉编码器重排序分数进行自适应检索数量控制,无需额外模型调用,在MS MARCO上以更少块数提升MRR@10,并实现零假阳性。
2026-06-15 cs.CL cs.IR
Caraman at SemEval-2026 Task 8: Three-Stage Multi-Turn Retrieval with Query Rewriting, Hybrid Search, and Cross-Encoder Reranking
Babeş-Bolyai University(巴贝什-波雅伊大学)
本文提出了一种三阶段多轮检索方法,结合查询重写、混合搜索和交叉编码器重排序,通过温度调优提升领域特定性能,达到nDCG@5 0.531的排名。
2026-05-12 cs.CL cs.IR
Translate-Distill: Learning Cross-Language Dense Retrieval by Translation and Distillation
Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland(马里兰大学);Information Sciences Institute, University of Southern California(南加利福尼亚大学信息科学研究所)
本文提出Translate-Distill方法,利用单语或CLIR cross-encoder作为教师模型,通过知识蒸馏训练跨语言信息检索的双编码器学生模型,解决了CLIR缺乏大规模跨语言训练数据的问题。
2024-01-09 cs.CL cs.IR
Hypencoder Revisited: Reproducibility and Analysis of Non-Linear Scoring for First-Stage Retrieval
University of Amsterdam(阿姆斯特丹大学)
本文重审Hypencoder框架,验证其在领域内和领域外基准上的优越性,并分析非线性评分在检索中的表现及扩展应用。
2026-04-29 cs.CL cs.IR
RetroMAE v2: Duplex Masked Auto-Encoder For Pre-Training Retrieval-Oriented Language Models
Beijing University of Posts and Telecommunications(北京邮电大学);Huawei Technologies Ltd. Co.(华为技术有限公司)
为了更好地支持检索应用,如网络搜索和问答,越来越多的努力,开发面向检索的语言模型。现有的大多数工作都集中在提高[CLS]令牌的上下文嵌入的语义表示能力。然而,最近的研究表明,除了[CLS]之外的普通标记可能会提供额外的信息,这有助于产生更好的表征效果。因此,有必要扩展当前的方法,其中所有上下文嵌入都可以联合预训练用于检索任务。基于这种动机,我们提出了一种新的预训练方法:双工掩码自动编码器,a.k.a. DupMAE,其目标是提高[CLS]和普通令牌的上下文嵌入的语义表示能力。它引入了两个解码任务:一个是基于[CLS]嵌入重建原始输入句子,另一个是基于整个普通标记的嵌入最小化输入句子的词袋损失(BoW)。将两种译码损失相加,训练出统一的编码模型。在降维和聚合之后,来自[CLS]和普通令牌的嵌入被连接为输入的一个统一的语义表示。DupMAE很简单,但在经验上很有竞争力:解码成本很小,它大大有助于模型的表示能力和可转移性,在MS MARCO和BEIR基准上实现了显着的改进。
2022-11-16 cs.CL cs.IR
Hierarchical corpus encoder: Fusing generative retrieval and dense indices
针对生成式检索难以处理未见文档的问题,提出分层语料库编码器(HCE),利用兄弟节点对比训练,在零样本和有监督设置下均优于生成式检索,并支持动态增删文档。
2025-02-26 cs.IR
Crossing Variational Autoencoders for Answer Retrieval
University of Notre Dame(圣母大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
答案检索是从给定问题的大量候选者中找到最一致的答案。问题/答案的学习向量表示是关键因素。问答对齐和问答语义是学习表征的两个重要信号。现有的方法使用双编码器或双变分自动编码器来学习语义表示。语义信息是从语言模型或问题到问题(答案到答案)生成过程中学习的。然而,对齐和语义过于分离,无法捕获问题和答案之间的对齐语义。在这项工作中,我们建议通过生成具有对齐答案的问题和生成具有对齐问题的答案来交叉变分自动编码器。实验结果表明,我们的方法优于国家的最先进的答案检索方法SQuAD。
2020-07-06 cs.CL cs.IR
Legal Retrieval for Public Defenders
Princeton University(普林斯顿大学);Stanford University(斯坦福大学)
本文提出了一种针对公共辩护人工作的法律检索工具,通过引入领域知识提升检索效果,并发布了一个真实辩护人检索查询的分类学和手动标注的数据集,以改进现实中的法律检索基准。
2026-08-11 cs.IR
Shallow Cross-Encoders for Low-Latency Retrieval
University of Glasgow(格拉斯哥大学)
本文提出在低延迟检索场景下使用浅层Transformer交叉编码器,并结合gBCE训练方案,在相同时间预算内评分更多文档,显著提升NDCG@10并降低对GPU的依赖。
2024-03-29 cs.CL cs.IR
Evaluating Token-Level and Passage-Level Dense Retrieval Models for Math Information Retrieval
随着最近基于双编码器的稠密检索方法的成功,研究已经将这种方法应用于各种有趣的下游检索任务,具有良好的效率和域内有效性。最近,我们也看到了稠密检索模型在数学信息检索(MIR)任务的存在,但最有效的系统仍然是经典的检索方法,考虑手工制作的结构特征。在这项工作中,我们试图结合两个世界的最佳:\一个定义良好的结构搜索方法,有效的公式搜索和高效的双编码器稠密检索模型,以捕捉上下文的相似性。具体来说,我们已经评估了两个代表性的双编码器模型的令牌级和令牌级稠密检索最近的MIR任务。我们的研究结果表明,双编码器模型是高度互补的现有结构搜索方法,我们能够推进最先进的MIR数据集。
2022-10-21 cs.IR
Pre-train a Discriminative Text Encoder for Dense Retrieval via Contrastive Span Prediction
稠密检索在许多信息检索(IR)相关任务中显示出了良好的效果,其基础是高质量的文本表示学习以实现有效的检索。最近的一些研究表明,基于自动编码器的语言模型能够使用弱解码器来提高稠密检索的性能。然而,我们认为,1)它是没有歧视性的解码所有的输入文本,2)即使是一个弱的解码器有旁路效应的编码器。因此,在这项工作中,我们引入了一种新的对比跨度预测任务来单独预训练编码器,但仍然保留了自动编码器的瓶颈能力。因此,在这项工作中,我们建议放弃解码器,并引入一种新的对比跨度预测任务来单独预训练编码器。其关键思想是迫使编码器生成的文本表示接近自己的随机跨度,而远离其他使用组明智的对比损失。通过这种方式,我们可以1)通过跨跨度的分组对比学习来有效地学习有区别的文本表示,2)彻底避免解码器的旁路效应。在公开的检索基准数据集上的综合实验表明,该方法在稠密检索中的性能明显优于现有的预训练方法。
2022-04-22 cs.IR
mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval
Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室);The Hong Kong Polytechnic University(香港理工大学)
本文从零构建了长上下文多语言文本表示模型与重排序器,通过引入支持8192-token的编码器及对比学习,在匹配甚至超越大规模模型性能的同时显著提升了训练与推理效率。
2024-10-14 cs.CL cs.IR
Multimodal Dual-Encoder Retrieval for Automated ICD Coding
Amazon(亚马逊);Rutgers University(罗格斯大学)
针对现有ICD编码方法无法处理多模态数据、难以扩展且缺乏透明度的问题,提出两阶段框架,先以多模态双编码器门控融合检索候选,再用LLM重排序,实验证明其优于密集多标签分类基线。
2026-10-06 cs.CL cs.IR
Distribution-Aligned Fine-Tuning for Efficient Neural Retrieval
基于双编码器的神经检索模型实现了可观的性能,并补充传统的词汇检索器,以及由于其语义匹配能力,这使得它们成为混合IR系统的常见选择。然而,这些模型在在线查询编码步骤中表现出性能瓶颈,因为相应的查询编码器通常是大型且复杂的Transformer模型。在本文中,我们研究异构双编码器模型,其中两个编码器是单独的模型,不共享参数或初始化。我们的经验表明,异构的双编码器容易崩溃的表示,使他们输出恒定的平凡表示时,他们使用一个标准的对比度损失,由于分布不匹配进行微调。我们提出了DAFT,一个简单的两阶段微调方法,对齐两个编码器,以防止它们崩溃。我们进一步演示了如何DAFT可以用来训练高效的异构双编码器模型,使用轻量级查询编码器。
2022-11-09 cs.IR
Large Dual Encoders Are Generalizable Retrievers
Google Research(谷歌研究院)
已经表明,在一个域上训练的双编码器通常不能推广到其他域的检索任务。一个普遍的看法是,双编码器的瓶颈层,其中最终得分只是一个查询向量和通道向量之间的点积,是太有限,使双编码器的有效检索模型外的领域泛化。在本文中,我们挑战这种信念,规模的双重编码器模型{ \em的大小,同时保持瓶颈嵌入大小固定。}令人惊讶的是,通过多阶段训练,扩大模型大小可以显着改善各种检索任务,特别是对于领域泛化。实验结果表明,我们的双编码器,\textbf{G}可推广的\textbf{T} 5为基础的密集\textbf{R}检索器(GTR),优于%ColBERT~ \cite{khattab2020colbert}和现有的稀疏和密集检索器的BEIR数据集~ \cite{thakur2021beir}显着。最令人惊讶的是,我们的消融研究发现,GTR是非常有效的数据,因为它只需要10%的MS Marco监督数据,以实现最佳的域外性能。所有的GTR型号都在https://tfhub.dev/google/collections/gtr/1上发布。
2021-12-15 cs.CL cs.IR
Empowering Dual-Encoder with Query Generator for Cross-Lingual Dense Retrieval
在单语稠密检索中,大量的工作集中在如何从交叉编码器重排序器到双编码器检索器中提取知识,这些方法由于交叉编码器重排序器的有效性而获得更好的性能。然而,我们发现跨编码器重排序器的性能受到训练样本的数量和负样本的质量的严重影响,这在跨语言设置中很难获得。在本文中,我们提出了使用查询生成器作为教师在跨语言设置,这是较少依赖于足够的训练样本和高质量的负样本。除了传统的知识蒸馏,我们进一步提出了一种新的增强方法,使用查询生成器来帮助双编码器对齐来自不同语言的查询,但不需要任何额外的并行语句。实验结果表明,我们的方法优于国家的最先进的方法在两个基准数据集。
2023-03-27 cs.IR
A Multi-level Distillation based Dense Passage Retrieval Model
本文提出基于多级蒸馏的稠密检索模型MD2PR,通过句子级和词语级蒸馏将交叉编码器知识转移至双编码器,并引入动态过滤方法,在两个标准数据集上超越11个基线模型。
2023-12-28 cs.IR
Learning Query Encoders Can Be Hard Even When Vector Retrieval Is Geometrically Easy
Stanford University(斯坦福大学);Amazon AWS(亚马逊云科技);Tel Aviv University(特拉维夫大学)
本研究探讨向量检索中查询编码器的可学习性,发现其质量远低于文档索引的几何容量上限,并理论证明学习查询编码器在计算上可能困难,需指数级统计查询。
2026-10-05 cs.IR cs.LG
Benchmarking and Enabling Efficient Chinese Medical Retrieval via Asymmetric Encoders
University of Science and Technology of China(中国科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能全国重点实验室);iFlytek Research(科大讯飞研究院);HeFei Institute of Technology(合肥工业大学)
本文提出CMedTEB基准,结合检索、重排序和语义文本相似性任务,引入CARE不对称检索器,通过两阶段训练策略提升性能,实现高效医疗检索。
2026-04-20 cs.IR
Generative Multi-hop Retrieval
文本检索的一个常见做法是使用编码器将文档和查询映射到一个公共向量空间,并执行最近邻搜索(NNS);多跳检索也经常采用相同的范式,通常修改迭代地重新制定查询向量,以便它可以在每一跳检索不同的文档。然而,这种双编码器方法在多跳设置中存在局限性;(1)随着跳数的增加,重新表达的查询会变得更长,这进一步加剧了查询向量的嵌入瓶颈,(2)容易发生错误传播。在本文中,我们专注于减轻这些限制,在多跳设置制定一个完全生成的方式的问题。我们提出了一种编码器-解码器模型,通过简单地生成检索目标的整个文本序列来执行多跳检索,这意味着查询和文档在语言模型的参数空间中进行交互,而不是像双编码器方法中的L2或内积空间。我们的方法,生成式多跳检索(GMR),在五个数据集中始终实现与双编码器模型相当或更高的性能,同时展示了卓越的GPU内存和存储空间。
2022-10-16 cs.IR
SamToNe: Improving Contrastive Loss for Dual Encoder Retrieval Models with Same Tower Negatives
Google Inc.(谷歌公司)
本文提出 SamToNe 对比损失,将同编码器塔中的查询或文档作为负样本,提升对称与非对称双编码器在多个检索基准上的表现,并从嵌入对齐和正则化角度解释其机理。
2023-06-05 cs.IR cs.LG
Jointly Optimizing Query Encoder and Product Quantization to Improve Retrieval Performance
近年来,信息检索领域见证了稠密检索(DR)的快速发展,DR使用基于嵌入的搜索来执行第一阶段的检索。尽管令人印象深刻的排名性能,以前的研究通常采用暴力搜索获得候选人,这是禁止在实际的Web搜索场景,由于其巨大的内存使用和时间成本。为了克服这些问题,向量压缩方法已被采用在许多实际的基于嵌入的检索应用。最流行的方法之一是乘积量化(PQ)。然而,虽然现有的矢量压缩方法,包括PQ可以帮助提高DR的效率,他们招致严重衰减的检索性能,由于编码和压缩之间的分离。为了解决这个问题,我们提出了JPQ,它代表查询编码和乘积量化的联合优化。它基于三种优化策略,即面向排名的损失,PQ质心优化和端到端负采样,以端到端的方式联合训练查询编码器和PQ索引。我们评估JPQ两个公开的检索基准。实验结果表明,JPQ明显优于流行的矢量压缩方法。与以前使用蛮力搜索的DR模型相比,JPQ几乎可以在索引大小压缩30倍的情况下获得最佳检索性能。压缩后的索引在查询延迟方面进一步带来了10倍的CPU加速和2倍的GPU加速。
2021-08-22 cs.IR
Analysing the Robustness of Dual Encoders for Dense Retrieval Against Misspellings
稠密检索正在成为文档和段落排序的标准方法之一。双编码器架构由于其效率和高性能而被广泛用于评分问题-通道对。通常,稠密检索模型是在干净和精心策划的数据集上评估的。然而,当部署在现实生活中的应用程序,这些模型遇到嘈杂的用户生成的文本。也就是说,当暴露在嘈杂的文本中时,最先进的密集检索器的性能会大大恶化。在这项工作中,我们研究了密集检索器对用户问题中的错别字的鲁棒性。我们观察到双编码器模型在遇到错别字时的性能显着下降,并探索通过将数据增强与对比学习相结合来提高其鲁棒性的方法。我们在两个大规模的文章排名和开放域问答数据集上的实验表明,我们提出的方法优于竞争方法。此外,我们对鲁棒性进行了全面的分析。最后,我们提供了关于不同的错别字如何不同地影响嵌入的鲁棒性以及我们的方法如何消除某些错别字的影响而不是其他错别字的影响的见解。
2022-05-04 cs.IR
Beyond Retrieval: Ensembling Cross-Encoders and GPT Rerankers with LLMs for Biomedical QA
Georgia Institute of Technology(佐治亚理工学院)
本文提出一种结合密集检索、交叉编码器与LLM重排序的RAG系统,用于生物医学问答,在BioASQ 2025任务13b中取得多项领先排名,如事实型问题MRR排名第一。
2025-07-08 cs.CL cs.IR cs.LG
Leveraging Decoder Architectures for Learned Sparse Retrieval
本研究探索了学习型稀疏检索在仅编码器、仅解码器和编码器-解码器架构中的表现,发现编码器-解码器架构配合多令牌解码效果最佳,而仅解码器模型在参数规模增大时具有超越潜力。
2025-04-25 cs.IR
SpaDE: Improving Sparse Representations using a Dual Document Encoder for First-stage Retrieval
针对稀疏检索中词汇不匹配与查询推理成本的权衡,提出双文档编码器模型 SpaDE 及协同训练策略,在多个基准上优于现有单编码器排序模型。
2023-10-05 cs.IR
Noise-Robust Dense Retrieval via Contrastive Alignment Post Training
the University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Walmart Labs(沃尔玛实验室)
提出对比对齐后训练(CAPOT)方法,通过冻结文档编码器并训练查询编码器将噪声查询与根查询对齐,在无需数据增强开销的情况下显著提升双编码器稠密检索对噪声查询的鲁棒性。
2023-04-10 cs.AI cs.CL cs.IR
Conventional Contrastive Learning Often Falls Short: Improving Dense Retrieval with Cross-Encoder Listwise Distillation and Synthetic Data
针对传统对比学习微调在稠密检索中效果不佳的问题,提出交叉编码器列表式蒸馏与多样化合成查询数据的方法,显著提升多数据集检索效果,并达到BERT嵌入模型最先进水平。
2025-05-25 cs.IR
CoT-MAE v2: Contextual Masked Auto-Encoder with Multi-view Modeling for Passage Retrieval
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Kuaishou Technology(快手科技)
本研究提出CoT-MAE v2,通过引入结合密集与稀疏向量的多视图表示及联合自编码与自回归的多视图解码范式,改进上下文掩码自编码器,有效提升了大规模段落检索与域外零样本检索的性能。
2023-04-05 cs.AI cs.CL cs.IR
Reverse-Engineering the Retrieval Process in GenIR Models
本文通过机制可解释性方法逆向分析GenIR模型的内部检索过程,揭示解码器主导检索且其处理可分为启动、桥接和交互三个阶段,其中查询与文档交互仅发生在最后阶段。
2025-04-08 cs.IR
What Drives Cross-lingual Ranking? Retrieval Approaches with Multilingual Language Models
The Alan Turing Institute(艾伦·图灵研究所);Queen Mary University of London(伦敦女王学院);University College London(伦敦大学学院)
本文研究了跨语言检索中影响排序的因素,发现专门训练的密集检索模型和对比学习在低资源和跨脚本场景中表现更优,优于传统的翻译和单语言检索方法。
2025-11-24 cs.AI cs.CL cs.IR
Unified Multimodal and Multilingual Retrieval via Multi-Task Learning with NLU Integration
Xiaomi Corporation(小米公司)
本文提出通过多任务学习与NLU集成实现统一的多模态和多语言检索,提升跨语言和跨模态的检索效率与准确性。
2026-01-21 cs.IR
Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix Factorization
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Google Research(谷歌研究院)
高效的k近邻搜索是一项基本任务,是NLP中许多问题的基础。当通过双编码器向量之间的点积或$\ell_2$ -距离来度量相似性时,已经存在许多可扩展且有效的搜索方法。但当相似性由更准确和昂贵的黑盒神经相似性模型(如交叉编码器)测量时,情况并非如此,交叉编码器联合编码查询和候选邻居。交叉编码器的高计算成本通常限制了它们的使用,以重新排序由更便宜的模型,如双编码器或TF-IDF检索的候选人。然而,这样的两阶段方法的准确性是由初始候选集的召回上限,并且可能需要额外的训练来将辅助检索模型与交叉编码器模型对齐。在本文中,我们提出了一种方法,避免使用双编码器检索,只依赖于交叉编码器。检索是有效的CUR分解,矩阵分解方法,近似所有成对的交叉编码器距离从一个小的子集的行和列的距离矩阵。使用我们的方法索引项目在计算上比通过蒸馏训练辅助双编码器模型更便宜。从经验上讲,对于k > 10,我们的方法提供了优于当前广泛使用的方法的测试时召回与计算成本的权衡,这些方法使用双编码器或TF-IDF对检索到的项目进行重新排序。
2022-10-23 cs.CL cs.IR cs.LG
Query-aware routing for Cross-lingual performance gains in Encoders
ConfidentialMind
本研究提出查询感知路由结合低秩适配器,在不损害同语言性能的前提下,显著提升芬兰语和瑞典语的跨语言检索质量,相对增益达20.9%。
2026-10-05 cs.AI cs.CL cs.IR
Quick Dense Retrievers Consume KALE: Post Training Kullback Leibler Alignment of Embeddings for Asymmetrical dual encoders
the University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Walmart Labs(沃尔玛实验室)
本文针对密集检索双编码器的推理延迟问题,提出训练后查询编码器剪枝与 KL 对齐方法 KALE,并结合非对称模型设计,在无需完全重训或重建索引的情况下实现 3 倍加速且性能超过 DistilBERT。
2023-06-01 cs.AI cs.CL cs.IR
Benchmarking Poisoning Attacks against Retrieval-Augmented Generation
Nankai University(南开大学);University of Louisville(路易斯安那大学);University of North Texas(北卡罗来纳州立大学)
该研究提出首个针对检索增强生成(RAG)投毒攻击的综合性基准框架,涵盖5个标准QA数据集及10个扩展变体、13种攻击方法和7种防御机制,发现现有攻击在扩展数据集上效果显著下降,且多种先进RAG架构仍易受攻击,现有防御缺乏稳健性。
2025-05-24 cs.CR cs.IR cs.LG
Semantic Search for Information Retrieval
本研究综述信息检索从词汇技术到语义检索器的发展,介绍BM25基线及DPR、ColBERT、SPLADE、MonoT5等现代语义检索模型,还探讨评估策略、挑战与未来方向。
2025-08-25 cs.IR
MCA: Modality Composition Awareness for Robust Composed Multimodal Retrieval
Sony Group Corporation(索尼集团公司);Sony AI(索尼人工智能)
针对统一编码器在组合多模态检索中易受模态捷径影响的问题,提出模态组合感知框架,通过偏好损失和组合正则化增强鲁棒性,实验验证了其有效性。
2026-10-06 cs.AI cs.CL cs.IR
RAGuard: A Layered Defense Framework for Retrieval-Augmented Generation Systems Against Data Poisoning
该研究针对RAG系统的语料库中毒攻击,提出分层防御框架RAGuard,含对抗微调检索器与ZKIP两层,可将攻击成功率降至0,且保持检索性能,相关资源已开源。
2026-07-30 cs.CR cs.IR cs.LG
TurkColBERT: A Benchmark of Dense and Late-Interaction Models for Turkish Information Retrieval
NewMind AI
TurkColBERT通过比较密集编码器和晚期交互模型,展示了在土耳其信息检索中的高效参数利用和性能提升。
2025-11-20 cs.AI cs.CL cs.IR
Do We Still Need Gazetteers in the Era of LLMs? Chaining Retrieval with a Spatial Neuro-Symbolic Index
RMIT University(皇家墨尔本理工大学)
本研究评估文本编码器能否作为空间语义索引,通过对比暴力最近邻与层次束搜索两种检索策略,发现无约束密集检索易出错,层次约束改善粗粒度定位但细粒度仍有限。
2026-10-07 cs.IR
Benchmarking and Building Long-Context Retrieval Models with LoCo and M2-BERT
Stanford University(斯坦福大学)
针对长文档检索性能差的问题,提出12任务基准LoCoV1和基于Monarch Mixer的80M参数长上下文检索编码器M2-BERT,通过特定预训练与单样本微调,在参数量减少90倍以上的情况下性能超越Transformer模型至少23.3分。
2024-11-18 cs.IR cs.LG
Investigating Multi-layer Representations for Dense Passage Retrieval
University of Oxford(牛津大学);Vienna University of Technology(维也纳工业大学)
本文提出多层表示 MLR,利用编码器多层信息表示文档,并通过池化将多向量模型转为单向量以提升效率,实验证明其优于 dual encoder、ME-BERT 和 ColBERT。
2025-09-28 cs.IR