SERVAL: Surprisingly Effective Zero-Shot Visual Document Retrieval Powered by Large Vision and Language Models
University of Amsterdam(阿姆斯特丹大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出SERVAL零样本视觉文档检索方法,利用视觉-语言模型生成文档图像描述并由文本编码器嵌入,在ViDoRe-v2上以63.4% nDCG@5超越专用多向量编码器,同时具备更好的扩展性和多语言覆盖能力。
2025-09-18 cs.IR
Learning Diverse Document Representations with Deep Query Interactions for Dense Retrieval
Beihang University(北京航空航天大学);Microsoft Research Asia(微软亚洲研究院)
在本文中,我们提出了一个新的稠密检索模型,学习不同的文档表示与深度查询交互。我们的模型编码每个文档与一组生成的伪查询,以获得查询通知,多视图文档表示。它不仅像vanilla双编码器模型一样具有高推理效率,而且还可以在文档编码中实现深度查询-文档交互,并提供多方面的表示以更好地匹配不同的查询。在几个基准测试上的实验证明了所提出的方法的有效性,性能优于强双编码器基线。代码可在\url {https:github.com/jordane95/dual-cross-encoder
2022-08-08 cs.CL cs.IR
Enhancing Documents with Multidimensional Relevance Statements in Cross-encoder Re-ranking
University of Milano-Bicocca(米兰比可卡大学);Leiden University(莱顿大学)
本文提出一种在交叉编码器重排序中通过添加额外相关性陈述(如可信度)来增强候选文档的方法,实验证明该方法在消费者健康搜索任务中优于现有聚合和交叉编码器重排序方法。
2023-06-19 cs.AI cs.IR
An Empirical Study of Uniform-Architecture Knowledge Distillation in Document Ranking
基于BERT的排序模型在商业搜索引擎中得到了广泛的应用,但对于在线排序任务来说,它们通常是耗时的。知识蒸馏是一种减少在线推理延迟的常用策略,其目的是学习性能与较大模型相当的较小模型。在本文中,我们研究了不同的损失函数的均匀结构蒸馏的BERT排序模型的效果。这里的“统一架构”表示教师和学生模型都在交叉编码器架构中,而学生模型包括小规模的预训练语言模型。我们的实验结果表明,排序任务的最佳蒸馏配置与一般的自然语言处理任务有很大的不同。具体而言,当学生模型处于交叉编码器架构中时,成对丢失硬标签对于训练学生模型至关重要,而中间Transformer层的蒸馏目标可能会损害性能。这些发现强调了仔细设计一个蒸馏策略(交叉编码器的学生模型)的必要性,为文档排序与成对训练样本量身定制。
2023-02-08 cs.IR
Layer-wise Token Compression for Efficient Document Reranking
Amazon AGI(亚马逊人工智能);Amazon AWS(亚马逊云科技)
本文提出逐层令牌压缩(LTC)方法,通过在中间Transformer层应用自适应令牌池化,提升文档重排序的效率,实验表明在中间层压缩能保持排序质量并显著提高推理吞吐量。
2026-05-21 cs.IR
Efficient Long-Document Reranking via Block-Level Embeddings and Top-k Interaction Refinement
Soochow University(苏州大学);Univ Grenoble Alpes, CNRS, Grenoble INP, LIG(格勒诺布尔阿尔卑斯大学,法国国家科学研究中心,格勒诺布尔理工学院)
本文提出基于块级嵌入和Top-k交互细化的高效长文档重排序方法,通过块级表示和轻量级模块提升重排序效果并保持低延迟。
2026-02-05 cs.IR
Learning Query Encoders Can Be Hard Even When Vector Retrieval Is Geometrically Easy
Stanford University(斯坦福大学);Amazon AWS(亚马逊云科技);Tel Aviv University(特拉维夫大学)
本研究探讨向量检索中查询编码器的可学习性,发现其质量远低于文档索引的几何容量上限,并理论证明学习查询编码器在计算上可能困难,需指数级统计查询。
2026-10-05 cs.IR cs.LG
A Multi-level Distillation based Dense Passage Retrieval Model
本文提出基于多级蒸馏的稠密检索模型MD2PR,通过句子级和词语级蒸馏将交叉编码器知识转移至双编码器,并引入动态过滤方法,在两个标准数据集上超越11个基线模型。
2023-12-28 cs.IR
Generative Multi-hop Retrieval
文本检索的一个常见做法是使用编码器将文档和查询映射到一个公共向量空间,并执行最近邻搜索(NNS);多跳检索也经常采用相同的范式,通常修改迭代地重新制定查询向量,以便它可以在每一跳检索不同的文档。然而,这种双编码器方法在多跳设置中存在局限性;(1)随着跳数的增加,重新表达的查询会变得更长,这进一步加剧了查询向量的嵌入瓶颈,(2)容易发生错误传播。在本文中,我们专注于减轻这些限制,在多跳设置制定一个完全生成的方式的问题。我们提出了一种编码器-解码器模型,通过简单地生成检索目标的整个文本序列来执行多跳检索,这意味着查询和文档在语言模型的参数空间中进行交互,而不是像双编码器方法中的L2或内积空间。我们的方法,生成式多跳检索(GMR),在五个数据集中始终实现与双编码器模型相当或更高的性能,同时展示了卓越的GPU内存和存储空间。
2022-10-16 cs.IR
Zero-Shot Multi-Label Classification of Bangla Documents: Large Decoders Vs. Classic Encoders
Wichita State University(威奇托州立大学);University of Central Florida(中佛罗里达大学)
本文针对Bangla语言建立了首个零样本多标签分类基准,比较了基于解码器的LLM与经典编码器模型,对32个模型的评估表明现有先进模型在该任务上准确率仍不足,凸显了Bangla NLP亟需更多研究与资源投入。
2025-03-04 cs.CL cs.IR
Reverse-Engineering the Retrieval Process in GenIR Models
本文通过机制可解释性方法逆向分析GenIR模型的内部检索过程,揭示解码器主导检索且其处理可分为启动、桥接和交互三个阶段,其中查询与文档交互仅发生在最后阶段。
2025-04-08 cs.IR
Beyond 512 Tokens: Siamese Multi-depth Transformer-based Hierarchical Encoder for Long-Form Document Matching
Google Research(谷歌研究院)
许多自然语言处理和信息检索问题可以形式化为语义匹配任务。这一领域的现有工作主要集中在短文本之间的匹配(例如,问答),或者在短文本和长文本之间(例如,ad-hoc检索)。长文本之间的语义匹配在新闻推荐、相关文章推荐、文档聚类等方面有着重要的应用,但目前研究相对较少,需要更多的研究工作。近年来,基于自注意力的模型如Transformers和BERT在文本匹配任务中取得了最先进的性能。然而,由于自我注意力相对于输入文本长度的二次计算复杂性,这些模型仍然限于短文本,如几个句子或一个段落。在本文中,我们解决这个问题,提出了连体多深度转换器为基础的层次(SMITH)编码器的长形式的文档匹配。我们的模型包含几个创新,以适应较长的文本输入的自我注意力模型。为了更好地捕捉文档中的句子级语义关系,除了BERT使用的掩码词语言建模任务外,我们还使用一种新的掩码句子块语言建模任务对模型进行预训练。我们在几个基准数据集上进行长格式文档匹配的实验结果表明,我们提出的SMITH模型优于以前的最先进的模型,包括层次注意力,基于多深度注意力的层次递归神经网络,和BERT。与基于BERT的基线相比,我们的模型能够将最大输入文本长度从512增加到2048。我们将开源一个基于维基百科的基准数据集、代码和一个预训练的检查点,以加速未来对长格式文档匹配的研究。
2020-10-13 cs.CL cs.IR
On Cross-Lingual Retrieval with Multilingual Text Encoders
University of Cambridge(剑桥大学);University of Mannheim(曼海姆大学)
在这项工作中,我们提出了一个系统的实证研究,重点是国家的最先进的多语言编码器跨语言的文件和句子检索任务在许多不同的语言对的适用性。我们首先将这些模型视为多语言文本编码器,并在无监督的特设句子和文档级CLIR中对其性能进行基准测试。与有监督的语言理解相比,我们的研究结果表明,对于无监督的文档级CLIR -一种没有针对IR特定微调的相关性判断的设置-平均而言,预训练的多语言编码器未能显着优于基于CLWE的早期模型。对于高级检索,我们确实获得了最先进的性能:然而,峰值分数是由多语言编码器满足的,这些编码器以监督的方式进一步专门用于句子理解任务,而不是使用它们的香草“现成”变体。根据这些结果,我们介绍了本地化的相关性匹配文档级CLIR,我们独立的分数对文档部分的查询。在第二部分中,我们评估了以监督方式微调的多语言编码器(即,我们学习排名)在一系列的zero-shot语言和域转移CLIR实验中的英语相关性数据。我们的研究结果表明,监督重新排名很少提高性能的多语言Transformers作为无监督的基础排名。最后,只有通过域内对比微调(即,相同的域,只有语言迁移),我们设法提高排名质量。我们发现跨语言检索结果和(zero-shot)跨语言迁移的结果在目标语言中的单语检索之间存在实质性的经验差异,这表明在单语数据上训练的检索模型的“单语过拟合”。
2021-12-21 cs.CL cs.IR
NanoVDR: Distilling a 2B Vision-Language Retriever into a 70M Text-Only Encoder for Visual Document Retrieval
Aalto University(阿alto大学)
利用查询-文档不对称性,通过蒸馏将20亿参数的视觉语言模型教师蒸馏为7000万参数的纯文本学生编码器,采用点态余弦对齐目标,实现视觉文档检索的高效推理。
2026-09-01 cs.CV cs.IR cs.LG
RandSlot: Learning Compact Visual Document Representations with Random Soft Tokens
Ant Group(蚂蚁集团);Tsinghua University(清华大学)
RandSlot通过随机软标记训练编码器生成紧凑多向量表示,在相同向量预算下提升视觉文档检索质量,且推理时无需采样。
2026-09-29 cs.IR
Query-aware routing for Cross-lingual performance gains in Encoders
ConfidentialMind
本研究提出查询感知路由结合低秩适配器,在不损害同语言性能的前提下,显著提升芬兰语和瑞典语的跨语言检索质量,相对增益达20.9%。
2026-10-05 cs.AI cs.CL cs.IR
OFAR: A Multimodal Evidence Retrieval Framework for Illegal Live-streaming Identification
针对非法直播识别中人工证据检索耗时费力的问题,本文提出多模态证据检索框架 OFAR,通过 OFA 双编码器与基于 MaxSim 的对比延迟交互提升匹配效果,并在工业数据集 TaoLive 上验证其显著性能。
2023-04-26 cs.IR
Semi-Siamese Bi-encoder Neural Ranking Model Using Lightweight Fine-Tuning
Seoul National University(首尔国立大学);Naver Corp.(Naver公司)
基于BERT的神经排序模型(NRM)可以是交叉编码器或双向编码器。在这两者之间,bi-encoder效率很高,因为所有文档都可以在实际查询时间之前进行预处理。在这项工作中,我们展示了两种方法来提高基于BERT的双编码器的性能。第一种方法是用轻量级的微调来代替完整的微调步骤。我们研究轻量级的微调方法,是基于适配器的,基于FPGA的,和两者的混合。第二种方法是开发半连体模型,其中查询和文档的处理具有有限的差异。通过学习两个轻量级的微调模块来实现有限的差异,其中BERT的主要语言模型对于查询和文档都是通用的。我们为monoBERT,TwinBERT和ColBERT提供了广泛的实验结果,其中三个性能指标在Robust 04,Cocktail Web 09 b和MS-MARCO数据集上进行了评估。结果证实,轻量级微调和半暹罗是相当有帮助的改善基于BERT的双编码器。事实上,轻量级的微调对CrossEncoder也很有帮助
2022-03-02 cs.CL cs.IR
Improving Query Representations for Dense Retrieval with Pseudo Relevance Feedback
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
稠密检索系统使用嵌入式表示和简单的相似性度量来进行第一阶段检索,以将查询与文档相匹配。它的有效性取决于编码嵌入来捕获查询和文档的语义,这是一项具有挑战性的任务,因为搜索查询的简短和模糊。本文提出了ANCE-PRF,一种新的查询编码器,使用伪相关反馈(PRF),以改善查询表示的稠密检索。ANCE-PRF使用一个BERT编码器,该编码器使用查询和来自稠密检索模型ANCE的顶部检索文档,并且它学习直接从相关性标签产生更好的查询嵌入。它还保持文档索引不变,以减少开销。ANCE-PRF在几个数据集上的性能明显优于ANCE和其他最近的稠密检索系统。分析表明,该编码器能够有效地捕获PRF文档中的相关信息和互补信息,同时利用学习到的注意力机制忽略噪声。
2021-08-30 cs.AI cs.IR
Test-Time Adaptation with Query-Dependent Residuals for Visual Document Retrieval
South China University of Technology(华南理工大学);Foshan University(佛山大学)
针对视觉文档检索中部署后难以自适应的问题,提出Q-REACT方法,利用查询相关残差将有限重排序反馈转化为可复用检索改进,在多个任务和骨干网络上提升平均检索性能且开销小。
2026-09-24 cs.IR
Investigating Multi-layer Representations for Dense Passage Retrieval
University of Oxford(牛津大学);Vienna University of Technology(维也纳工业大学)
本文提出多层表示 MLR,利用编码器多层信息表示文档,并通过池化将多向量模型转为单向量以提升效率,实验证明其优于 dual encoder、ME-BERT 和 ColBERT。
2025-09-28 cs.IR
Skill Is Not Document: Query-Conditioned Compatibility for LLM Agent Skill Routing
Tencent IMA Product Center(腾讯IMA产品中心);Tencent Youtu Lab(腾讯优图实验室)
针对LLM智能体技能路由中技能兼容性被忽视的问题,提出Reject-as-Resource Retriever (R3)框架,构建双语基准R3-Skill,并设计两阶段检索系统(R3-Embedding + R3-Reranker)显式建模技能兼容性,显著提升检索效果。
2026-08-05 cs.IR
Translate-Distill: Learning Cross-Language Dense Retrieval by Translation and Distillation
Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland(马里兰大学);Information Sciences Institute, University of Southern California(南加利福尼亚大学信息科学研究所)
本文提出Translate-Distill方法,利用单语或CLIR cross-encoder作为教师模型,通过知识蒸馏训练跨语言信息检索的双编码器学生模型,解决了CLIR缺乏大规模跨语言训练数据的问题。
2024-01-09 cs.CL cs.IR
BoundaryMORPH: Budgeted Reranking via Active Set Selection for Diffuse Retrieval
Purdue University(普渡大学);AWS AI Labs(亚马逊AI实验室)
针对弥散检索中CE预算小于上下文容量的不匹配问题,提出BoundaryMORPH算法,利用高斯过程将CE预算用于边界处top-k集合成员判定,实现最先进的集合检索质量。
2026-09-24 cs.IR
Benchmarking and Enabling Efficient Chinese Medical Retrieval via Asymmetric Encoders
University of Science and Technology of China(中国科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能全国重点实验室);iFlytek Research(科大讯飞研究院);HeFei Institute of Technology(合肥工业大学)
本文提出CMedTEB基准,结合检索、重排序和语义文本相似性任务,引入CARE不对称检索器,通过两阶段训练策略提升性能,实现高效医疗检索。
2026-04-20 cs.IR
DistilVDR: A Compact End-to-End Visual Document Retriever via Dual-Student Distillation
Aalto University(阿尔托大学)
本研究提出DistilVDR,通过双学生蒸馏从80亿参数视觉-语言教师模型得到5.24亿参数的紧凑端到端VDR系统,在多个基准上性能接近教师模型且索引速度更快、体积更小。
2026-08-12 cs.CL cs.CV cs.IR
Multistage BiCross encoder for multilingual access to COVID-19 health information
University of Sheffield(谢菲尔德大学)
新型冠状病毒(COVID-19)大流行导致网上健康信息迅速增长。这促使人们需要以多种语言对数百万文档进行准确的语义搜索和检索可靠的COVID-19信息。为了解决这一问题,本文提出了一种新的高精度和高召回率神经多级BiCross编码器的方法。它是一个顺序的三阶段排名管道,使用Okapi BM 25检索算法和基于transformer的双向编码器和交叉编码器来有效地对给定查询的文档进行排名。我们展示了我们参与COVID-19多语言语义搜索的多语言信息访问(MLIA)共享任务的实验结果。独立评估的MLIA结果验证了我们的方法,并表明它优于其他国家的最先进的方法,根据几乎所有的评价指标的情况下,单语和双语运行。
2021-08-26 cs.AI cs.IR cs.LG
Zero-Shot Listwise Document Reranking with a Large Language Model
University of Waterloo(滑铁卢大学)
针对监督排序方法依赖大量标注数据的问题,提出无需任务特定训练的大语言模型列表式重排序器LRL,在多数据集上表现优于零样本逐点方法,且具备跨语言泛化潜力。
2023-05-03 cs.CL cs.IR
Generative Late-Interaction Embeddings For Visual Document Retrieval
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Department of Computer Science, Edge Hill University(埃奇希尔大学计算机科学系)
针对视觉文档检索中后期交互嵌入存储开销大的问题,提出生成式后期交互嵌入(GLIE),利用向量几何特性从少量向量重建完整嵌入,在低存储下保持高检索精度。
2026-09-11 cs.IR
Auto Search Indexer for End-to-End Document Retrieval
本文提出 Auto Search Indexer(ASI),通过语义索引模块自动学习文档标识符,并结合编码器-解码器生成模型,实现完全端到端的文档检索,在公开和工业数据集上优于现有基线,并能有效处理新文档。
2023-10-30 cs.IR
Benchmarking and Building Long-Context Retrieval Models with LoCo and M2-BERT
Stanford University(斯坦福大学)
针对长文档检索性能差的问题,提出12任务基准LoCoV1和基于Monarch Mixer的80M参数长上下文检索编码器M2-BERT,通过特定预训练与单样本微调,在参数量减少90倍以上的情况下性能超越Transformer模型至少23.3分。
2024-11-18 cs.IR cs.LG
Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual Retrieval
University of Mannheim(曼海姆大学);University of Cambridge(剑桥大学)
基于神经Transformer架构的预训练多语言文本编码器,如多语言BERT(mBERT)和XLM,在无数的语言理解任务上取得了很好的性能。因此,它们已被采用作为多语言和跨语言表示学习和迁移的一个去范例,使跨语言词嵌入(CLWEs)有效地过时。然而,问题仍然存在,在何种程度上这一发现推广1)无监督的设置和2)特设跨语言IR(CLIR)的任务。因此,在这项工作中,我们提出了一个系统的实证研究集中在国家的最先进的多语言编码器跨语言的文档和句子检索任务在大量的语言对的适用性。与有监督的语言理解相比,我们的研究结果表明,对于无监督的文档级CLIR -一种没有针对IR特定微调的相关性判断的设置-预训练编码器未能显着优于基于CLWE的模型。对于高级CLIR,我们证明了可以实现最先进的性能。然而,使用通用多语言文本编码器“现成的”并不能达到峰值性能,而是依赖于它们的变体,这些变体进一步专门用于句子理解任务。
2021-01-21 cs.CL cs.IR
Precise Zero-Shot Dense Retrieval without Relevance Labels
Carnegie Mellon University(卡内基梅隆大学);University of Waterloo(滑铁卢大学)
虽然密集检索已被证明是有效和高效的跨任务和语言,它仍然难以创建有效的完全zero-shot稠密检索系统时,没有相关性标签。在本文中,我们认识到零样本学习和编码相关性的困难。相反,我们建议通过假设的文档嵌入(HyDE)。给定一个查询,HyDE第一个zero-shot命令一个遵循查询的语言模型(例如,InstructGPT)生成一个假设文档。该文档捕获相关性模式,但不真实,可能包含错误的细节。然后,一个无监督的对比学习编码器(例如Contriever)将文档编码为嵌入向量。该向量识别语料库嵌入空间中的邻域,其中基于向量相似性检索相似的真实文档。第二步将生成的文档与实际的语料库联系起来,编码器的密集瓶颈过滤掉了不正确的细节。我们的实验表明,HyDE显著优于最先进的无监督密集检索器Contriever,并显示出与微调检索器相当的强大性能,跨越各种任务(例如Web搜索,QA,事实验证)和语言(例如SW,KO,JA)。
2022-12-20 cs.CL cs.IR
Pathway to Relevance: How Cross-Encoders Implement a Semantic Variant of BM25
Brown University(布朗大学);University of Tübingen(图宾根大学)
本文通过分析交叉编码器的机制,揭示其如何通过结合传统相关性信号实现语义变体的BM25排序功能。
2025-11-24 cs.AI cs.IR
Exploring Semi-supervised Hierarchical Stacked Encoder for Legal Judgement Prediction
IRIT(图卢兹计算机研究所)
提出一种结合监督与无监督的两级分类机制,利用领域特定预训练BERT和Transformer编码器提取句子嵌入,并通过聚类获取隐藏标签,在ILDC数据集上实现法律判决预测性能提升。
2023-11-14 cs.AI cs.CL cs.IR
Simple Linear Corrections for Compression in Late Interaction
Microsoft Research India(微软亚洲研究院)
该研究针对晚交互模型压缩后质量下降问题,提出学习全局线性修正的轻量方法,在多个基准上多数场景优于基线压缩,可恢复压缩带来的部分质量损失。
2026-10-14 cs.CL cs.IR cs.LG
What Drives Cross-lingual Ranking? Retrieval Approaches with Multilingual Language Models
The Alan Turing Institute(艾伦·图灵研究所);Queen Mary University of London(伦敦女王学院);University College London(伦敦大学学院)
本文研究了跨语言检索中影响排序的因素,发现专门训练的密集检索模型和对比学习在低资源和跨脚本场景中表现更优,优于传统的翻译和单语言检索方法。
2025-11-24 cs.AI cs.CL cs.IR
Document Ranking with a Pretrained Sequence-to-Sequence Model
David R. Cheriton School of Computer Science(David R. Cheriton计算机科学学院);University of Waterloo(滑铁卢大学)
这项工作提出了一种新的适应预训练序列到序列模型的任务文档排序。我们的方法从根本上不同于通常采用的基于分类的排名公式,基于仅编码器预训练的Transformer架构,如BERT。我们展示了如何训练序列到序列模型来生成相关标签作为“目标词”,以及如何将这些目标词的潜在逻辑解释为相关概率进行排名。在流行的MS MARCO通道排名任务中,实验结果表明,我们的方法至少与以前的基于分类的模型相当,并且可以通过更大,更新的模型超越它们。在TREC 2004 Robust Track的测试集上,我们展示了一种基于zero-shot传输的方法,该方法优于以前需要数据集内交叉验证的最先进模型。此外,我们发现我们的方法在数据贫乏的情况下(即,只有很少的训练样本)。我们通过改变目标词来进一步研究这一观察结果,以探索模型对潜在知识的使用。
2020-03-14 cs.IR cs.LG
Modeling Sequential Sentence Relation to Improve Cross-lingual Dense Retrieval
Microsoft Research Asia(微软亚洲研究院)
针对跨语言稠密检索缺乏定制化多语言预训练模型的问题,该研究提出MSM模型,通过建模跨语言通用的序列句子关系,结合掩码句子预测任务与分层对比损失训练,显著提升了跨语言检索性能。
2025-09-05 cs.CL cs.IR
Large Language Models are Built-in Autoregressive Search Engines
University of Notre Dame(圣母大学)
本文发现大型语言模型(LLMs)能遵循指令直接生成URL进行文档检索,在三个开放域问答基准的零样本和少样本设置下,检索性能显著优于现有方法。
2023-05-16 cs.CL cs.IR
Fine-Grained Distillation for Long Document Retrieval
University of Technology Sydney(悉尼科技大学);Microsoft Corporation(微软公司)
长文档检索的目标是从大规模的集合中获取查询相关的文档,其中知识蒸馏已经成为事实上通过模仿异构但功能强大的交叉编码器来改进检索器。然而,与段落或句子相反,长文档的检索受到范围假设的影响,即长文档可能涵盖多个主题。这使它们的结构异质性最大化,并造成颗粒失配问题,导致较差的蒸馏效率。在这项工作中,我们提出了一个新的学习框架,细粒度蒸馏(FGD),长文档检索。在保持传统的稠密检索范式的同时,它首先产生跨不同细粒度的全局一致表示,然后仅在训练期间应用多粒度对齐蒸馏。在实验中,我们评估我们的框架上的两个长文档检索基准,这表明国家的最先进的性能。
2022-12-20 cs.CL cs.IR
Hyperbolic Relevance Matching for Neural Keyphrase Extraction
Beijing Jiaotong University(北京交通大学)
本文提出双曲匹配模型HyperMatch,将短语和文档嵌入同一双曲空间,用庞加莱距离估计相关性以解决关键词抽取中的信息表示与重要性判别问题,在六个基准上超越现有最优方法。
2023-12-21 cs.CL cs.IR
Long Document Re-ranking with Modular Re-ranker
Carnegie Mellon University(卡内基梅隆大学)
对于基于深度语言模型(如BERT)的神经重排序器来说,长文档重排序一直是一个具有挑战性的问题。早期的工作将文档分解成短的类似于文本的块。这些块被独立地映射到标量分数或潜在向量,然后将其汇集到最终的相关性分数中。然而,这些编码和池方法不可避免地引入了一个信息瓶颈:低维表示。在本文中,我们建议,而不是充分的查询到文档的交互建模,利用注意力操作和模块化的Transformer重新排名框架。首先,使用编码器模块独立地对文档块进行编码。然后,交互模块对查询进行编码,并执行从查询到所有文档块表示的联合关注。我们证明,该模型可以使用这个新的自由度,从整个文档中聚合重要信息。实验结果表明,该方法对两个经典的IR集合Robust04和CNOWWeb09以及一个大规模的监督集合MS-MARCO文档排序进行了有效的重排序。
2022-06-06 cs.CL cs.IR
ViSAR: Training-Free Adaptive-$k$ Retrieval for Document Visual Question Answering
INSA Lyon(里昂国立应用科学学院);CNRS(法国国家科学研究中心);EPITA Research Laboratory (LRE)(EPITA研究实验室);Lowit(洛维特公司);LIRIS UMR 5205(里昂信息、图像与智能系统实验室)
ViSAR是一种无需训练的自适应k检索方法,用于视觉文档问答,可动态确定检索页面数量,降低RAG延迟最高58.7%,同时保持或提升答案准确性。
2026-11-17 cs.AI cs.CL cs.CV
Shallow Cross-Encoders for Low-Latency Retrieval
University of Glasgow(格拉斯哥大学)
本文提出在低延迟检索场景下使用浅层Transformer交叉编码器,并结合gBCE训练方案,在相同时间预算内评分更多文档,显著提升NDCG@10并降低对GPU的依赖。
2024-03-29 cs.CL cs.IR
ColNanoVDR: Document-Free Query Distillation for Multi-Vector Visual Document Retrieval via Optimal Transport
Aalto University(阿尔托大学)
ColNanoVDR提出首个无文档蒸馏框架,通过带学习权重的最优传输对齐多向量视觉文档检索中教师与学生模型的查询令牌,无需页面编码,在ViDoRe基准上保留95%性能且查询提速26倍。
2026-09-29 cs.CL cs.CV cs.IR
Multi-View Document Representation Learning for Open-Domain Dense Retrieval
Beihang University(北京航空航天大学);Microsoft Research Asia(微软亚洲研究院);Microsoft STC Asia(微软亚洲互联网工程院)
稠密检索在大规模文档集的第一阶段检索中取得了令人印象深刻的进步,它建立在双编码器架构上,以产生查询和文档的单一向量表示。但是,一个文档通常可以回答来自不同视图的多个潜在查询。因此,文档的单一向量表示很难与多视图查询匹配,并且面临语义不匹配问题。本文提出了一个多视图文档表示学习框架,旨在产生多视图嵌入来表示文档,并强制它们与不同的查询对齐。首先,我们提出了一个简单而有效的方法,通过观众产生多个嵌入。其次,为了防止多视图嵌入崩溃到同一个,我们进一步提出了一个全局-局部损失与退火温度,以鼓励多个观众更好地与不同的潜在查询对齐。实验表明,我们的方法优于最近的作品,并取得了国家的最先进的结果。
2022-03-16 cs.CL cs.IR
SeDR: Segment Representation Learning for Long Documents Dense Retrieval
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
最近,稠密检索(DR)已成为一个很有前途的解决方案,文档检索,其中的文档表示是用来执行有效和高效的语义搜索。然而,由于其基于transformer的编码器的二次复杂度和低维嵌入的有限容量,DR在长文档上仍然具有挑战性。目前的DR模型使用次优策略,如截断或拆分和池长文档,导致整个文档信息的利用率很低。在这项工作中,为了解决这个问题,我们提出了段表示学习的长文档稠密检索(SeDR)。在SeDR中,Segment-Interaction Transformer被提出用于将长文档编码为文档感知和片段敏感的表示,同时它保持了拆分和池化的复杂性,并优于DR上的其他片段交互模式。由于长文档编码的GPU内存需求导致DR训练的负性不足,因此进一步提出了Late-Cache Negative,以提供额外的缓存负性,用于优化表示学习。在MS MARCO和TREC-DL数据集上的实验表明,SeDR在DR模型中取得了更优越的性能,并证实了SeDR在长文档检索上的有效性。
2022-11-20 cs.CL cs.IR
EidosDoc: Implicit Structure Encoding for Cost-Effective Semi-Structured Document QA
HKUST(GZ)(香港科技大学(广州))
提出EidosDoc系统,通过隐式结构编码、混合检索和动态证据扩展,在四个基准上实现最先进准确率,同时成本降低50倍、延迟降低4倍。
2026-09-24 cs.AI cs.IR
Efficient Document Ranking with Learnable Late Interactions
Google(谷歌公司)
提出可学习晚期交互模型LITE,作为通用逼近器,在域内和零样本重排序中优于ColBERT,同时降低延迟和存储开销。
2024-06-25 cs.AI cs.IR cs.LG
GeAR: Generation Augmented Retrieval
Microsoft Corporation(微软公司)
提出GeAR方法,通过对比学习提升全局相似度并引入融合与解码模块生成相关上下文,实现细粒度局部信息检索,在不增加计算成本下展现竞争力并提供结果解释新见解。
2025-05-30 cs.CL cs.IR
Improving Document Representations by Generating Pseudo Query Embeddings for Dense Retrieval
University of Chinese Academy of Sciences(中国科学院大学);Meituan(美团)
近年来,基于稠密表示的检索模型逐渐应用于文档检索任务的第一阶段,表现出比传统稀疏向量空间模型更好的性能。为了获得高效率,这些模型的基本结构在大多数情况下是双编码器。然而,这种简单的结构可能会导致严重的信息丢失,在编码的文档,因为查询是不可知的。为了解决这个问题,我们设计了一种方法,通过迭代聚类过程来模拟对每个文档的查询,并通过多个伪查询(即,集群质心)。为了提高检索过程中使用近似最近邻搜索库,我们还优化了匹配函数的两步得分计算过程。在几个流行的排名和QA数据集上的实验结果表明,我们的模型可以达到最先进的结果。
2021-08-19 cs.CL cs.IR
Generating Query-Relevant Document Summaries via Reinforcement Learning
提出强化学习框架ReLSum,利用相关性得分作为奖励,通过可训练LLM生成查询相关的商品描述摘要作为交叉编码器排序模型的输入,显著提升了大规模电商搜索的离线与在线指标。
2025-08-11 cs.AI cs.IR cs.LG
RRADistill: Distilling LLMs' Passage Ranking Ability for Long-Tail Queries Document Re-Ranking on a Search Engine
Emory University(埃默里大学);Naver Corporation(Naver公司)
RRADistill提出高效标签生成流程与新型sLLM训练方法,通过词项控制层和排序层蒸馏LLM排序能力,并在韩语搜索平台A/B测试中验证其提升长尾查询重排序效果。
2024-11-21 cs.AI cs.IR cs.LG