VDocRAG: Retrieval-Augmented Generation over Visually-Rich Documents
NTT Human Informatics Laboratories, NTT Corporation(NTT公司人类信息学研究所);Tohoku University(东北大学)
针对混合模态、多样格式的视觉丰富文档,提出VDocRAG框架,以统一图像格式理解文档避免信息丢失,通过自监督预训练任务适配视觉语言模型,还构建OpenDocVQA数据集,实验显示其性能优于传统文本RAG且泛化性强。
2025-04-14 cs.AI cs.CL cs.CV
Data-Efficient Autoregressive Document Retrieval for Fact Verification
KAIST AI(韩国科学技术院人工智能学院)
文档检索是许多知识密集型自然语言处理任务公式化的核心组件,例如事实验证和问答。文本知识的来源,如维基百科的文章,从模型中生成答案的条件。检索的最新进展使用序列到序列模型来递增地预测给定查询的适当维基百科页面的标题。然而,这种方法需要以人工注释的形式进行监督,以标记哪些维基百科页面包含适当的上下文。本文介绍了一种远程监督方法,不需要任何注释,训练自回归检索器,达到竞争力的R-精度和召回在zero-shot设置。此外,我们表明,与特定任务的监督微调,两个基于维基百科的事实验证任务的自回归检索性能可以接近,甚至超过完全监督使用不到$1/4$的注释数据指示可能的方向,数据高效的自回归检索。
2022-11-17 cs.AI cs.CL cs.IR
SCAN: Semantic Document Layout Analysis for Textual and Visual Retrieval-Augmented Generation
NEC Corporation(日本电报电话株式会社)
SCAN通过语义文档布局分析提升文本和视觉检索增强生成的性能,实验显示在英语和日语数据集上分别提升9.4和10.4个点。
2026-02-13 cs.AI
Lost in OCR Translation? Vision-Based Approaches to Robust Document Retrieval
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Gianforte School of Computing(吉安福特计算学院);Montana State University Bozeman(蒙大拿州立大学博兹曼分校)
本文系统比较了基于视觉的ColPali与基于OCR的Llama 3.2和Nougat文档检索RAG系统,发现视觉方法在微调文档上表现好但泛化弱,OCR方法泛化更强,并为生产环境选型提供实用指导。
2025-05-08 cs.AI cs.CV
ATLANTIC: Structure-Aware Retrieval-Augmented Language Model for Interdisciplinary Science
Pacific Northwest National Laboratory(太平洋西北国家实验室)
提出结构感知检索增强语言模型ATLANTIC,通过构建跨学科异构文档图并利用图神经网络融合段落文本与结构嵌入,提升了科学任务中检索文档的连贯性、忠实度与相关性。
2023-11-21 cs.AI cs.CL
ICICLE: Expanding Retrieval with In-Context Documents
National Taiwan University(台湾大学);Johns Hopkins University(约翰霍普金斯大学)
提出ICICLE框架,通过上下文文档的docid生成实现增量式生成检索,避免重新训练和灾难性遗忘。
2026-08-20 cs.AI cs.IR
Large-Scale Knowledge Synthesis and Complex Information Retrieval from Biomedical Documents
Quantiphi(Quantiphi公司)
医疗保健行业的最新进展导致了大量的非结构化数据,这使得大规模执行高效准确的信息检索等任务变得非常具有挑战性。我们的工作提供了一个一体化的可扩展的解决方案,用于从大规模的研究文档中提取和探索复杂的信息,否则这将是乏味的。首先,我们简要介绍了我们的知识合成过程中提取有用的信息,从非结构化的文本数据的研究文件。然后,在从文档中提取的知识的顶部,我们执行复杂的信息检索使用三个主要组成部分-段落检索,三元组检索从知识图谱,和复杂的问答(QA)。这些组件结合了基于词汇和语义的方法来检索段落和三元组,并执行分面细化以过滤这些搜索结果。生物医学查询和文档的复杂性需要使用能够处理比模拟事实查询更复杂的查询的QA系统,我们在COVID-19开放研究数据集(CORD-19)上进行了定性评估,以证明其有效性和附加值。
2023-02-14 cs.AI cs.IR
PARM: A Paragraph Aggregation Retrieval Model for Dense Document-to-Document Retrieval
密集通道检索(DPR)模型在Web领域的第一阶段检索中表现出很大的有效性增益。然而,在web领域,我们处于具有大量训练数据和查询到通道或查询到文档检索任务的设置中。在本文中,我们研究密集的文档到文档检索有限的标记目标数据的训练,特别是法律案件检索。为了使用DPR模型进行文档到文档的检索,我们提出了一个段落聚合检索模型(PARM),它解放了DPR模型从他们有限的输入长度。PARM在段落级别上检索文档:对于每个查询段落,根据其段落检索相关文档。然后将每个查询段落的相关结果聚合到整个查询文档的一个排名列表中。对于聚合,我们提出了基于向量的聚合与倒数秩融合(VRRF)加权,它结合了基于秩的聚合和主题聚合的密集嵌入的基础上的优点。实验结果表明,VRRF优于基于排名的聚合策略密集文档到文档检索与PARM。我们比较PARM的文档级检索和表现出更高的检索效率的PARM词汇和密集的第一阶段检索两个不同的法律案件检索集合。我们研究如何训练的稠密检索模型的PARM有限的目标数据的段落或文档级别的标签。此外,我们还分析了PARM在词法检索和稠密检索检索结果上的差异。
2022-08-14 cs.IR
Improving Query Representations for Dense Retrieval with Pseudo Relevance Feedback
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
稠密检索系统使用嵌入式表示和简单的相似性度量来进行第一阶段检索,以将查询与文档相匹配。它的有效性取决于编码嵌入来捕获查询和文档的语义,这是一项具有挑战性的任务,因为搜索查询的简短和模糊。本文提出了ANCE-PRF,一种新的查询编码器,使用伪相关反馈(PRF),以改善查询表示的稠密检索。ANCE-PRF使用一个BERT编码器,该编码器使用查询和来自稠密检索模型ANCE的顶部检索文档,并且它学习直接从相关性标签产生更好的查询嵌入。它还保持文档索引不变,以减少开销。ANCE-PRF在几个数据集上的性能明显优于ANCE和其他最近的稠密检索系统。分析表明,该编码器能够有效地捕获PRF文档中的相关信息和互补信息,同时利用学习到的注意力机制忽略噪声。
2021-08-30 cs.AI cs.IR
Document Retrieval using Predication Similarity
文档检索是信息检索界多年来的一个重要研究课题。现有技术利用各种方法将文档匹配到给定文档,包括关键字、短语和注释。在本文中,我们提出了一种新的方法,利用预测(主谓宾三元组)从文件中提取的文件检索。我们将文档表示为一组预测。我们测量预测之间的相似性来计算文档之间的相似性。我们的方法利用本体中的层次信息计算概念概念相似度,使方法灵活。基于预测的文档相似度更精确,是语义感知文档检索系统的基础。我们表明,该方法是有竞争力的现有国家的最先进的相关文件检索技术在生物医学领域。
2016-04-19 cs.IR
Augmenting Document Representations for Dense Retrieval with Interpolation and Perturbation
Korea Advanced Institute of Science and Technology(韩国高等科学技术院)
稠密检索模型旨在稠密表示空间上检索与输入查询最相关的文档,因其显著的成功而受到广泛关注。然而,密集模型需要大量的标记训练数据来获得显着的性能,而获取由人类注释的查询-文档对通常具有挑战性。为了解决这个问题,我们提出了一个简单而有效的文档增强稠密检索(DAR)框架,它增加了他们的插值和扰动的文件表示。我们验证了DAR的检索任务的性能与两个基准数据集,表明所提出的DAR显着优于相关基线的标记和未标记的文档的稠密检索。
2022-03-16 cs.AI cs.IR cs.LG
Exploring Information Retrieval Landscapes: An Investigation of a Novel Evaluation Techniques and Comparative Document Splitting Methods
本研究比较多种文档切分方法,发现递归字符切分器优于令牌切分器,并引入基于开源模型生成问答对的新型评估技术,利用加权指标(如BLEU、BERT Score)为RAG系统建立更精确的评估标准。
2024-09-20 cs.AI cs.IR
Optimizing Query Generation for Enhanced Document Retrieval in RAG
本研究通过引入查询-文档对齐分数并利用LLM精炼查询,优化RAG中的查询生成,以缓解幻觉问题,实验显示平均准确率提升1.6%。
2024-07-17 cs.IR
Neural document expansion for ad-hoc information retrieval
Amazon(亚马逊)
最近,Nogueira等人[2019]提出了一种基于神经Seq 2Seq模型的文档扩展新方法,在短文本检索任务上显示出显着的改进。然而,这种方法需要大量的域内训练数据。在本文中,我们表明,这种神经文档扩展方法可以有效地适应标准的IR任务,标签是稀缺的,许多长文档。
2020-12-27 cs.AI cs.CL cs.IR
Do the Findings of Document and Passage Retrieval Generalize to the Retrieval of Responses for Dialogues?
最近提出了许多学习稀疏和稠密检索方法,并证明了其在段落检索和文档检索等任务中的有效性。在本文中,我们通过可复制性研究来分析所吸取的教训是否可以推广到对话响应的检索,这是日益流行的对话搜索领域的一项重要任务。不像段落和文档检索,其中文档通常比查询长,在对话的响应排名中,查询(对话上下文)通常比文档(响应)长。此外,对话具有特定的结构,即不同用户的多个话语。考虑到这些差异,我们在这里评估从以前的工作中得到的以下主要发现的可推广性:(F1)查询扩展优于无扩展基线;(F2)文档扩展优于无扩展基线;(F3)zero-shot稠密检索低于稀疏基线;(F4)稠密检索优于稀疏基线;(F5)硬负采样比随机采样更适合训练稠密模型。我们的实验--基于三个不同的信息寻求对话数据集--揭示了五分之四的发现(F2-F5)适用于我们的领域
2023-01-13 cs.IR
A Method of Passage-Based Document Retrieval in Question Answering System
我们提出了一种方法,使用的评分值的段落,有效地检索文件中的问答系统。为此,我们建议评估功能,考虑每个问题之间的通道术语的接近度。并利用该评价函数,在最高的集合中抽取一个涉及评分值的文档,作为问题的合适文档。该方法在韩语问答系统的文档检索中取得了很好的效果。
2015-12-17 cs.IR
Using Centroids of Word Embeddings and Word Mover's Distance for Biomedical Document Retrieval in Question Answering
我们提出了一个文件检索方法的问答,表示文件和问题的加权质心的词嵌入和重新排序检索到的文件与放松的词移动器的距离。使用生物医学问题和文件BIOASQ,我们表明,我们的方法是有竞争力的PUBMED。使用top-k近似,我们的方法是快速的,并且很容易移植到其他领域和语言。
2016-08-12 cs.IR
A Picture is Worth a Thousand Words? An Empirical Study of Aggregation Strategies for Visual Financial Document Retrieval
The Hong Kong University of Science and Technology(香港理工大学)
本文实证研究了视觉检索中聚合策略的影响,发现单一向量聚合会丢失关键信息,通过财务文档实验表明聚合会掩盖语义细节,指出全局纹理主导是根本原因。
2026-05-14 cs.AI cs.CV cs.IR
Improving BERT-based Query-by-Document Retrieval with Multi-Task Optimization
按文档查询(QBD)检索是一种信息检索任务,其中种子文档充当查询,目标是检索相关文档--它在专业搜索任务中特别常见。在这项工作中,我们提高了检索效率的BERT重新排名,提出了一个扩展的微调步骤,以更好地利用查询的上下文。为此,我们在微调BERT重排序器时,除了排序目标之外,还使用了一个额外的文档级表示学习目标。在两个QBD检索基准上的实验表明,所提出的多任务优化方法在不改变BERT重排序器或使用额外训练样本的情况下,显著提高了排序效率.在未来的工作中,我们的方法的推广到其他检索任务应进一步调查。
2022-05-23 cs.IR
Unifying Multimodal Retrieval via Document Screenshot Embedding
针对传统多模态文档检索需定制解析、易出错且信息丢失的问题,提出文档截图嵌入(DSE)范式,直接用视觉-语言模型编码文档截图,在文本密集和混合模态任务中均优于传统方法,还构建了Wiki-SS数据集并将开放资源。
2024-12-02 cs.IR
Auto Search Indexer for End-to-End Document Retrieval
本文提出 Auto Search Indexer(ASI),通过语义索引模块自动学习文档标识符,并结合编码器-解码器生成模型,实现完全端到端的文档检索,在公开和工业数据集上优于现有基线,并能有效处理新文档。
2023-10-30 cs.IR
VLD-RAG: Agentic Vision-Language Retrieval-Augmented Generation for Long, Visually-Rich Multi-Page Documents
Mazelone(马泽隆)
研究针对视觉丰富的长文档问答的多模态检索增强生成,提出VLD-RAG框架,构建多模态索引并采用混合检索策略,经智能体工作流程协调,在相关基准上提升了证据页面检索及问答表现,凸显协调验证与混合检索的重要性。
2026-07-29 cs.AI cs.CL cs.IR
Modelling Word Burstiness in Natural Language: A Generalised Polya Process for Document Language Models in Information Retrieval
我们介绍了一个广义的多变量Polya过程的文档语言建模。这里概述的框架概括了在信息检索中用于建模文档生成的一些统计语言模型。特别是,我们表明,替换矩阵M的选择最终定义的随机过程的类型,因此定义了一个特定类型的文档语言模型。我们表明,一般模型的一个特定的变体是有用的建模术语特定的突发性。此外,通过实验,我们表明,这种变体显着提高检索效率在一个强大的基线上的一些小的测试集合。
2017-08-20 cs.IR
DOGR: Leveraging Document-Oriented Contrastive Learning in Generative Retrieval
针对生成式检索无法直接表示查询与文档相关性的问题,本文提出DOGR框架,通过面向文档的对比学习和两阶段策略增强语义表示学习,在两个基准数据集上取得SOTA性能且对常见标识符构建技术通用有效。
2025-02-12 cs.IR
A Neural Passage Model for Ad-hoc Document Retrieval
传统的统计检索模型往往把每个文档作为一个整体来处理。然而,在许多情况下,文档与查询相关只是因为它的一小部分包含目标信息。在这项工作中,我们提出了一个神经通道模型(NPM),该模型使用通道级信息来提高临时检索的性能。我们的模型不是使用单个窗口来提取段落,而是在训练过程中自动学习对不同粒度的段落进行加权。我们表明,之前研究中基于段落的文档排序范式可以直接源自我们的神经框架。此外,我们对TREC集合的实验表明,NPM可以显着优于现有的基于XML的检索模型。
2021-03-16 cs.IR
Explicitly Integrating Judgment Prediction with Legal Document Retrieval: A Law-Guided Generative Approach
针对现有法律检索未显式结合判决预测导致准确率低、透明度不足的问题,提出法律引导的生成式检索方法GEAR,以序列到序列方式显式整合两类任务,在多个数据集上取得更优效果与鲁棒性。
2024-04-15 cs.IR
Structural Segmentation for Brazilian Legal Document Retrieval
Câmara dos Deputados(众议院);Senado Federal(联邦参议院);Faculdade de Engenharia Elétrica e da Computação, Universidade Estadual de Campinas (UNICAMP)(坎皮纳斯州立大学电气与计算机工程学院);Centro de Ciências e Tecnologia, Universidade Federal do Cariri (UFCA)(卡拉里联邦大学科学与技术中心)
本研究提出用结构分割策略将巴西法律文档拆分为核心块,实验显示该策略可提升密集检索效果,补充元数据的核心块能获得相当或更优结果。
2026-10-13 cs.IR
Event GDR: Event-Centric Generative Document Retrieval
Tsinghua University(清华大学);Shanxi University(山西大学)
针对生成式文档检索存在的文档内容关联弱、标识符语义结构不明确的问题,提出融入事件知识的Event GDR模型,采用多智能体交互-反思法抽取事件,用事件与关系建模文档、映射事件分类体系构建标识符,在两个数据集上性能显著优于基线。
2024-05-11 cs.AI cs.CL cs.IR
Enhanced document retrieval with topic embeddings
针对RAG应用中检索机制准确性瓶颈及多相关主题文档检索性能不佳问题,提出融合文档主题信息的文本向量化新方法,在RAG场景下评估该方法并讨论相关的RAG系统评估挑战。
2024-08-19 cs.IR
Sparse Meets Dense: A Hybrid Approach to Enhance Scientific Document Retrieval
本文针对科学文档检索问题,提出结合传统稀疏词袋向量与基于大型语言模型的密集嵌入的混合检索方法,在囊性纤维化医学基准上实验证明该混合模型显著优于单一方法。
2024-01-08 cs.IR
More Robust Dense Retrieval with Contrastive Dual Learning
稠密检索在嵌入空间进行文本检索,与稀疏检索相比具有许多优点。现有的密集检索器通过对比训练优化查询和文档的表示,并将其映射到嵌入空间。通过对齐匹配的查询-文档对并将否定文档推离查询来优化嵌入空间。然而,在这样的训练范例中,查询仅被优化为与文档对齐并且被粗略地定位,从而导致各向异性的查询嵌入空间。在本文中,我们分析了嵌入空间分布,并提出了一个有效的训练范式,对比对偶学习近似最近邻(DANCE)学习细粒度的查询表示稠密检索。DANCE结合了一个额外的双重训练对象的查询检索,灵感来自经典的信息检索训练公理,查询可能性。通过对比学习,DANCE的双训练对象学习查询和文档的更定制的表示,以保持嵌入空间的平滑和均匀,在MS MARCO文档检索任务上的DANCE排名性能上蓬勃发展。与仅对文档检索任务进行优化的ANCE不同,DANCE将查询嵌入集中在更接近文档表示的位置,同时使文档分布更具区分性。这种集中的查询嵌入分布为查询分配了更均匀的负采样概率,并有助于充分优化查询检索任务中的查询表示。我们的代码在https://github.com/thunlp/DANCE上发布。
2021-07-16 cs.IR
Tools are under-documented: Simple Document Expansion Boosts Tool Retrieval
Shanghai Jiao Tong University(上海交通大学);Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative(宁波空间智能与数字孪生重点实验室);Institute of Digital Twin, Eastern Institute of Technology, Ningbo(宁波东方理工大学数字孪生研究所)
针对工具文档不完整的问题,提出Tool-DE基准与框架,通过LLM驱动的文档扩展和专用模型Tool-Embed与Tool-Rank,显著提升工具检索性能,达到新最先进水平。
2025-10-26 cs.IR
A Markov Random Field Topic Space Model for Document Retrieval
本文提出了一种新的智能文档检索的统计方法。它试图提供一个更结构化和可扩展的数学方法,在流行的潜在语义分析(LSA)的方法来文档索引的术语泛化。一个马尔可夫随机场(MRF),捕获的条款和文件之间的关系作为随机变量之间的概率依赖假设。从那里,它使用MRF-Gibbs等价推导出联合概率以及文档变量的局部概率。提出了一种参数学习方法,该方法利用秩约简和奇异值分解,将文档-术语关系的维度降低到潜在主题空间的维度。实验结果证实了这种方法的能力,有效地和高效地从大量的数据集检索文档。
2011-11-28 cs.IR
Local Self-Attention over Long Text for Efficient Document Retrieval
神经网络,特别是基于transformer的架构,在几个检索基准上取得了显着的性能改进。当被检索的项目是文档时,在整个文档术语序列上使用Transformers的时间和存储器成本可能是过高的。一个流行的策略是只考虑文档的前n个项。然而,这可能导致系统有偏见,无法检索较长的文档。在这项工作中,我们提出了一个本地的自我注意力,认为一个移动窗口的文件条款,并为每个条款只出席其他条款在同一个窗口。这种局部注意力引起的计算和内存成本是整个文档的一小部分。窗口化方法还导致在小批量中更紧凑地打包填充的文档,从而导致额外的节省。我们还采用了一个学习的饱和度函数和两阶段池化策略来识别文档的相关区域。具有这些变化的Transformer-Kernel池模型可以有效地从具有数千个标记的文档中提取相关信息。我们对TREC 2019深度学习跟踪的文档排序任务进行了基准测试,并观察到检索质量的显着改善以及在计算和内存成本适度增加的情况下增加了对较长文档的检索。
2020-05-11 cs.IR
Utilizing Embeddings for Ad-hoc Retrieval by Document-to-document Similarity
词或段落的潜在语义表示,即嵌入,在信息检索中有着广泛的应用。利用嵌入进行检索的常用方法之一是估计嵌入中的文档到查询(D2 Q)相似度。由于具有相似句法用法的词通常在嵌入空间中彼此非常接近,尽管它们在语义上不相似,D2 Q相似性方法可能遭受“多个相似度”的问题。为此,本文提出了一种新的方法,估计一个语义相关性得分(SEM)的基础上文档到文档(D2 D)的相似性嵌入。由于Word或Para 2 Vec通过单词/段落的上下文生成嵌入,因此D2 D相似性方法将文档排序的任务转变为对不同文档内的内容之间的相似性的估计。在标准TREC测试集上的实验结果表明,我们提出的方法优于强基线。
2017-08-10 cs.IR
Dual Skipping Guidance for Document Retrieval with Learned Sparse Representations
本文提出了一种双跳转指导计划与混合评分,以加速文档检索,使用学习稀疏表示,同时仍然提供了良好的相关性。该方案使用词汇BM 25和学习的神经项权重来分别绑定和组合候选文档的排名得分,以用于跳过和最终排名,并在倒排索引遍历期间保持两个top-k阈值。本文评估的时间效率和排名的相关性所提出的计划在搜索MS MARCO TREC数据集。
2022-04-23 cs.IR
Two-Stage Document Length Normalization for Information Retrieval
词频规范化的标准方法仅基于文档长度。然而,它并没有区分冗长和范围,这是决定文件长度的两个主要因素。由于冗长和范围对词频的增加有很大不同的影响,标准方法很容易受到不足或过度惩罚,这取决于长文档的具体类型。为了克服这些问题,本文提出了两个阶段的规范化分别执行冗长和范围规范化,并采用不同的惩罚函数。在冗长度规范化中,通过将术语频率除以文档的冗长度来预规范化每个文档。在范围规范化中,现有的检索模型以直接的方式应用于预规范化的文档,最后导致我们制定我们提出的冗长规范化(VN)检索模型。标准TREC集合上进行的实验结果表明,VN模型导致边际,但统计上显着的改进,标准的检索模型。
2015-02-15 cs.IR
Scalable and Effective Generative Information Retrieval
本文提出RIPOR优化框架,通过前缀导向排序和基于关联性的文档ID构建,首次实现生成式检索在大规模基准上的有效训练,大幅超越现有生成式模型并媲美稠密检索。
2023-11-15 cs.IR
Non-negative Elastic Net Decoding for Information Retrieval
NTT, Inc(NTT公司)
提出非负弹性网络(NNN)解码方法,将检索视为联合解码问题,通过稀疏非负线性组合重构查询嵌入,在理论上严格优于稠密检索,实验表明在多个基准上取得一致改进。
2026-06-17 cs.AI cs.CL cs.IR
Cross-Document Topic-Aligned Chunking for Retrieval-Augmented Generation
本文提出跨文档主题对齐分块技术,通过语料层面的知识重建提升检索增强生成系统的忠实度和信息密度,实验显示其在多跳推理和法律文本任务中均取得显著性能提升。
2025-11-08 cs.AI cs.CL cs.IR
Topic-Grained Text Representation-based Model for Document Retrieval
National University of Defense Technology(国防科技大学)
文档检索使用户能够准确、快速地找到所需的文档。为了满足检索效率的要求,流行的深度神经方法采用基于表示的匹配范式,通过离线预存储文档表示来节省在线匹配时间。然而,上面的范例消耗了大量的本地存储空间,特别是当将文档存储为单词粒度的表示时。为了解决这个问题,我们提出了TGTR,一个主题粒度的文本表示为基础的文档检索模型。TGTR采用基于表示的匹配模式,离线存储文档表示以保证检索效率,而采用新颖的主题粒度表示而不是传统的词粒度表示,大大降低了存储需求。实验结果表明,与词粒度基线相比,TGTR在检索准确率方面始终与TREC CAR和MS MARCO竞争,但它所需的存储空间不到它们所需的1/10。此外,TGTR在检索精度方面压倒性地超过了全球粒度基线。
2022-07-11 cs.CL cs.IR
VersionRAG: Version-Aware Retrieval-Augmented Generation for Evolving Documents
Zurich University of Applied Sciences(苏黎世应用科学大学)
VersionRAG通过层次图结构建模文档版本演化,结合意图分类路由实现版本感知检索,在VersionQA基准上达到90%准确率,显著优于现有RAG方法,并大幅降低索引开销。
2025-10-09 cs.AI cs.CL cs.IR
CHaystack: Benchmarking Chinese Document Retrieval and VQA
Sichuan University(四川大学)
本文介绍了CHaystack中文文档检索与视觉问答基准测试,涵盖四类文档。提出CDocRAG系统,用VLM相关性过滤器验证文档图像。评估开源模型发现Qwen系列在文本丰富文档表现佳,中文大规模DocumentVQA在文本编码方面有挑战,仍需改进。
2026-07-29 cs.IR
UniFAR: A Unified Facet-Aware Retrieval Framework for Scientific Documents
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机学院);School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院)
UniFAR提出一种统一的面向面检索框架,通过自适应多粒度聚合、可学习的面向锚点和联合训练,有效解决文档与问题驱动检索之间的不匹配问题,提升科学文档检索性能。
2026-09-01 cs.IR
CMDR: Contextual Multimodal Document Retrieval
Human Informatics Labs.(人文信息实验室);NTT, Inc.(日本NTT公司)
研究多模态文档检索,提出CMDR-Embed框架联合编码页面纳入文档上下文,引入CMCL对比学习目标训练,实验证明该框架显著优于非上下文嵌入,凸显上下文感知多模态嵌入对文档检索的重要性。
2026-07-08 cs.AI cs.CL cs.CV
Unsupervised Document Expansion for Information Retrieval with Stochastic Text Generation
信息检索面临的挑战之一是词汇不匹配问题,这是指查询词和文档之间的词在词汇上不同但在语义上相似。虽然最近的工作已经提出了扩展查询或文档,丰富他们的表示与额外的相关条款,以解决这一挑战,他们通常需要大量的查询文档对训练的扩展模型。在本文中,我们提出了一个无监督的文档扩展与生成(UDEG)框架与预训练的语言模型,生成不同的补充句子的原始文档,而不使用标签的查询文档对进行训练。为了生成句子,我们进一步随机扰动它们的嵌入,以生成更多样化的句子用于文档扩展。我们验证我们的框架上的两个标准的IR基准数据集。结果表明,我们的框架显着优于相关的扩展基线IR。
2021-10-14 cs.IR
Representation Sparsification with Hybrid Thresholding for Fast SPLADE-based Document Retrieval
本文提出一种结合硬/软阈值与倒排索引近似的混合阈值化表示稀疏化方法,以加速SPLADE文档检索,并通过分析和实验验证其效果。
2023-06-20 cs.IR
Document-as-Image Representations Fall Short for Scientific Retrieval
Department of Computer Science(计算机科学系)
本文提出ArXivDoc新基准,通过LaTeX源代码构建,对比文本、图像和多模态检索方法,发现基于图像的文档表示效果差,文本表示更有效,多模态方法表现最佳。
2026-10-15 cs.AI cs.CL cs.IR
Fine-Grained Distillation for Long Document Retrieval
University of Technology Sydney(悉尼科技大学);Microsoft Corporation(微软公司)
长文档检索的目标是从大规模的集合中获取查询相关的文档,其中知识蒸馏已经成为事实上通过模仿异构但功能强大的交叉编码器来改进检索器。然而,与段落或句子相反,长文档的检索受到范围假设的影响,即长文档可能涵盖多个主题。这使它们的结构异质性最大化,并造成颗粒失配问题,导致较差的蒸馏效率。在这项工作中,我们提出了一个新的学习框架,细粒度蒸馏(FGD),长文档检索。在保持传统的稠密检索范式的同时,它首先产生跨不同细粒度的全局一致表示,然后仅在训练期间应用多粒度对齐蒸馏。在实验中,我们评估我们的框架上的两个长文档检索基准,这表明国家的最先进的性能。
2022-12-20 cs.CL cs.IR
SeDR: Segment Representation Learning for Long Documents Dense Retrieval
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
最近,稠密检索(DR)已成为一个很有前途的解决方案,文档检索,其中的文档表示是用来执行有效和高效的语义搜索。然而,由于其基于transformer的编码器的二次复杂度和低维嵌入的有限容量,DR在长文档上仍然具有挑战性。目前的DR模型使用次优策略,如截断或拆分和池长文档,导致整个文档信息的利用率很低。在这项工作中,为了解决这个问题,我们提出了段表示学习的长文档稠密检索(SeDR)。在SeDR中,Segment-Interaction Transformer被提出用于将长文档编码为文档感知和片段敏感的表示,同时它保持了拆分和池化的复杂性,并优于DR上的其他片段交互模式。由于长文档编码的GPU内存需求导致DR训练的负性不足,因此进一步提出了Late-Cache Negative,以提供额外的缓存负性,用于优化表示学习。在MS MARCO和TREC-DL数据集上的实验表明,SeDR在DR模型中取得了更优越的性能,并证实了SeDR在长文档检索上的有效性。
2022-11-20 cs.CL cs.IR
Document Retrieval for Large Scale Content Analysis using Contextualized Dictionaries
本文提出了一个过程,检索相关文件的子集,从大型文本集的内容分析,例如在社会科学。为此目的的文献检索需要考虑到这样一个事实,即分析师往往不能用一小部分关键术语来描述他们的研究目标,特别是在处理理论或相当抽象的研究兴趣时。相反,定义一组反映感兴趣的主题以及有针对性的演讲方式的范例文档要容易得多。因此,与经典的信息检索任务相比,我们采用手动编译的参考文档集合来组成数百个关键词的大型查询,称为字典。我们通过主题模型提取字典,并使用参考集合中的同现数据。评价表明,该程序提高了检索结果,为此目的相比,替代方法的关键词提取以及忽略同现数据。
2017-07-11 cs.IR
LEDGER: Scaling Agentic Document Editing with Dependency-aware Graph Retrieval
Microsoft(微软)
提出LEDGER方法,通过构建轻量级依赖图并利用图引导检索,在智能体文档编辑中高效定位必要上下文,避免全文档处理,提升一致性并减少token使用。
2026-06-19 cs.AI cs.CL cs.IR
Spaces, Trees and Colors: The Algorithmic Landscape of Document Retrieval on Sequences
文档检索是六十年代以来最成熟的信息检索活动之一,遍及所有搜索引擎。它的目的是从文本文档的集合中获取与模式查询最相关的文本文档。当前技术主要面向“自然语言“文本集合,其中倒排索引是优选的解决方案。尽管这种范式取得了成功,但它未能正确处理某些东亚语言和其他“自然语言“假设不成立的情况。在这次调查中,我们涵盖了最近的研究,在扩展的文件检索技术,以更广泛的一类序列集合,它有应用生物信息学,数据和Web挖掘,化学信息学,软件工程,多媒体信息检索,和许多其他。我们专注于算法方面的技术,揭示了丰富的世界之间的关系,文件检索的挑战和基本问题的树,字符串,范围查询,离散几何,和其他。
2013-09-27 cs.DS cs.IR
Why These Documents? Explainable Generative Retrieval with Hierarchical Category Paths
Yonsei University(延世大学);Korea University(高丽大学)
HyPE通过生成层次类别路径提升生成检索的可解释性,通过外部高质量语义层级构建路径并优化模型,提高检索性能和解释性。
2026-04-12 cs.IR