TimelyRAG: Semantic-Temporal Hybrid Retrieval for Time-Critical Question Answering in Overlapping-Evolving Documents
KAIST(韩国科学技术院);Korea University(韩国大学);University of Vermont(佛蒙特大学)
针对法律等重叠演化文档中的时间关键问答,提出融合时间距离的检索框架TimelyRAG及基准TimelyQABench,实验显示nDCG@10提升达28.6%。
2026-09-11 cs.IR
Document Visual Question Answering Challenge 2020
IIIT Hyderabad(海得拉巴国际信息技术学院);Computer Vision Center, UAB(巴塞罗那自治大学计算机视觉中心);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文介绍了作为CVPR 2020“深度学习时代的文本和文档”研讨会的一部分组织的文档视觉问答挑战赛的结果。挑战引入了一个新的问题-文档图像上的视觉问答。挑战包括两项任务。第一个任务涉及对单个文档图像提问。另一方面,第二个任务被设置为检索任务,其中的问题是对图像的集合。对于任务1,引入了一个新的数据集,该数据集包括在12,767个文档图像上定义的50,000个问题-答案对。对于任务2,创建了另一个数据集,包括共享相同文档模板的14,362个文档图像上的20个问题。
2021-07-18 cs.CV cs.IR
Document Retrieval on Repetitive String Collections
当今增长最快的字符串集合大多是重复的,也就是说,大多数组成文档与许多其他文档相似。随着这些集合的不断增长,处理它们的一个关键方法是利用它们的重复性,这可以将它们的空间使用减少几个数量级。我们研究的问题,索引重复的字符串集合,以执行有效的文件检索操作。文档检索问题通常由搜索引擎在大的自然语言集合上解决,但在通用字符串集合上的技术发展较少。重复字符串集合的情况更不被理解,并且现有的解决方案很少。我们开发了两个新的想法,{ \em交织的LCP}和{ \em预计算的文档列表},产生高度压缩的索引解决的问题,文档列表(找到所有的文件中出现的字符串),顶部- $k$文档检索(找到$k$文档中出现的字符串最频繁),和文档计数(计算的文件中出现的字符串的数量)。我们还表明,一个经典的数据结构,支持后者的查询变得高度可压缩的重复数据。最后,我们展示了如何结合我们开发的工具来解决简单的tf-idf相关性模型下的排名合取和析取多项查询。我们在各种现实生活中的重复性场景中彻底评估所产生的技术,并为每种情况推荐最佳选择。
2017-05-18 cs.IR
Mining Mathematical Documents for Question Answering via Unsupervised Formula Labeling
数学堆栈交换(MSE)等问答(QA)平台上的问题越来越多,这意味着回答数学相关问题的信息需求越来越大。然而,目前很少有研究的开放数据QA系统的方法,检索数学公式使用它们的概念名称或查询公式标识符关系从知识图谱。在本文中,我们的目标是弥合差距,提出数据采掘方法和基准测试结果,采用数学实体链接(MathEL)和无监督公式标注(UFL)的语义公式搜索和数学问答(MathQA)的arXiv预印本存储库,维基百科和维基数据,这是维基媒体生态系统的一部分免费知识。基于不同类型的信息需求,我们评估我们的系统在15个信息需求模式,评估超过7,000查询结果。此外,我们将其性能与商业知识库和计算引擎(Wolfram Alpha)和搜索引擎(Google)进行比较。开放源代码系统由维基媒体托管在https://mathqa.wmflabs.org。演示视频可在purl.org/mathqa获得。
2022-11-12 cs.IR
Extracting Information from Scientific Literature via Visual Table Question Answering Models
本研究探索三种科学论文表格数据处理方法以增强抽取式问答并开发系统综述工具,实验显示保留表格结构的方法最优,强调结构完整性对问答准确性的关键作用。
2025-08-26 cs.IR
Fine-Grained Relevance Annotations for Multi-Task Document Ranking and Question Answering
TU Wien(维也纳工业大学)
存在许多现有的检索和问答数据集。然而,他们中的大多数要么专注于排名列表评估或单一候选人的问答。这种划分使得正确评估与对文档进行排名以及为给定查询提供片段或答案有关的方法具有挑战性。在这项工作中,我们提出了FiRA:一个新的细粒度相关性注释数据集。我们扩展了TREC 2019的深度学习轨道的分级检索注释,为所有相关文档提供了段落和单词级别的分级相关性注释。我们使用新创建的数据来研究长文档中相关性的分布,以及注释者对文本特定位置的注意力。作为一个例子,我们评估最近推出的TKL文档排序模型。我们发现,虽然TKL展览国家的最先进的检索结果长文件,它错过了许多相关段落。
2020-08-12 cs.CL cs.IR
A question-answering system for aircraft pilots' documentation
Airbus AI Research(空客人工智能研究院)
航空航天工业依赖于大量复杂的技术文档,包括系统描述、手册或程序。本文提出了一个问答(QA)系统,将帮助飞机飞行员访问的信息,在此文件中自然地与系统进行交互,并提出问题,在自然语言。在描述对话系统的每个模块之后,我们为QA模块提出了一种基于多任务的方法,该方法可以提高飞行机组操作手册(FCOM)数据集的性能。还提出了一种结合检索器和QA模块的分数的方法。
2020-11-26 cs.CL cs.IR
Answer Extraction in Question Answering using Structure Features and Dependency Principles
问答(QA)研究是自然语言处理领域的一项重要而又具有挑战性的课题。QA的目标是从相关的文本片段或文档中提取准确的答案。QA研究背后的动机是使用最先进的搜索引擎的用户的需求。用户希望得到一个确切的答案,而不是一个可能包含答案的文档列表。在本文中,一个成功的答案提取相关的文件,需要提取几个有效的功能和关系。这些特征包括各种词汇、句法、语义和结构特征。从问题和支持文档的依赖特征中提取建议的结构特征。实验结果表明,结构特征与基本特征相结合,并采用依赖性原则设计,提高了答案抽取的准确率。提出的结构特征使用新的设计原则,提取长距离关系。这一增加可能是整体答案提取准确性提高的原因。
2018-10-09 cs.IR
Dense Hierarchical Retrieval for Open-Domain Question Answering
密集型神经文本检索在开放域问答(QA)中取得了令人鼓舞的成果,其中问题和段落的潜在表示被利用来在检索过程中进行最大内积搜索。然而,目前的密集检索器需要分裂成短的段落,通常包含本地,部分,有时偏见的背景下,并高度依赖于分裂过程的文件。因此,它可能会产生不准确和误导的隐藏表示,从而恶化最终的检索结果。在这项工作中,我们提出了密集层次检索(DHR),层次结构框架,可以生成准确的密集表示的通道,利用宏观语义的文件和微观语义特定于每个通道。具体地说,文档级检索器首先识别相关文档,然后由文档级检索器检索其中的相关段落。检索到的段落的排名将通过检查文档级别的相关性来进一步校准。此外,分层标题结构和两个负抽样策略(即,In-Doc和In-Sec阴性)。我们将DHR应用于大规模开放域QA数据集。DHR显著优于原始的密集通道检索器,并帮助端到端QA系统在多个开放域QA基准上优于强基线。
2021-10-28 cs.IR
Constrained Dominant Sets for Multimodal Document Question Answering
Ca’ Foscari University of Venice(威尼斯卡福斯卡里大学)
提出基于查询增强亲和图的约束主导集检索方法,通过谱边界自动平衡相关性与冗余性,利用复制动态实现全局均衡,无需训练,在多模态文档问答中取得新最优结果。
2026-06-08 cs.IR
FabricQA-Extractor: A Question Answering System to Extract Information from Documents using Natural Language Questions
针对现有基于阅读理解的信息提取方法未利用目标表关系结构的问题,本文提出Relation Coherence模型,将其整合进自研的端到端系统FabricQA-Extractor,在百万级段落数据集上验证了提取性能的提升。
2024-08-17 cs.IR
Expériences de classification d'une collection de documents XML de structure homogène
本文提出了一些实验,在聚类同质XML文档,以验证现有的分类或更普遍的anorganisational结构。我们的方法集成了从文档中提取知识的技术与文档的无监督分类(聚类)。我们专注于特征选择用于表示文档及其对新兴分类的影响。我们将结构化特征的选择与基于句法特征的精细文本选择相结合,并以2003年的Inria活动报告为例对这种方法进行了说明和评估。目标是根据这些活动报告的关键词或不同章节将项目分组为更大的组(主题)。然后,我们使用不同的特征选择的聚类结果进行比较,与Inria使用的官方主题结构。
2005-08-09 cs.IR
CS563-QA: A Collection for Evaluating Question Answering Systems
University of Crete(克里特大学);FORTH-ICS(希腊计算机科学研究所(基础研究与技术基金会))
问答(QA)是一个具有挑战性的课题,因为它需要解决自然语言理解的各种困难。由于评估不仅对于确定QA的各种技术的优缺点很重要,而且对于促进新方法和技术的诞生也很重要,因此在本文中,我们提出了一个用于评估我们创建的自由文本QA方法的集合。虽然它是一个小集合,但它包含了越来越困难的案例,因此它具有教育价值,可以用于快速评估QA系统。
2021-02-06 cs.CL cs.IR
Efficient Test Collection Construction via Active Learning
为了以低成本创建新的IR测试集合,仔细选择哪些文档值得人类相关性判断是有价值的。共享任务活动,如NIST TREC池来自许多参与系统的文档排序(通常也是交互运行),以便识别最可能的相关文档供人工判断。但是,如果一个人的主要目标仅仅是构建一个测试集合,那么能够在不需要运行整个共享任务的情况下完成这一任务将是非常有用的。为此,我们研究了多个主动学习策略,而不依赖于系统排名:1)选择哪些文件人类评估员应该判断;和2)自动分类的相关性额外的未判断的文件。为了评估我们的方法,我们报告了五个TREC集合的实验,这些集合具有不同的相关文件稀缺性。我们报告标签的准确性,以及等级相关性时,评估参与者系统的基础上,这些标签与\全池判断。结果显示了我们的方法的有效性,我们进一步分析了不同的相关性稀缺性如何影响我们的研究结果。为了支持可重复性和后续工作,我们在网上分享了我们的代码:https://github.com/mdmustafizurrahman/ICTIR_AL_TestCollection_2020/。
2020-08-04 cs.IR
Optimizing Retrieval Strategies for Financial Question Answering Documents in Retrieval-Augmented Generation Systems
针对金融领域文档检索难题,研究提出三阶段端到端RAG流水线,通过预处理、领域微调混合检索、后检索优化,在7个金融问答数据集上显著提升检索与生成效果,为金融RAG应用提供可复现方案。
2025-03-19 cs.IR
Enhanced vectors for top-k document retrieval in Question Answering
现代应用程序,特别是涉及“搜索”作为其用例的信息检索网络应用程序,正逐渐向“应答”模块移动。会话式聊天机器人已被证明对用户更具吸引力,使用问答作为其核心。由于精确的回答在计算上是昂贵的,因此已经开发了几种方法来从包含答案的数据库中预取最相关的文档/段落。我们提出了一种不同的方法,可以高效、准确地检索证据文档,确保不会错过给定用户查询的相关文档。我们通过为每个文档(或本文中的段落)分配一个唯一的标识符,并使用它们来创建可以有效索引的密集向量。更准确地说,我们使用标识符来预测与段落对应的相关问题的随机采样的上下文窗口单词以及段落本身的单词。这自然地将通道标识符嵌入到向量空间中,使得嵌入更接近问题而不损害信息内容。这种方法可以在约4毫秒内高效地创建实时查询向量。
2022-10-08 cs.CL cs.IR cs.LG
Question Answering Against Very-Large Text Collections
问答涉及开发从大量文档集合中提取有用信息的方法。这是通过专门的搜索引擎完成的,例如Answer。答案搜索的目的是提供问题的答案,而不是列出可能包含正确答案的相关文档的页面。因此,像“埃菲尔铁塔有多高”这样的问题只会返回“325米”或“1,063英尺”。我们的任务是通过改进信息检索以及改进问题系列分析中涉及的预处理来构建Answer的当前版本。
2013-04-26 cs.CL cs.IR
CHIC: Corporate Document for Visual question Answering
针对现有公开文档数据集无法满足企业视觉问答需求的问题,提出包含多类企业文档的公开数据集CHIC,可支撑企业级信息检索方法的效果对比与研发。
2023-05-01 cs.DB cs.IR
MRNN: A Multi-Resolution Neural Network with Duplex Attention for Document Retrieval in the Context of Question Answering
University of Arkansas Little Rock(阿肯色大学小石城分校)
自组织检索(问答环境中的文档检索)的主要目标是找到满足自然语言查询中发布的信息需求的相关文档。它需要对查询和语料库中的所有文档有很好的理解,这是困难的,因为自然语言文本的含义取决于上下文、语法和语义。最近,深度神经网络已经被用于响应于查询对搜索结果进行排名。在本文中,我们设计了一个多分辨率神经网络(MRNN),利用整个层次的表示文档检索。MRNN模型能够从学习到的层次表示的所有层中获得一个集成了不同抽象层次的表示,并且设计了一个双重注意组件来改进多分辨率表示,从而确定查询和文档匹配的最佳上下文.更具体地,第一注意力机制根据所学习的查询和文档的多分辨率表示来确定最佳上下文。后一种注意力机制旨在微调表示,使得查询和相关文档更接近。实证研究表明,MRNN与双重注意力是显着优于现有的模型用于ad-hoc检索基准数据集,包括SQuAD,WikiQA,QUASAR,TrecQA。
2019-11-03 cs.CL cs.IR
PolicyBot - Reliable Question Answering over Policy Documents
Shiv Nadar University(希夫·纳德大学);IIT Madras(印度理工学院马德拉斯分校)
针对政策文档冗长复杂、普通民众难以检索理解相关信息的问题,提出开源RAG系统PolicyBot,通过多模块优化实现可信可复现的政策问答,可适配其他文档问答场景。
2025-11-17 cs.ET cs.IR
Towards Reliable and Interpretable Document Question Answering via VLMs
Università degli Studi di Firenze(佛罗伦萨大学)
针对 VLMs 文档问答中答案空间局部化困难的问题,提出即插即用的 DocExplainerV0 模块解耦答案生成与定位,并建立标准化评估基准,揭示文本准确性与空间定位间的差距。
2025-09-15 cs.CL cs.IR
ASTRA-QA: A Benchmark for Abstract Question Answering over Documents
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Data Science Group(数据科学组)
ASTRA-QA是首个针对文档抽象问答的基准,包含869个学术论文和新闻文档问题实例,涵盖五种抽象问题类型和三种检索范围,通过显式标注评估答案覆盖关键点和避免不支持内容。
2026-05-11 cs.CL cs.IR
MHier-RAG: Multi-Modal RAG for Visual-Rich Document Question-Answering via Hierarchical and Multi-Granularity Reasoning
State Key Laboratory for Novel Software Technology, School of Computer Science, Nanjing University(南京大学计算机科学与技术系软件新技术国家重点实验室);School of Computer Science and Electronic Informatics, Nanjing Normal University(南京师范大学计算机科学与电子信息工程学院)
针对富视觉多页文档问答中现有方法的幻觉、模态脱节与跨页碎片化问题,提出融合分层索引与多粒度语义检索的MHier-RAG多模态RAG模型,在公开数据集上表现更优。
2025-10-02 cs.IR cs.MM
Passage Segmentation of Documents for Extractive Question Answering
Ecole Polytechnique(巴黎综合理工学院);BNP Paribas CIB(法国巴黎银行企业与投资银行);Paris Elite Institute of Technology, Shanghai Jiao Tong University(上海交通大学巴黎卓越工程师学院)
针对RAG流程中分块环节受关注不足的问题,提出多粒度分块框架LGMGC,实验证明其可提升检索及端到端RAG性能。
2025-01-17 cs.CL cs.IR
Beyond Chunking: Discourse-Aware Hierarchical Retrieval for Long Document Question Answering
Institute of Computing and Intelligence, Harbin Institute of Technology (Shenzhen)(计算与智能研究院,哈尔滨工业大学(深圳));Shenzhen Loop Area Institute (SLAI)(深圳环形区研究院(SLAI))
本文提出一种篇章意识层次检索框架,利用修辞结构理论处理长文档问答,通过 discourse parsing 和 LLM 增强实现结构与语义信息的融合,实验表明在多种语言和文档类型上均取得显著提升。
2026-05-07 cs.AI cs.CL cs.IR
A Neural Model for Joint Document and Snippet Ranking in Question Answering for Large Document Collections
Athens University of Economics and Business(雅典经济与商业大学);Research Center ‘Athena’(“雅典娜”研究中心);Institute for Language and Speech Processing(语言与语音处理研究所)
用于大型文档集合的问答(QA)系统通常使用流水线,该流水线(i)检索可能相关的文档,(ii)对它们进行重新排名,(iii)对排名靠前的文档的段落或其他片段进行排名,以及(iv)选择排名靠前的片段的跨度作为精确答案。管道在概念上很简单,但是错误会从一个组件传播到下一个组件,后面的组件无法修改前面的决策。我们提出了一个架构,联合文档和片段排名,两个中间阶段,利用相关文档有好的片段和好的片段来自相关文档的直觉。该架构是通用的,可以用于任何神经文本相关性排名器。我们的实验与两个主要的实例化的架构,基于POSIT-DRMM(PDRMM)和基于BERT的排名。在BIOASQ生物医学数据上的实验表明,我们的联合模型在片段检索(QA的主要目标)中的性能大大优于管道,可训练参数较少,在文档检索中也具有竞争力。此外,我们的联合PDRMM为基础的模型是有竞争力的BERT为基础的模型,尽管使用数量级较少的参数。对BIOASQ的两个试验批次进行的人体评价也支持这些声明。为了在另一个数据集上测试我们的关键发现,我们修改了Natural Questions数据集,使其也可以用于文档和片段检索。我们的基于PDRMM的联合模型在修改后的Natural Questions数据集上的片段检索中再次优于相应的管道,尽管它在文档检索中的表现不如管道。我们公开了我们的代码和修改后的Natural Questions数据集。
2021-06-16 cs.IR cs.LG
Entity Retrieval for Answering Entity-Centric Questions
School of Computing Science(计算科学学院);Simon Fraser University(西蒙菲莎大学)
针对以实体为中心的问答,本文提出 Entity Retrieval,利用问题中的显著实体而非问题—文档相似性检索文档,并证明其相比稠密与稀疏检索更准确、更高效。
2024-08-05 cs.CL cs.IR
CAiRE-COVID: A Question Answering and Query-focused Multi-Document Summarization System for COVID-19 Scholarly Information Management
EMOS Technologies Inc.(EMOS科技公司)
我们介绍CAiRE-COVID,一个实时问答(QA)和多文档摘要系统,它赢得了Kaggle COVID-19开放研究数据集挑战赛的10个任务之一,由医学专家评判。我们的系统旨在通过回答社区的高优先级问题并总结与问题相关的重要信息,来应对最近挖掘大量关于COVID-19的科学文章的挑战。它将信息抽取与最先进的QA和以查询为中心的多文档摘要技术相结合,从现有文献中选择并突出显示证据片段。我们还提出了以查询为中心的抽象和提取的多文档摘要方法,以提供更多的相关信息的问题。我们进一步进行定量实验,显示每个模块的各种指标的一致改进。我们已经推出了我们的网站CAiRE-COVID,供医学界更广泛地使用,并开放了我们系统的代码,以引导其他研究人员进行进一步的研究。
2020-12-08 cs.CL cs.IR cs.LG
Decomposing Retrieval Failures in RAG for Long-Document Financial Question Answering
本文针对长文档金融问答中的检索失败问题,提出一种基于页面的分层检索方法,通过微调双编码器提升页面和片段的检索效果。
2026-02-20 cs.CL cs.IR
Document Retrieval on Repetitive Collections
文档检索的目的是找到最重要的文件,其中的模式出现在一个字符串的集合。传统的模式匹配技术产生暴力文档检索解决方案,这激发了对提供接近最佳性能的定制索引的研究。然而,还没有进行实验研究,确定哪些替代方案实际上比蛮力更好,以及哪些方案根据收集的特点表现最好。在本文中,我们通过探索底层集合的性质和当前方法的性能之间的关系来解决这个缺点。通过大量的实验,我们表明,既定的解决方案往往在实践中击败蛮力的替代品。我们还设计了新的方法,提供优越的时间/空间权衡,特别是在重复收集。
2014-06-30 cs.DS cs.IR
Identifying Supporting Facts for Multi-hop Question Answering with Document Graph Networks
University of Manchester(曼彻斯特大学)
阅读理解方面的最新进展已经产生了一些模型,当答案包含在一段连续的文本中时,这些模型的表现超过了人类的表现。然而,复杂的问答(QA)通常需要多跳推理-即,整合来自不同来源的支持事实,以推断正确答案。本文提出了文档图网络(DGN),一个消息传递体系结构,用于识别支持事实的图形结构表示的文本。对HotpotQA的评估表明,与在原始文本上操作的阅读理解基线相比,DGN获得了具有竞争力的结果,证实了结构化表示支持多跳推理的相关性。
2019-10-01 cs.AI cs.CL cs.IR
Investigating Information Inconsistency in Multilingual Open-Domain Question Answering
University of Maryland, College Park(马里兰大学帕克分校)
基于检索的开放域QA系统使用检索到的文档和对检索到的文档的答案跨度选择来找到最佳答案候选者。我们假设,多语言问答(QA)系统很容易出现信息不一致,当涉及到不同语言编写的文件,因为这些文件往往提供一个模型与不同的信息相同的主题。为了理解信息的可获得性偏差和文化影响的影响,我们分析了多语言开放域问答模型的行为,重点是检索偏差。我们分析如果不同的检索模型呈现不同的段落给定相同的问题在不同的语言上的TyDi QA和XOR-TyDi QA,两个多语言QA数据集。我们推测,跨语言文档的内容差异可能反映了文化差异和/或社会偏见。
2022-05-25 cs.AI cs.CL cs.IR
Zero-Shot Open-Book Question Answering
Amazon Web Services(亚马逊云科技)
开卷问答是问答任务的子集,其中系统旨在在给定的文档集合(开卷)和关于主题的常识中找到答案。本文提出了一种解决方案,用于回答来自Amazon Web Services(AWS)技术文档语料库的自然语言问题,其中没有特定于域的标记数据(zero-shot)。这些问题可以有是-否-否答案、简短答案、冗长答案或上述答案的任何组合。该解决方案包括两步架构,其中检索器查找正确的文档,提取器在检索到的文档中查找答案。我们正在为开卷QA引入一个新的测试数据集,该数据集基于AWS技术文档中的真实客户问题。在对几个基于抽取语言模型的信息检索系统和抽取器模型进行实验后,该解决方案尝试在同一遍中找到是-否-否答案和文本答案。该模型在斯坦福问答数据集- SQuAD(Rajpurkaret等人,2016)和自然问题(Kwiatkowski等人,2019)数据集。我们能够实现49%的F1和39%的端到端精确匹配分数(EM),而无需特定于领域的培训。
2021-11-22 cs.CL cs.IR cs.LG
Robustness of IR Models to Collection Growth
University of Glasgow(格拉斯哥大学)
本研究探究IR模型对集合增长的鲁棒性,将模型分为MDA和MDD两类,发现两类模型均无法完全抵御非相关文档添加带来的性能下降,且MDA检索器效果优于MDD,二者重排序器效果相当。
2026-08-26 cs.CL cs.IR
Architecture of an Ontology-Based Domain-Specific Natural Language Question Answering System
Government Engineering College, Sreekrishnapuram(斯里克里希纳普兰政府工程学院)
问答(QA)系统的目标是从大量的文档中检索出精确的信息。本文描述了一个基于本体信息的特定领域自然语言问答系统的体系结构,向语义Web问答迈进了一步。建议的架构定义了四个基本模块,适合于提高当前的QA能力与处理复杂问题的能力。第一个模块是问题处理模块,它对问题进行分析和分类,并对用户的查询进行重构。第二个模块允许检索相关文件。下一个模块处理检索到的文档,最后一个模块执行响应的提取和生成。自然语言处理技术被用于处理问题和文档以及用于答案提取。本体和领域知识被用于重构查询和识别关系。该系统的目的是生成简短而具体的答案,是在特定领域的自然语言提出的问题。在我们的实现中,我们已经达到了94%的自然语言问答准确率。
2013-11-13 cs.CL cs.IR
TabRAG: Improving Tabular Document Question Answering for Retrieval Augmented Generation via Structured Representations
Imperial College London(帝国理工学院)
TabRAG通过结构化表示改进表格文档问答,采用布局分割和视觉语言模型解析,提升表格问答性能。
2026-01-31 cs.AI cs.CL cs.CV
Fast, Small, and Simple Document Listing on Repetitive Text Collections
在字符串集合上列出文档的任务是查找出现模式的所有文档。它被认为是最基本的文档检索问题,并在各种应用中是有用的。许多增长最快的字符串集合由非常相似的文档组成,例如版本化代码和文档集合、基因组存储库等。为重复文本集合设计的普通模式匹配索引实现了空间数量级的减少。相反,用于文档检索的类似索引并不多。在本文中,我们提出了一个简单的文件列表索引的重复字符串集合的总长度$n$,列出$ndoc$不同的文件中出现的模式的长度$m$在时间$\mathcal{O}(m+ndoc \cdot \log n)$。我们利用文档数组的重复性(即,粗化为文档标识符的后缀数组)来对其进行语法压缩,同时预计算对非终结符的回答,并且也以语法压缩的形式存储它们。我们的实验结果表明,我们的索引大大优于现有的替代品在空间/时间权衡地图。
2019-02-20 cs.DS cs.IR cs.IT
End-to-End Training of Multi-Document Reader and Retriever for Open-Domain Question Answering
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);School of Computer Science, McGill University(麦吉尔大学计算机科学学院);DeepMind
我们提出了一个端到端的可区分的训练方法检索增强的开放域问答系统,结合信息从多个检索到的文档生成答案时。我们模型检索决策的相关文件集的潜在变量。由于边缘化检索到的文件集是计算困难的,我们近似使用期望最大化算法。我们迭代地估计潜在变量(给定问题的相关文档集)的值,然后使用此估计值来更新检索器和读者参数。我们假设,这种端到端的训练可以让训练信号流到读者,然后到检索器比阶段式训练更好。这导致检索器能够为问题选择更相关的文档,并且读者在更准确的文档上进行训练以生成答案。在三个基准数据集上的实验表明,我们提出的方法比所有现有的可比大小的方法都要高出2-3%的绝对精确匹配点,取得了新的最先进的结果。我们的研究结果也证明了学习检索的可行性,以提高答案生成没有明确的监督检索决策。
2021-12-04 cs.AI cs.CL cs.IR
Drilling Down into the Discourse Structure with LLMs for Long Document Question Answering
University of Michigan(密歇根大学);Adobe Research(奥多比研究院)
针对LLM零样本长文档证据检索中上下文限制与计算成本问题,提出利用文档篇章结构创建浓缩表示的方法,在仅处理26%token下保留99.6%性能,并结合self-ask智能体在多跳问答中逼近使用黄金证据的零样本性能。
2023-11-22 cs.AI cs.CL cs.IR
HC4: A New Suite of Test Collections for Ad Hoc CLIR
Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland, College Park(马里兰大学帕克分校)
HC4是一套新的测试集合,用于特定的跨语言信息检索(CLIR),具有中文、波斯语和俄语的公共爬行新闻文档,英语和文档语言的主题,以及分级的相关性判断。需要新的测试集合,因为使用传统CLIR运行的池化构建的现有CLIR测试集合在用于评估神经CLIR方法时在其相关性判断方面存在系统性差距。HC4收集了60个主题和大约50万个中文和波斯文文档,以及54个主题和500万个俄文文档。使用主动学习来确定在使用交互式搜索和判断进行播种之后注释哪些文档。文件是根据三个等级的相关性等级来评判的。本文介绍了新的测试集合的设计和建设,并提供了基线结果,以证明其效用评估系统。
2022-01-24 cs.CL cs.IR
Extracting Event-Centric Document Collections from Large-Scale Web Archives
Web档案通常范围非常广泛,规模非常大。这使得数据分析看起来令人生畏,特别是对于非计算机科学家来说。这些收藏品是社会科学、历史科学研究人员和有兴趣研究历史事件的记者日益重要的资料来源。然而,除了检索各个断开连接的文档之外,目前没有任何访问方法可以帮助用户有效地访问信息,特别是关于特定事件的信息。因此,我们提出了一种新的方法来提取以事件为中心的文档集,从大规模的Web档案。该方法依赖于专门的聚焦提取算法。我们的实验在德国的Web档案(涵盖了19年的时间段)表明,我们的方法可以提取不同的事件类型的事件为中心的集合。
2017-07-28 cs.DL cs.IR
Beyond Retrieval: Joint Supervision and Multimodal Document Ranking for Textbook Question Answering
Faculty of Computing and Information Technology, King Abdulaziz University(计算机与信息科技学院,国王阿卜杜勒阿齐兹大学);College of Computer and Information Science, Imam Mohammad Ibn Saud Islamic University (IMSIU)(计算机与信息科学学院,伊玛目穆罕默德·本·萨乌德伊斯兰大学);School of Computing, Macquarie University(计算学院,麦考瑞大学)
本文提出JETRTQA,一种基于检索器-生成器架构的多模态教材问答方法,通过联合排序监督与隐式监督增强语义表示,在CK12-QA数据集上显著提升文档区分度,准确率较先前最优提高2.4%至11.1%。
2026-09-09 cs.AI cs.IR
HiKEY: Hierarchical Multimodal Retrieval for Open-Domain Document Question Answering
Human-inspired AI Research, Korea University(韩国大学人机智能研究部);Computer Science and Engineering, Konkuk University(韩国康科大学计算机科学与工程系);Department of Computer Science and Engineering, Korea University(韩国大学计算机科学与工程系)
提出基于文档层次结构的分层多模态检索框架HiKEY,通过文档层次解析和粗到细的检索策略解决大规模工业语料中的路由失败和证据碎片化问题,在ODQA基准上检索召回率提升达12.9%,端到端QA性能提升达6.8%。
2026-05-28 cs.AI cs.IR
A Multi-Resolution Word Embedding for Document Retrieval from Large Unstructured Knowledge Bases
University of Arkansas(阿肯色大学);Google LLC.(谷歌有限责任公司)
深度语言模型学习分层表示被证明是自然语言处理、文本挖掘和信息检索的强大工具。然而,表现良好的检索表示必须捕捉不同层次的抽象或上下文范围的语义含义。在本文中,我们提出了一种新的方法来产生多分辨率的词嵌入,表示在多个分辨率的上下文范围的文件。为了研究其性能,我们使用斯坦福问答数据集(SQuAD)和问答搜索和阅读(QUASAR)在一个开放域的问答设置,其中的第一个任务是找到有用的文件来回答给定的问题。为此,我们首先比较了各种文本嵌入方法的检索性能的质量,并给出了广泛的经验比较与各种非增强的基础嵌入的性能,并没有多分辨率表示。我们认为,多分辨率词嵌入始终优于原始的对应物,并且专门为检索目的训练的深度残差神经模型在用于增强这些嵌入时可以产生进一步的显着收益。
2019-05-22 cs.CL cs.IR
Learning to Search in Long Documents Using Document Structure
Tel Aviv University(特拉维夫大学)
阅读理解模型是基于递归神经网络,顺序处理的文件令牌。随着兴趣转向回答更长文档上的更复杂问题,大部分文本的顺序阅读成为一个实质性的瓶颈。受人类如何使用文档结构的启发,我们提出了一个新的阅读理解框架。我们将文档表示为树,并对一个代理进行建模,该代理学会在文档树中交错快速导航,并提取更昂贵的答案。为了鼓励对文档树的探索,我们提出了一种基于深度Q网络(DQN)的新算法,该算法在训练时策略性地对树节点进行采样。从经验上讲,我们发现我们的算法提高了问答性能相比,DQN和一个强大的信息检索(IR)基线,并集成我们的模型与IR基线的结果在性能上进一步提高。
2018-09-10 cs.CL cs.IR
Multi-Document Financial Question Answering using LLMs
Anvai AI(安维人工智能)
提出两种多文档金融问答方法RAG_SEM和KG_RAG,通过语义标注与知识图谱检索上下文,实验证明两者均显著优于普通RAG。
2024-11-08 cs.CL cs.IR
A tool set for the quick and efficient exploration of large document collections
我们提出了一套多语言文本分析工具,可以帮助任何领域的分析人员快速探索大型文档集,以确定文档是否包含感兴趣的信息,并找到相关的文本段落。这一自动工具目前是一个功能齐全的原型,预计在用户反复需要筛选大量文件(如从互联网自动下载的文件)时特别有用。建议的系统需要一个完整的文件集作为输入。它首先执行一些自动分析任务(命名实体识别、地理编码、聚类、术语提取),用生成的元信息注释文本,并将元信息存储在数据库中。该系统然后生成一个可放大和超链接的地理地图,其中增加了所发现的实体和术语的信息,当该系统定期使用时,它建立了一个历史数据库,其中包含关于哪些名称与其他名称或地点一起被提及的信息,用户可以查询这个数据库,以检索过去提取的信息。
2006-09-12 cs.CL cs.IR
Hierarchical Retrieval with Evidence Curation for Open-Domain Financial Question Answering on Standardized Documents
Department of Applied Artificial Intelligence, Hanyang University(应用人工智能系,翰阳大学)
针对标准化金融文档中相似格式导致重复检索的问题,提出 HiREC 框架,通过分层检索与证据整理提升开放域金融问答的准确性和完整性,并发布包含 145,897 份 SEC 文档和 1,595 个问答对的 LOFin 基准。
2025-11-06 cs.AI cs.CL cs.IR
Exploring the Daschle Collection using Text Mining
一位来自南达科他州的美国参议员捐赠了他在担任众议院代表和参议员期间积累的文件,这些文件将存放在南达科他州立大学的布里奇斯图书馆。本项目研究了定量统计方法的效用,以探索这一庞大文献收藏的某些部分。使用自然语言处理方法,包括潜在的狄利克雷分配(LDA)模型,从成分的可用扫描的文档和电子邮件进行分析。这一模式确定了特定文件集中讨论的主要议题。从参议员达施勒职业生涯的重要事件和流行的问题反映在不断变化的主题从模型。这些定量统计方法提供了大量文本的摘要,而不需要大量的人力或时间,并且可以应用于类似的集合。
2019-04-23 cs.IR stat.AP
ViSAR: Training-Free Adaptive-$k$ Retrieval for Document Visual Question Answering
INSA Lyon(里昂国立应用科学学院);CNRS(法国国家科学研究中心);EPITA Research Laboratory (LRE)(EPITA研究实验室);Lowit(洛维特公司);LIRIS UMR 5205(里昂信息、图像与智能系统实验室)
ViSAR是一种无需训练的自适应k检索方法,用于视觉文档问答,可动态确定检索页面数量,降低RAG延迟最高58.7%,同时保持或提升答案准确性。
2026-11-17 cs.AI cs.CL cs.CV
Topic Extraction of Crawled Documents Collection using Correlated Topic Model in MapReduce Framework
University of Computer Studies(计算机研究大学);Faculty of Computing(计算机学院)
大量的可用研究文档的巨大增长促使研究人员提出主题模型来提取文档集合中的潜在语义主题。然而,如何从文档集合中提取出隐藏的主题已经成为许多主题模型应用的关键任务。此外,传统的主题建模方法遭受的可扩展性问题时,文档集合的大小增加。本文在MapReduce框架下实现了基于变分期望最大化算法的相关主题模型,解决了相关主题模型的可扩展性问题。所提出的方法利用从公共数字图书馆爬取的数据集。此外,抓取的文档的全文进行分析,以提高MapReduce CTM的准确性。最后通过实验验证了该算法的有效性。从评估,所提出的方法具有可比的性能方面的主题一致性与LDA实现MapReduce框架。
2020-01-06 cs.CL cs.IR cs.LG
Automatic Identification of Document Translations in Large Multilingual Document Collections
文本及其翻译是一种丰富的语言资源,可用于训练和测试基于语法的机器翻译系统和许多其他应用。在本文中,我们提出了一个工作系统,可以识别翻译和其他非常相似的文件之间的大量的候选人,通过表示文档内容与一个向量的词库术语从多语言词库,然后测量向量之间的语义相似性。对不同文本类型的测试表明,该系统可以在820个或更多文档的大搜索空间中以超过96%的精度检测翻译。该系统被调整为忽略特定语言的相似性,并给予第二语言的类似文档与相同语言的等效文档相同的相似性得分。该应用程序还可用于检测跨语言文档剽窃。
2006-09-12 cs.CL cs.IR
Reference-Aligned Retrieval-Augmented Question Answering over Heterogeneous Proprietary Documents
Department of Computer Science Emory University Atlanta Georgia USA(计算机科学系 埃默里大学 阿拉巴马 州 美国);Emory University(埃默里大学)
本文提出面向企业内部的RAG问答框架,通过多模态数据流水线、本地隐私保护架构和轻量级参考匹配器,在汽车领域提升答案的事实正确性、信息量与有用性,并实现答案与源文档的可追溯。
2025-08-27 cs.AI cs.IR
FinCARDS: Card-Based Analyst Reranking for Financial Document Question Answering
ShanghaiTech University(上海科技大学);The University of Tokyo(东京大学);MBZUAI
FinCARDS通过结构化重排序框架,将财务证据选择转化为在财务意识模式下的约束满足问题,提升长文档问答的稳定性与可追溯性。
2026-04-30 cs.AI cs.CL cs.IR