Phrase-Indexed Question Answering: A New Challenge for Scalable Document Comprehension
我们正式目前的问答任务的一个新的模块化的变体,通过执行完全独立的文件编码器的问题编码器。这种提法解决了机器理解的一个关键挑战,需要一个独立的表示文件的话语。它还带来了显著的可扩展性优势,因为文档中的答案候选短语的编码可以预先计算并离线索引以进行高效检索。我们对新任务的基线模型进行了实验,这些模型达到了合理的准确性,但显着低于无约束的QA模型。我们邀请QA研究社区参与短语索引问答(PIQA,pika)以缩小差距。排行榜位于:nlp.cs.washington.edu/piqa
2018-09-26 cs.CL
DocNavRAG: Document-Structured Graph RAG with Stateful Evidence Construction for Complex Document Question Answering
School of Computer Science, Wuhan University(武汉大学计算机学院);The Hong Kong University of Science and Technology(香港科技大学);The Chinese University of Hong Kong(香港中文大学);ETH Zurich(苏黎世联邦理工学院)
本文提出DocNavRAG,将文档结构组织为可导航图并维护证据状态,在四个文档QA基准上,相比最强基线平均提升答案质量7.8%、上下文充分性17.7%。
2026-08-04 cs.CL
AttenWalker: Unsupervised Long-Document Question Answering via Attention-based Graph Walking
Huazhong University of Science and Technology(华中科技大学);Beijing Institute of Technology(北京理工大学)
针对长文档问答标注成本高、现有无监督问答难处理长距离信息的问题,提出无监督长文档问答任务与AttenWalker方法,通过三模块构建长距离依赖答案,在基准数据集及少样本场景下表现优异。
2023-05-03 cs.CL
Iterative Document-level Information Extraction via Imitation Learning
Johns Hopkins University(约翰斯·霍普金斯大学);University of Rochester(罗切斯特大学);Microsoft Semantic Machines(微软语义机器公司)
本研究提出基于模仿学习的迭代式文档级信息抽取模型IterX,将模板抽取任务建模为MDP,无需预定义模板顺序训练,在多个基准任务上取得SOTA或强劲基线结果。
2023-05-01 cs.CL
Representations for Question Answering from Documents with Tables and Text
Google Research(谷歌研究院);University of Washington(华盛顿大学)
Web文档中的表是普遍存在的,可以直接用于回答Web上搜索的许多查询,从而促进了它们在问答中的集成。表格中提供的信息通常很简洁,很难用标准语言表示来解释。另一方面,表格通常出现在文本上下文中,例如描述表格的文章。使用来自项目的信息作为附加上下文可以潜在地丰富表表示。在这项工作中,我们的目标是改善问答从表中提炼表表示从周围的文本信息的基础上。我们还提出了一种有效的方法来结合文本和基于表格的预测,从完整的文档中的问答,获得显着的改进自然问题数据集。
2021-01-26 cs.CL
Hierarchical Question Answering for Long Documents
University of Washington(华盛顿大学);Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学)
我们提出了一个用于问答的框架,可以有效地扩展到更长的文档,同时保持甚至提高最先进模型的性能。虽然大多数成功的阅读理解方法都依赖于递归神经网络(RNN),但在长文档上运行它们的速度非常慢,因为很难在序列上并行化。受人们如何首先浏览文档,识别相关部分,并仔细阅读这些部分以产生答案的启发,我们结合了一个粗糙,快速的模型来选择相关句子,并使用一个更昂贵的RNN来从这些句子中产生答案。我们把句子选择作为一个潜在的变量,只使用强化学习从答案中联合训练。实验证明了在维基阅读的一个具有挑战性的子集和一个新的数据集上的最先进的性能,同时将模型加速了3.5x-6.7x。
2017-02-08 cs.CL
Survey on Question Answering over Visually Rich Documents: Methods, Challenges, and Trends
Orange(奥兰治公司);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);ISIR(法国国家科学研究中心智能系统与机器人研究所)
本文综述了视觉富文档问答的现有方法,分析其优缺点、主要挑战和未来研究方向。
2025-03-10 cs.CL
ASRank: Zero-Shot Re-Ranking with Answer Scent for Document Retrieval
University of Innsbruck(因斯布鲁克大学)
本文提出ASRank,一种利用预训练大语言模型计算零样本答案线索似然度的文档重排序方法,显著提升了多种问答数据集的检索准确率。
2025-01-25 cs.CL
Classification Betters Regression in Query-based Multi-document Summarisation Techniques for Question Answering: Macquarie University at BioASQ7b
Macquarie University(麦考瑞大学)
2019年BioASQ挑战赛B阶段的任务B侧重于生物医学问答。麦考瑞大学的参与应用了基于查询的多文档提取摘要技术,以生成给定问题和相关片段集的多句回答。在过去的参与中,我们使用深度学习架构和简单的策略梯度架构探索了回归方法的使用。在2019年的挑战中,我们尝试使用有和没有强化学习的分类方法。此外,我们还进行了各种ROUGE指标与BioASQ人类评估评分之间的相关性分析。
2019-09-02 cs.CL
Towards Better Document-level Relation Extraction via Iterative Inference
Xiamen University(厦门大学)
文档级关系抽取(RE)的目的是从输入文档中抽取实体之间的关系,输入文档通常包含许多难以预测的实体对,这些实体对之间的关系只能通过关系推理来预测。现有的方法通常直接预测输入文档中所有实体对之间的关系,忽略了某些实体对的预测严重依赖于其他实体对的预测结果这一事实。为了解决这个问题,在本文中,我们提出了一种新的文档级RE模型与迭代推理。我们的模型主要由两个模块组成:1)一个基本模块,预计提供初步的实体对的关系预测; 2)一个推理模块,通过迭代处理难以预测的实体对,依赖于其他对,以简单到困难的方式,改进这些初步的预测。与以前的方法只考虑实体对的特征信息不同,我们的推理模块配备了两个扩展交叉注意单元,使其能够在关系推理过程中利用实体对的特征信息和先前的预测。此外,我们采用两阶段策略来训练我们的模型。在第一阶段,我们只训练我们的基本模块。第二阶段对整个模型进行训练,其中引入对比学习来加强推理模块的训练。在三个常用数据集上的实验结果表明,我们的模型始终优于其他竞争基线。
2022-11-26 cs.CL
Trace Only What You Need: Structure-Aware On-Demand Hypergraph Memory for Long-Document Question Answering
University of New South Wales(新南威尔士大学);CSIRO(澳大利亚联邦科学与工业研究组织);University of Wollongong(伍伦贡大学)
提出DocTrace,一种多智能体RAG框架,通过查询触发的知识组织、文档结构感知和经验引导推理,解决长文档问答中知识组织成本高、结构利用不足和推理经验无法复用的问题,在三个数据集上取得最佳性能。
2026-08-07 cs.CL
Understanding Retrieval Augmentation for Long-Form Question Answering
Department of Computer Science University of Texas at Austin(计算机科学系 德克萨斯大学奥斯汀分校)
针对长文本问答中检索文档利用机制研究不足的问题,通过两项对照实验和SALAD数据集分析发现,语言模型虽能利用上下文文档但答案归因度有限,揭示了检索增强对长文本生成的影响并指明未来方向。
2025-10-03 cs.CL
Information Extraction from Documents: Question Answering vs Token Classification in real-world setups
BNP Paribas(法国巴黎银行)
本文系统比较 DocKIE 中的问答与令牌分类方法,通过五类实验表明前者更适合噪声和长实体场景,后者在干净短实体上表现更优。
2023-04-21 cs.CL
A Study on Efficiency, Accuracy and Document Structure for Answer Sentence Selection
University of Trento(特伦托大学);Amazon Alexa(亚马逊 Alexa)
大多数问答(QA)系统的基本任务是对答案候选集重新排序,即,答案句子选择(A2S)。这些候选通常是从一个或多个文档中提取的保持其自然顺序的句子或由搜索引擎检索的句子。大多数最先进的方法都使用巨大的神经模型,如BERT或复杂的专注架构。在本文中,我们认为,通过利用的内在结构的原始排名与一个有效的字相关性编码器,我们可以实现有竞争力的结果,相对于最先进的,同时保持高效率。我们的模型需要9.5秒在WikiQA数据集上进行训练,即,与标准的基于BERT的微调所需的$\sim 18$分钟相比非常快。
2020-03-04 cs.CL
AutoKG: Constructing Virtual Knowledge Graphs from Unstructured Documents for Question Answering
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
知识图谱具有为问答系统提供细粒度细节的优点。不幸的是,建立一个可靠的KG是耗时和昂贵的,因为它需要人为干预。为了克服这个问题,我们提出了一个新的框架,自动构建KG从非结构化的文件,不需要外部对齐。我们首先从非结构化文档中提取表面形式的知识元组,并用上下文信息对其进行编码。具有相似上下文语义的实体然后通过内部对齐链接以形成图结构。这使我们能够通过遍历生成的KG从多个文档中提取所需的信息,而无需手动处理。我们研究其性能检索为基础的QA系统重新制定的WikiMovies和MetaQA数据集成一个元组级检索任务。实验结果表明,我们的方法优于传统的检索方法的大幅度。
2021-03-10 cs.CL
Single-Pass Document Scanning for Question Answering
Laboratory for Emerging Intelligence(新兴智能实验室);University of California, San Diego(加州大学圣地亚哥分校)
提出单遍文档扫描方法,线性时间处理长文档,保持全局连贯性,在41个问答基准上优于分块嵌入方法,以低计算成本媲美大模型。
2025-08-07 cs.CL
Efficient and Robust Question Answering from Minimal Context over Documents
Seoul National University(首尔国立大学);Salesforce Research(Salesforce研究院)
用于基于文档的问答(QA)的神经模型已经取得了显着的性能改进。虽然有效,但这些模型不能扩展到大型语料库,因为它们对文档和问题之间的交互进行了复杂的建模。此外,最近的研究表明,这种模型对对抗性输入很敏感。在本文中,我们研究了回答问题所需的最小上下文,并发现现有数据集中的大多数问题都可以用一小部分句子来回答。受此观察的启发,我们提出了一个简单的句子选择器来选择最小的句子集来输入QA模型。我们的整个系统实现了训练(最多15倍)和推理时间(最多13倍)的显著减少,准确性与SQuAD,NewsQA,TriviaQA和SQuAD-Open的最新技术相当或更好。此外,我们的实验结果和分析表明,我们的方法是更强大的对抗性输入。
2018-05-21 cs.CL
Pivot Through English: Reliably Answering Multilingual Questions without Document Retrieval
University of Washington(华盛顿大学);Apple Inc.(苹果公司)
现有的开放检索问答方法在低资源语言(LRL)明显落后于英语。他们不仅遭受非英语文献检索的缺点,但依赖于特定语言的监督任务或翻译。我们制定了一个任务设置更现实的可用资源,绕过文档检索可靠地转移知识从英语到较低的资源语言。假设一个强大的英语问答模型或数据库,我们比较和分析的方法,以英语为中心:映射外国查询到英语,然后英语回答回目标语言的答案。在这个任务设置中,我们提出了重新排序的多语言最大内积搜索(RM-MIPS),类似于在英语训练集上进行重新排序的语义相似性检索,在XQuAD和MKQA上分别比最强基线高出2.7%和6.2%。分析表明,在具有挑战性的环境中,这种策略比最先进的替代方案具有特殊的功效:低资源语言,具有广泛的干扰数据和查询分布不一致。绕过检索,我们的分析表明,这种方法提供了快速的答案生成几乎任何现成的语言,而不需要任何额外的训练数据在目标语言。
2021-07-16 cs.CL
DOCMASTER: A Unified Platform for Annotation, Training, & Inference in Document Question-Answering
University of California San Diego(加利福尼亚大学圣迭戈分校);Halıcıoğlu Data Science Institute, University of California San Diego(加利福尼亚大学圣迭戈分校哈利乔格鲁数据科学学院)
本文提出DOCMASTER统一平台,在设备端集成PDF文档标注、模型训练与推理,支持布局感知和文本模型,解决文档问答中的格式复杂性与隐私保护问题,并已应用于UCSD的AI助手处理大量PDF文档。
2024-03-30 cs.CL
An Answer is just the Start: Related Insight Generation for Open-Ended Document-Grounded QA
Adobe Research(Adobe研究);University of Maryland, College Park(马里兰大学学院公园分校)
本文提出文档引导相关洞察生成任务,通过构建主题表示和选择相关上下文生成多样化洞察,提升开放性问答体验。
2026-04-21 cs.CL
Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软)
Natural Questions是一个新的具有挑战性的机器阅读理解基准,具有两个粒度的答案,即长答案(通常是一个段落)和短答案(长答案中的一个或多个实体)。尽管现有的方法在这个基准上是有效的,但它们在训练过程中单独对待这两个子任务,而忽略了它们的依赖关系。为了解决这个问题,我们提出了一种新的多粒度机器阅读理解框架,重点是在其层次结构的性质,这是不同级别的粒度建模文档:文档,段落,句子和令牌。我们利用图形注意力网络来获得不同级别的表示,以便它们可以同时学习。长答案和短答案可以分别从段落级表示和标记级表示中提取。通过这种方式,我们可以对两个粒度答案之间的依赖关系进行建模,从而为彼此提供证据。我们联合训练这两个子任务,我们的实验表明,我们的方法显着优于以前的系统在长和短的答案标准。
2020-05-13 cs.CL
On the Scalability of the Answer Extraction System "ExtrAns"
本文报告的答案提取系统ExtrAns的可扩展性。答案提取系统在包含对用户查询的明确答案的文档中定位精确的短语。因此,在用户希望在有限的时间内找到特定信息的情况下,答案提取系统比文档检索系统更方便。ExtrAns通过UNIX手册页执行答案提取。它是通过结合现有的语言资源和从头开始实施几个模块构建的。用户查询的最小逻辑形式和manpage语句的最小逻辑形式之间的解析过程找到查询的答案。这些答案连同指向相应手册页的指针一起显示给用户,并突出显示对答案有贡献的确切短语。本文表明,响应时间的增加是不是一个大问题时,系统从30到500个文件,和响应时间为500个文件仍然是可以接受的实时答案提取系统。
2000-05-12 cs.CL
Mitigating False-Negative Contexts in Multi-document Question Answering with Retrieval Marginalization
Yale University(耶鲁大学);Allen Institute for AI(艾伦人工智能研究所)
需要来自多个文档的信息的问答(QA)任务通常依赖于检索模型来识别用于推理的相关信息。检索模型通常被训练以最大化标记的支持证据的可能性。然而,当从维基百科等大型文本语料库中检索时,通常可以从多个候选证据中获得正确答案。此外,并非所有这样的候选者在注释期间都被标记为阳性,从而使训练信号变得微弱和嘈杂。当问题无法回答或答案是布尔值时,这个问题会加剧,因为模型不能依赖词汇重叠来建立答案和支持证据之间的联系。我们开发了一种新的参数化集值检索,处理无法回答的查询,我们表明,在训练过程中边缘化这个集合允许模型,以减轻假阴性支持证据注释。我们在两个多文档QA数据集IIRC和HotpotQA上测试了我们的方法。在IIRC上,我们证明了带边缘化的联合建模将模型性能提高了5.5 F1点,并实现了50.5 F1的最新性能。我们还表明,检索边缘化的结果在4.1 QA F1的改进,在fullwiki设置在HotpotQA的非边缘化的基线。
2021-09-08 cs.CL
BERAG: Bayesian Ensemble Retrieval-Augmented Generation for Knowledge-based Visual Question Answering
Department of Engineering(工程系)
BERAG通过将语言模型条件于单个检索文档而非单一上下文,解决检索增强生成中文档贡献不明和长上下文中的信息丢失问题,提升视觉问答任务性能。
2026-10-27 cs.CL
A Question Answering Framework for Decontextualizing User-facing Snippets from Scientific Documents
Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学);Yale University(耶鲁大学)
本文针对科学文档片段脱离原文后难以理解的问题,提出一种由问题生成、问题回答和重写三阶段组成的去语境化框架,并开发了优于端到端提示的 QaDecontext 策略。
2023-12-01 cs.CL
Capturing Global Structural Information in Long Document Question Answering with Compressive Graph Selector Network
Huazhong University of Science and Technology(华中科技大学);Beijing Institute of Technology(北京理工大学);Beijing Institute of Technology Southeast Academy of Information Technology(北京理工大学东南信息技术研究院)
长文档问答是一个具有挑战性的任务,因为它需要对长文本进行复杂的推理。以往的研究通常将长文档看作非结构化的平面文本,或者只考虑长文档的局部结构。然而,这些方法通常忽略了长期的理解是必不可少的长文档的全局结构。为了解决这个问题,我们提出了压缩图网络(CGSN),以压缩和迭代的方式捕获全局结构。该模型主要研究长文档问答的证据选择阶段。具体来说,它包括三个模块:局部图网络,全局图网络和证据记忆网络。首先,局部图网络在词元、句子、段落和段的层次上构建组块段的图结构,以捕捉文本的短期依赖关系。其次,全局图网络有选择地接收来自局部图的每一层信息,将它们压缩到全局图节点中,并将图注意力应用于全局图节点,以迭代的方式建立对整个文本的远程推理。第三,设计了证据记忆网络,通过保存前几步的选择结果来缓解证据选择中的冗余问题。大量的实验表明,该模型优于以前的方法在两个数据集上。
2022-10-19 cs.CL
Teach model to answer questions after comprehending the document
Beijing Institute of Technology(北京理工大学)
针对多项选择机器阅读理解单阶段方法重答题、轻文本理解导致长文本表现不佳的问题,提出两阶段知识蒸馏方法拆分任务以强化文档理解,显著提升了学生模型的性能。
2023-07-18 cs.CL
A Deep Cascade Model for Multi-Document Reading Comprehension
Alibaba Group(阿里巴巴集团)
在设计在线问答系统时,需要平衡有效性和效率之间的基本权衡。有效性来自复杂的功能,如提取机器阅读理解(MRC),而效率是从初步的检索组件,如候选文件选择和段落排序的改进。考虑到现实世界中多文档MRC场景的复杂性,很难在端到端系统中联合优化这两者。为了解决这个问题,我们开发了一种新的深度级联学习模型,该模型从候选文本的文档级和段落级排名逐步发展到使用机器阅读理解进行更精确的答案提取。具体来说,首先使用简单的函数过滤掉不相关的文档和段落,以提高效率。为了更好地跟踪答案,我们在剩余文本上联合训练了三个模块:文档抽取、段落抽取和答案抽取。实验结果表明,该方法在两个大规模多文档基准数据集上的性能优于现有方法,TriviaQA和DuReader。此外,我们的在线系统可以在不到50 ms的时间内稳定地服务于每日数百万次请求的典型场景。
2018-11-28 cs.CL
Ranking Paragraphs for Improving Answer Recall in Open-Domain Question Answering
Korea University(高丽大学)
最近,开放域问答(QA)已经与机器理解模型相结合,以在大型知识源中找到答案。由于开放域问答需要从文本语料库中检索相关文档来回答问题,其性能在很大程度上取决于文档检索器的性能。然而,由于传统的信息检索系统不能有效地获得具有高概率包含答案的文档,因此它们降低了QA系统的性能。简单地提取更多的文档会增加不相关文档的数量,这也会降低QA系统的性能。在本文中,我们介绍了段落排名检索到的文件的段落,以更高的答案召回,噪音更少。我们发现,使用段落排名器对段落进行排名并聚合答案,平均将开放域QA管道在四个开放域QA数据集上的性能提高了7.8%。
2018-10-01 cs.CL cs.LG
Document-level Causal Relation Extraction with Knowledge-guided Binary Question Answering
University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对事件-事件因果关系抽取中缺乏文档级建模和因果幻觉的问题,提出融合事件结构的知识引导二元问答方法,在多数据集上验证了其有效性、泛化性与低不一致性,在MECI上达SOTA。
2024-10-07 cs.CL
Generator-Retriever-Generator Approach for Open-Domain Question Answering
University of Innsbruck(因斯布鲁克大学)
提出Generator-Retriever-Generator方法,结合LLM生成与双编码器检索,解决开放域问答挑战,在三个数据集上优于现有流水线。
2024-03-26 cs.CL
BoundingDocs: a Unified Dataset for Document Question Answering with Spatial Annotations
Università degli Studi di Firenze(佛罗伦萨大学);LETXBE
BoundingDocs数据集通过整合文档AI和视觉丰富文档理解任务,统一了文档问答任务,提供精确的边界框标注以提升大语言模型在文档理解中的性能。
2025-12-01 cs.AI cs.CL
Iterative Hierarchical Attention for Answering Complex Questions over Long Documents
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
我们提出了一个新的模型,DocHopper,迭代地出席不同部分的长,层次结构的文档来回答复杂的问题。类似于多跳问答(QA)系统,在每一步,DocHopper使用查询$q$来处理来自文档的信息,将此"检索“信息与$q$组合以产生下一个查询。然而,与大多数以前的多跳QA系统相比,DocHopper能够“检索”文档的短段落或长部分,从而模拟通过长文档“导航”的多步骤过程来回答问题。为了实现这种新颖的行为,DocHopper并没有通过将文本连接到$q$的文本来将文档信息与$q$结合起来,而是通过将$q$的紧凑神经表示与文档的分层部分的紧凑神经表示结合起来,这可能非常大。我们在四个不同的QA任务上使用DocHopper进行了实验,这些任务需要阅读长而复杂的文档来回答多跳问题,并表明DocHopper在三个数据集上实现了最先进的结果。此外,DocHopper在推理时间上是有效的,比基线快3- 10倍。
2021-10-22 cs.AI cs.CL
DocPrompt: Large-scale continue pretrain for zero-shot and few-shot document question answering
Baidu Inc.(百度公司)
本文提出DocPrompt,通过弱监督数据生成、多阶段训练和模型集成,在4个文档问答任务上达到最先进性能,显著提升效率并降低成本。
2023-08-31 cs.AI cs.CL
From Easy to Hard: Two-stage Selector and Reader for Multi-hop Question Answering
State Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Nanjing University(南京大学)
多跳问答(QA)是一项具有挑战性的任务,要求QA系统对多个文档执行复杂的推理,并提供支持事实以及确切的答案。现有的工作往往利用基于图的推理和问题分解来获得推理链,这不可避免地引入额外的复杂性和累积误差的系统。为了解决上述问题,我们提出了一个简单而有效的新框架,从容易到困难(FE2H),以消除分散注意力的信息,并获得更好的上下文表示的多跳QA任务。受迭代文档选择过程和人类渐进式学习习惯的启发,FE2H按照从易到难的方式将文档选择器和阅读器分为两个阶段。具体来说,我们首先选择与问题最相关的文档,然后利用问题和该文档来选择其他相关文档。至于QA阶段,我们的读者首先在单跳QA数据集上进行训练,然后转移到多跳QA任务中。我们在流行的多跳QA基准HotpotQA上全面评估了我们的模型。实验结果表明,我们的方法ourperforms所有其他方法在HotpotQA的排行榜(分心设置)。
2022-05-24 cs.CL
FEQA: A Question Answering Evaluation Framework for Faithfulness Assessment in Abstractive Summarization
Cornell University(康奈尔大学);New York University(纽约大学);The George Washington University(乔治华盛顿大学);Amazon Web Services AI(亚马逊网络服务人工智能)
神经抽象摘要模型容易产生与源文档不一致的内容,即不忠实。现有的自动度量不能有效地捕获此类错误。我们解决的问题,评估的忠实性生成的摘要,其源文件。我们首先收集了两个数据集上众多模型输出的忠实度的人类注释。我们发现,目前的模型表现出抽象性和忠实性之间的权衡:与源文档的字重叠较少的输出更有可能是不忠实的。接下来,我们提出了一个自动的问答(QA)为基础的忠实度,FEQA,它利用了最近的进展,阅读理解。给定从摘要生成的问题-答案对,QA模型从文档中提取答案;不匹配的答案表示摘要中的不忠实信息。在基于词重叠、嵌入相似性和学习语言理解模型的度量中,我们基于QA的度量与人类忠实度分数具有显著更高的相关性,特别是在高度抽象的摘要上。
2020-05-07 cs.CL
Evaluating LLMs' Mathematical Reasoning in Financial Document Question Answering
Microsoft Research(微软研究院);Singapore Management University(新加坡管理大学);University of Pennsylvania(宾夕法尼亚大学)
本研究评估LLMs在金融表格问答中的数学推理能力,提出一种针对半结构化文档的新型提示技术,匹配或超越基线性能。
2025-10-09 cs.CL
CompAct: Compressing Retrieved Documents Actively for Question Answering
Korea University(高丽大学);Upstage AI;AIGEN Sciences
提出CompAct框架,通过主动策略压缩检索文档,在多跳问答基准上显著提升性能与压缩率(47x),可作为低成本插件兼容多种检索器与阅读器。
2024-10-14 cs.CL
BRIDGE: Benchmark for multi-hop Reasoning In long multimodal Documents with Grounded Evidence
The University of Melbourne(墨尔本大学);The University of Western Australia(西澳大学)
BRIDGE是一个针对长多模态文档的多跳推理基准测试,通过显式的多跳推理注释揭示证据聚合和 grounding 的系统性缺陷。
2026-03-09 cs.CL
Probabilistic Assumptions Matter: Improved Models for Distantly-Supervised Document-Level Question Answering
Microsoft Research(微软研究院);Google Research(谷歌研究院)
我们使用文档级的远程监督,将问题和相关文档与答案字符串配对,解决了抽取式问答问题。我们比较了以前使用的概率空间和遥远的超视假设(假设弱答案字符串标签和可能的答案提及跨度之间的对应关系)。我们表明这些假设相互作用,并且不同的配置提供了互补的好处。我们证明了多目标模型可以有效地结合多个假设的优势,并优于最佳的个人制定。我们的方法在TriviaQA-Wiki上的F1和NarrativeQA摘要上的Rouge-L中分别比以前的最先进模型高出4.3分和1.7分。
2020-05-05 cs.CL cs.LG
Fine-Grained Relevance Annotations for Multi-Task Document Ranking and Question Answering
TU Wien(维也纳工业大学)
存在许多现有的检索和问答数据集。然而,他们中的大多数要么专注于排名列表评估或单一候选人的问答。这种划分使得正确评估与对文档进行排名以及为给定查询提供片段或答案有关的方法具有挑战性。在这项工作中,我们提出了FiRA:一个新的细粒度相关性注释数据集。我们扩展了TREC 2019的深度学习轨道的分级检索注释,为所有相关文档提供了段落和单词级别的分级相关性注释。我们使用新创建的数据来研究长文档中相关性的分布,以及注释者对文本特定位置的注意力。作为一个例子,我们评估最近推出的TKL文档排序模型。我们发现,虽然TKL展览国家的最先进的检索结果长文件,它错过了许多相关段落。
2020-08-12 cs.CL cs.IR
Incorporating Question Answering-Based Signals into Abstractive Summarization via Salient Span Selection
Google(谷歌);University of Pennsylvania(宾夕法尼亚大学)
在这项工作中,我们提出了一种方法,将问答(QA)信号的摘要模型。我们的方法通过自动生成由NP回答的wh-问题并自动确定这些问题是否在黄金摘要中得到回答来识别输入文档中的突出名词短语(NP)。这个基于QA的信号被纳入一个两阶段的摘要模型,首先使用分类模型标记输入文档中的突出NP,然后有条件地生成摘要。我们的实验表明,使用基于QA的监督训练的模型生成的摘要质量高于在基准摘要数据集上识别突出跨度的基线方法。此外,我们表明,所生成的摘要的内容可以控制的基础上,在输入文档中标记的NP。最后,我们提出了一种增强训练数据的方法,使黄金摘要与训练期间使用的标记输入跨度更加一致,并展示了这如何导致模型学习更好地排除未标记的文档内容。
2023-02-25 cs.CL
A Real World Implementation of Answer Extraction
在本文中,我们描述ExtrAns,答案提取系统。答案提取(AE)的目的是检索文档中直接回答给定用户问题的确切段落。AE比信息检索和信息抽取更有野心,因为检索结果是短语,而不是整个文档,并且查询可以是任意特定的。它没有成熟的问答那么雄心勃勃,因为答案不是从知识库中生成的,而是在文档的文本中查找的。当前版本的ExtrAns能够解析未编辑的Unix“手册页”,并导出其句子的逻辑形式。用户查询也被转换成逻辑形式。然后,定理证明器检索相关的短语,这些短语通过在上下文中选择性地突出显示来呈现。
2000-01-14 cs.CL
A Question-Answering Approach to Key Value Pair Extraction from Form-like Document Images
University of Science and Technology of China(中国科学技术大学);Peking University Shenzhen Graduate School(北京大学深圳研究生院);Microsoft Research Asia(微软亚洲研究院)
本文提出基于问答的KVPFormer模型,通过Transformer编码器识别键实体、解码器并行预测值实体,并结合由粗到细的答案预测和空间兼容性注意力偏置,在FUNSD和XFUND数据集上显著提升了键值对提取性能。
2023-04-17 cs.CL
Question Answering by Reasoning Across Documents with Graph Convolutional Networks
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
大多数阅读理解的研究都集中在回答基于单个文档甚至单个段落的问题上。我们引入了一个神经模型,它集成和原因依赖于文档内和跨多个文档的信息传播。我们把它看作是一个图上的推理问题。实体的提及是该图的节点,而边编码不同提及之间的关系(例如,文档内和跨文档共同参考)。将图卷积网络(GCN)应用于这些图,并训练其执行多步推理。我们的快速GCN方法是可扩展的和紧凑的,并且它在多文档问答数据集WikiHop(Welbl等人,2018年)。
2022-09-27 cs.CL stat.ML
LLM-Assisted Question-Answering on Technical Documents Using Structured Data-Aware Retrieval Augmented Generation
Department of Electrical & Electronic Engineering, Bangladesh University of Engineering & Technology(电子与电气工程系,孟加拉国工程与技术大学)
针对传统RAG难以处理技术文档中表格和图像等结构化数据的问题,提出结合向量相似性搜索与基于Gemma-2-9b-it的RAFT微调重排序器的RAG流程,在忠实度和答案相关性上表现优异。
2025-06-29 cs.CL
Towards Reliable and Interpretable Document Question Answering via VLMs
Università degli Studi di Firenze(佛罗伦萨大学)
针对 VLMs 文档问答中答案空间局部化困难的问题,提出即插即用的 DocExplainerV0 模块解耦答案生成与定位,并建立标准化评估基准,揭示文本准确性与空间定位间的差距。
2025-09-15 cs.CL cs.IR
A question-answering system for aircraft pilots' documentation
Airbus AI Research(空客人工智能研究院)
航空航天工业依赖于大量复杂的技术文档,包括系统描述、手册或程序。本文提出了一个问答(QA)系统,将帮助飞机飞行员访问的信息,在此文件中自然地与系统进行交互,并提出问题,在自然语言。在描述对话系统的每个模块之后,我们为QA模块提出了一种基于多任务的方法,该方法可以提高飞行机组操作手册(FCOM)数据集的性能。还提出了一种结合检索器和QA模块的分数的方法。
2020-11-26 cs.CL cs.IR
ASTRA-QA: A Benchmark for Abstract Question Answering over Documents
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Data Science Group(数据科学组)
ASTRA-QA是首个针对文档抽象问答的基准,包含869个学术论文和新闻文档问题实例,涵盖五种抽象问题类型和三种检索范围,通过显式标注评估答案覆盖关键点和避免不支持内容。
2026-05-11 cs.CL cs.IR
No Answer is Better Than Wrong Answer: A Reflection Model for Document Level Machine Reading Comprehension
Microsoft STCA NLP Group(微软STCA自然语言处理组);Microsoft Research Asia(微软亚洲研究院)
自然问题(Natural Questions,NQ)基准测试集给机器阅读理解带来了新的挑战:答案不仅在不同的粒度级别(长和短),而且类型更加丰富(包括无答案、是/否、单跨度和多跨度)。在本文中,我们针对这一挑战,系统地处理所有的答案类型。特别是,我们提出了一种称为反射网的新方法,它利用两步训练过程来识别无答案和错误答案的情况。大量的实验进行了验证,我们的方法的有效性。本文写作时(5月)。20,~2020),我们的方法在长和短答案排行榜上都取得了前1名,F1得分分别为77.2和64.1。
2020-09-29 cs.CL cs.LG
DR-RAG: Applying Dynamic Document Relevance to Retrieval-Augmented Generation for Question-Answering
Li Auto Inc.(理想汽车);Sun Yat-sen University(中山大学);Northeastern University(东北大学);Sichuan University(四川大学)
针对RAG单次检索不可靠且多次调用LLM效率低的问题,提出两阶段DR-RAG框架,利用文档与查询的动态相关性及紧凑分类器提升多跳问答检索召回与答案准确率。
2024-06-16 cs.CL cs.LG
Peek Across: Improving Multi-Document Modeling via Cross-Document Question-Answering
Bar-Ilan University(巴伊兰大学);Allen Institute for AI(艾伦人工智能研究所);Yale University(耶鲁大学)
本文提出跨文档问答预训练目标并构建 QAmden 模型,通过让模型在主题相关文档间“窥视”来回答问题并恢复原句,从而提升多文档问答、摘要等任务性能,最高提升 7%,并优于零样本 GPT-3.5 和 GPT-4。
2023-05-24 cs.AI cs.CL
Enhanced vectors for top-k document retrieval in Question Answering
现代应用程序,特别是涉及“搜索”作为其用例的信息检索网络应用程序,正逐渐向“应答”模块移动。会话式聊天机器人已被证明对用户更具吸引力,使用问答作为其核心。由于精确的回答在计算上是昂贵的,因此已经开发了几种方法来从包含答案的数据库中预取最相关的文档/段落。我们提出了一种不同的方法,可以高效、准确地检索证据文档,确保不会错过给定用户查询的相关文档。我们通过为每个文档(或本文中的段落)分配一个唯一的标识符,并使用它们来创建可以有效索引的密集向量。更准确地说,我们使用标识符来预测与段落对应的相关问题的随机采样的上下文窗口单词以及段落本身的单词。这自然地将通道标识符嵌入到向量空间中,使得嵌入更接近问题而不损害信息内容。这种方法可以在约4毫秒内高效地创建实时查询向量。
2022-10-08 cs.CL cs.IR cs.LG
Learning to Search in Long Documents Using Document Structure
Tel Aviv University(特拉维夫大学)
阅读理解模型是基于递归神经网络,顺序处理的文件令牌。随着兴趣转向回答更长文档上的更复杂问题,大部分文本的顺序阅读成为一个实质性的瓶颈。受人类如何使用文档结构的启发,我们提出了一个新的阅读理解框架。我们将文档表示为树,并对一个代理进行建模,该代理学会在文档树中交错快速导航,并提取更昂贵的答案。为了鼓励对文档树的探索,我们提出了一种基于深度Q网络(DQN)的新算法,该算法在训练时策略性地对树节点进行采样。从经验上讲,我们发现我们的算法提高了问答性能相比,DQN和一个强大的信息检索(IR)基线,并集成我们的模型与IR基线的结果在性能上进一步提高。
2018-09-10 cs.CL cs.IR