Narrative Question Answering with Cutting-Edge Open-Domain QA Techniques: A Comprehensive Study
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM(国际商业机器公司)
开放域问答(ODQA)的最新进展,即,从像维基百科这样的大型开放领域语料库中寻找答案,已经在许多数据集上实现了人类水平的性能。然而,尽管与ODQA的任务制定类似,但图书故事QA(图书QA)的进展落后。本文对图书问答的难度进行了全面的定量分析:(1)在NarrativeQA数据集上进行了大量的实验,并采用了最先进的ODQA技术。这量化了Book QA提出的挑战,并通过Rouge-L的$\sim$ 7\%的绝对改进推进了已发表的最新技术水平。(2)我们通过人类研究进一步分析了Book QA中的详细挑战。\footnote{\url{https://github.com/gorov/BookQA}.}我们的研究结果表明,以事件为中心的问题占主导地位,这说明了现有的QA模型无法处理面向事件的场景。
2021-06-07 cs.AI cs.CL
ManGo: Manga Active Narrative Grounding Optimization
Communication University of China(中国传媒大学);Australian Institute for Machine Learning, Adelaide University(阿德莱德大学澳大利亚机器学习研究所);University of New South Wales(新南威尔士大学);University of Auckland(奥克兰大学);Huazhong University of Science and Technology(华中科技大学)
本研究针对漫画视觉问答的分镜叙事结构问题,提出无监督框架ManGo,通过主动叙事草图结合双奖励的组相对策略训练,在标准基准上取得最优性能。
2026-09-01 cs.CL
N2N-GQA: Noise-to-Narrative for Graph-Based Table-Text Question Answering Using LLMs
comcast India Engineering Center (CIEC)(comcast印度工程中心)
N2N-GQA通过构建动态证据图提升基于图的表格-文本问答性能,实现零样本多跳问答的高准确率。
2026-01-10 cs.CL
Dense Paraphrasing for Textual Enrichment
Brandeis University(布兰迪斯大学)
从文本中理解推理和回答问题需要的不仅仅是恢复与查询词相关联的表面参数、参数或字符串。作为人类,我们通过填补缺失的信息和推理事件的后果,将句子解释为叙述或话语的语境化成分。在本文中,我们定义的过程中重写的文本表达(词素或短语),使其减少歧义,同时也明确的底层语义,是不(不一定)表示在经济的句子结构密集释义(DP)。我们构建了第一个完整的DP数据集,提供了注释任务的范围和设计,并展示了DP过程如何丰富源文本以提高推理和QA任务性能的结果。数据和源代码将公开。
2022-10-20 cs.AI cs.CL
A Self Consistency Based Reranking for Narrative Question Answering
提出自一致性重排序框架,通过生成多个候选答案并基于语义一致性选择最终答案,提升叙事问答的鲁棒性和准确性。
2026-06-16 cs.AI cs.CL
TRACE: An Experiential Framework for Coherent Multi-hop Knowledge Graph Question Answering
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Hebei University of Technology(河北工业大学);City University of Hong Kong(香港城市大学)
TRACE框架通过整合语言模型驱动的上下文推理与探索先验,提升多跳知识图谱问答的连贯性和鲁棒性,实验表明其优于现有方法。
2026-04-13 cs.CL
ClueWeaver: Reward-Guided Dual-Agent Evidence Reasoning for Compact LLMs on Literary Long Narratives
Institute of Information Engineering, CAS(中国科学院信息工程研究所);University of Aberdeen(阿伯丁大学);The University of Western Australia(西澳大学);Brown University(布朗大学)
ClueWeaver是用于紧凑型本地模型的双智能体证据推理框架,可提升本地语言模型在长篇叙事问答与声明验证任务中的性能,提供可检查的证据推理轨迹。
2026-08-28 cs.CL
Customized Image Narrative Generation via Interactive Visual Question Generation and Answering
The University of Tokyo(东京大学);RIKEN(理化学研究所)
图像描述任务一直是以静态的方式进行研究的,定性的假设被认为是普遍适用的,无论描述的范围或目标如何。然而,在实践中,不同的观众可能会注意到图像的不同方面,并在不同的语境下产生不同的描述或解释。这种视角的多样性很难用传统的图像描述技术得到。在本文中,我们提出了一个定制的图像叙事生成任务,其中用户交互式地参与生成过程中提供的问题的答案。我们进一步尝试通过重复这样的交互阶段来学习用户的兴趣,并自动反映新图像的描述中的兴趣。实验结果表明,我们的模型可以生成各种描述从单一的图像,涵盖了更广泛的主题比传统的模型,同时可定制的目标用户的互动。
2018-04-27 cs.AI cs.CL cs.CV
DuoRC: Towards Complex Language Understanding with Paraphrased Reading Comprehension
IBM Research(IBM研究院);IIT Madras(印度理工学院马德拉斯分校)
我们提出了DuoRC,一个新的数据集阅读理解(RC),激发了几个新的挑战,神经方法在语言理解超越现有的RC数据集提供。DuoRC包含186,089个独特的问题-答案对,这些问题-答案对是从7680对电影情节中创建的,其中每一对都反映了同一部电影的两个版本-一个来自维基百科,另一个来自IMDb -由两个不同的作者撰写。我们要求众包工作人员从一个版本的情节中创建问题,另一组工作人员从另一个版本中提取或合成答案。DuoRC的这一独特特征是,问题和答案是从叙述同一基础故事的文档的不同版本创建的,通过设计确保了从一个版本创建的问题与包含另一版本中答案的片段之间的词汇重叠很少。此外,由于两个版本在情节细节、叙事风格、词汇等方面都有不同的层次,回答来自第二版本的问题需要更深的语言理解并结合外部背景知识。此外,从电影情节中产生的段落的叙述风格(与现有数据集中的典型描述性段落相反)表现出对跨多个句子的事件执行复杂推理的需要。事实上,我们观察到最先进的神经RC模型在SQuAD数据集上实现了接近人类的性能,即使与传统的NLP技术相结合来解决DuoRC中提出的挑战,也表现出非常差的性能(DuoRC上的F1得分为37.42%,SQuAD数据集上的F1得分为86%)。这开辟了几个有趣的研究途径,其中DuoRC可以补充其他RC数据集,以探索研究语言理解的新神经方法。
2018-10-10 cs.CL
C-QUERI: Congressional Questions, Exchanges, and Responses in Institutions Dataset
School of Computing, Binghamton University(宾夕法尼亚大学布林莫尔分校计算机学院);Department of Political Science, Binghamton University(宾夕法尼亚大学布林莫尔分校政治学系)
提出从听证会记录中提取问答对的流程,构建108-117届国会委员会听证数据集,分析显示提问者党派可从问题本身预测,为政治话语研究提供框架。
2026-06-12 cs.CL cs.CY
Conversational Answer Generation and Factuality for Reading Comprehension Question-Answering
问答(QA)是语音助理的重要用例。一种流行的问答方法是提取阅读理解(RC),它在文本段落中找到答案跨度。然而,提取的答案在会话上下文中通常是不自然的,这导致次优的用户体验。在这项工作中,我们调查问答会话的答案生成。我们提出了一个端到端的生成RC模型,它将多个段落的答案生成与段落排名和可回答性相结合。此外,在应用生成RC的一个障碍是幻觉的答案是事实上与文本不一致。我们利用最近的工作总结,以评估真实性。实验结果表明,与MS MARCO 2.1 NLGEN和NarrativeQA之前发表的最佳结果相比,EscherBART显着提高了2.5 ROUGE-L和9.4 ROUGE-L。
2021-03-11 cs.CL
NovelQA: Benchmarking Question Answering on Documents Exceeding 200K Tokens
Westlake University(西湖大学);University of Waterloo(多伦多大学);Hangzhou Normal University(杭州师范大学);Shanghai AI Lab(上海人工智能实验室);SJTU(上海交通大学);NYU Shanghai(纽约大学上海分校)
针对现有长上下文基准的不足,提出基于英文小说的NovelQA基准,通过手动标注和多样问题类型评估LLMs,发现其在多跳推理、细节处理和超长输入上存在明显短板。
2025-04-23 cs.CL
CHIRON: Rich Character Representations in Long-Form Narratives
School of Informatics(信息学院);University of Edinburgh(爱丁堡大学)
针对现有叙事系统对角色理解不足的问题,本研究提出基于角色设定表的CHIRON表征框架,经生成与验证两步构建角色表征,在掩码角色预测任务上优于基线,其衍生指标可有效推断故事角色中心性且匹配人类判断。
2024-12-07 cs.CL
TutorialVQA: Question Answering Dataset for Tutorial Videos
University of Florida(佛罗里达大学);Adobe Research(奥多比研究院)
尽管当前关于视频问答的可用数据集的数量很多,但仍然需要涉及多步骤和非事实答案的数据集。此外,依赖视频记录仍然是一个未充分探讨的话题。为了充分解决这个问题,我们提出了一个新的问答任务的教学视频,因为他们的冗长和叙事的性质。虽然以前的视频问答的研究都集中在生成一个简短的文本作为答案,给定的问题和视频剪辑,我们的任务的目的是确定一个跨度的视频片段作为一个答案,其中包含各种粒度的教学细节。这项工作的重点是有关图像编辑程序的截屏教程视频。我们引入了一个数据集TutorialVQA,由大约6,000个手动收集的三元组(视频,问题,答案跨度)组成。我们还提供了实验结果与几个基线算法使用的视频成绩单。结果表明,这项任务是具有挑战性的,并呼吁调查新的算法。
2020-05-30 cs.CL
BookAsSumQA: An Evaluation Framework for Aspect-Based Book Summarization via Question Answering
The University of Electro-Communications(电子通信大学);Santa Clara University(圣克拉拉大学);DOCOMO Innovations, Inc.(doCOMO创新公司)
本文提出BookAsSumQA框架,通过从叙事知识图谱自动生成面向方面的问答对来评估书籍摘要质量,实验表明RAG方法在长文档上比LLM方法更高效实用。
2025-11-09 cs.CL
The NarrativeQA Reading Comprehension Challenge
DeepMind;University of Oxford(牛津大学)
阅读理解(RC)--与信息检索相反--需要在整个文档中整合关于事件、实体及其关系的信息和推理。问答通常用于评估RC能力,在人工代理和儿童学习阅读。然而,现有的RC数据集和任务由可以通过使用表面信息(例如,局部上下文相似性或全局术语频率);因此,它们未能测试RC的基本综合方面。为了鼓励更深入地理解语言,我们提出了一个新的数据集和一组任务,读者必须通过阅读整本书或电影剧本来回答有关故事的问题。这些任务的设计是为了成功地回答他们的问题需要理解潜在的叙述,而不是依赖于肤浅的模式匹配或显著性。我们表明,虽然人类很容易解决的任务,标准的RC模型的斗争在这里提出的任务。我们对数据集及其带来的挑战进行了分析。
2017-12-19 cs.AI cs.CL cs.NE
MTBench: A Multimodal Time Series Benchmark for Temporal Reasoning and Question Answering
Yale University, New Haven, CT, USA(耶鲁大学);McGill University, Montreal, QC, Canada(麦吉尔大学);University of Texas Rio Grande Valley, TX, USA(德克萨斯大学里奥格兰德谷分校)
MTBench是一种多模态时间序列基准,用于评估大型语言模型在金融和天气领域的时间推理和问答能力。
2026-02-11 cs.AI cs.CL
Dynamic Neuro-Symbolic Knowledge Graph Construction for Zero-shot Commonsense Question Answering
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Stanford University(斯坦福大学);University of Washington(华盛顿大学)
理解叙事需要对与文本中描述的情况的原因、影响和状态相关的内隐世界知识进行推理。在这一挑战的核心是如何访问上下文相关的知识的需求和原因在it.In本文中,我们提出了初步的研究走向zero-shot常识问答,制定了动态生成的常识知识图谱的推理任务。在以往的研究中,知识整合依赖于现有的知识从静态知识图谱检索,我们的研究需要常识的知识整合,上下文相关的知识往往不存在于现有的知识库。因此,我们提出了一种新的方法,生成上下文相关的符号知识结构的需求,使用生成神经常识知识模型。两个数据集上的实证结果表明,我们的神经符号的方法动态构建知识图谱推理的有效性。我们的方法比预训练的语言模型和普通知识模型实现了显著的性能提升,同时为其预测提供了可解释的推理路径。
2020-10-30 cs.CL
Evaluating Large Language Models for Evidence-Based Clinical Question Answering
Johns Hopkins University(约翰斯·霍普金斯大学)
本文评估了LLMs在循证临床问答中的能力,发现检索增强提示能显著提升事实准确性与来源对齐,且来源清晰度和定向检索比模型规模更关键。
2025-09-13 cs.CL
Multi-granularity hierarchical attention fusion networks for reading comprehension and question answering
Alibaba Group(阿里巴巴集团)
本文描述了一种新的层次注意网络的阅读理解风格的问答,其目的是回答一个给定的叙述段落的问题。在该方法中,注意力和融合进行水平和垂直跨层的问题和段落之间的不同粒度的水平。具体来说,它首先编码的问题和段落与细粒度的语言嵌入,以更好地捕捉各自的表示在语义层面。然后提出了一种多粒度融合方法,充分融合来自全局和关注表示的信息。最后,引入层次注意网络,通过多层次软对齐逐步关注答案广度。在大规模SQuAD和TriviaQA数据集上的实验验证了该方法的有效性。在撰写本文时(2018年1月12日),我们的模型在SQuAD排行榜上获得了单个和集成模型的第一名。我们还在TriviaQA、AddSent和AddOne-Sent数据集上实现了最先进的结果。
2018-11-29 cs.CL
Heroes, Villains, and Victims, and GPT-3: Automated Extraction of Character Roles Without Training Data
ETH Zurich(苏黎世联邦理工学院);Cornell University(康奈尔大学)
本文展示了如何在没有训练数据的情况下使用大规模预训练语言模型从叙事文本中提取人物角色。在zero-shot问答提示下,GPT-3可以识别不同领域的英雄、恶棍和受害者:报纸文章、电影情节摘要和政治演讲。
2022-05-17 cs.CL
Benchmarking Large Language Models for Conversational Question Answering in Multi-instructional Documents
University of Science and Technology of China(中国科学技术大学)
本文提出指令性文档对话式问答基准 InsCoQA 及 LLM 辅助评估器 InsEval,用于评测大型语言模型在多文档中检索、解释和总结分步指导的能力。
2024-10-01 cs.CL
DragonVerseQA: Open-Domain Long-Form Context-Aware Question-Answering
Toronto Metropolitan University(多伦多都会大学)
本文提出开放域长篇问答数据集DragonVerseQA,整合多来源多维度的《权力的游戏》等剧集上下文,通过严格预处理提供长篇答案,为会话AI和叙事分析等任务设定了新的质量基准。
2024-12-21 cs.CL cs.IR
Event-Centric Question Answering via Contrastive Learning and Invertible Event Transformation
University of Warwick(华威大学);King’s College London(伦敦国王学院);The Alan Turing Institute(艾伦·图灵研究所)
人类的阅读理解往往需要对叙事文本中的事件语义关系进行推理,以事件为中心的推理(QA)为代表。为了解决以事件为中心的问答,我们提出了一种新的问答模型与对比学习和可逆的事件转换,称为Transient。我们提出的模型利用一个可逆的转换矩阵将事件的语义向量投影到一个共同的事件嵌入空间,用对比学习训练,从而自然地将事件语义知识注入主流QA管道。使用事件感知问题向量,利用问题中发生的事件和答案中发生的事件之间的注释事件关系类型来微调转换矩阵。在事件语义关系推理(ESTER)数据集上的实验结果显示,与现有的强基线相比,生成和提取设置都有显着改进,在多答案设置下,令牌级F1得分增加了8.4%,精确匹配(EM)得分增加了3.0%。定性分析表明,Transcription生成的答案质量很高,证明了将事件知识注入QA模型学习的可行性。我们的代码和模型可以在https://github.com/LuJunru/TranCLR上找到。
2022-12-14 cs.CL
LoRE: Logit-Ranked Retriever Ensemble for Enhancing Open-Domain Question Answering
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出 LoRE 方法,通过集成多样检索器并结合 LLM 的 logit 分数与段落检索排名来缓解位置偏差,显著提升了开放域问答的准确性与相关性。
2024-10-13 cs.CL
Probabilistic Assumptions Matter: Improved Models for Distantly-Supervised Document-Level Question Answering
Microsoft Research(微软研究院);Google Research(谷歌研究院)
我们使用文档级的远程监督,将问题和相关文档与答案字符串配对,解决了抽取式问答问题。我们比较了以前使用的概率空间和遥远的超视假设(假设弱答案字符串标签和可能的答案提及跨度之间的对应关系)。我们表明这些假设相互作用,并且不同的配置提供了互补的好处。我们证明了多目标模型可以有效地结合多个假设的优势,并优于最佳的个人制定。我们的方法在TriviaQA-Wiki上的F1和NarrativeQA摘要上的Rouge-L中分别比以前的最先进模型高出4.3分和1.7分。
2020-05-05 cs.CL cs.LG
RankQA: Neural Question Answering with Answer Re-Ranking
ETH Zurich(苏黎世联邦理工学院)
用于叙事内容的神经问答(QA)中的常规范例限于两阶段过程:首先,检索相关文本段落,随后,用于机器理解的神经网络提取最可能的答案。然而,这两个阶段在现状中基本上是孤立的,因此,来自这两个阶段的信息从未被适当地融合。相比之下,这项工作提出了RankQA:RankQA扩展了神经QA中的传统两阶段过程,第三阶段执行额外的答案重新排名。重新排序利用直接从QA管道提取的不同特征,即,检索和理解功能的组合。虽然我们有意简单的设计允许有效的,数据稀疏的估计,但它仍然比更复杂的QA系统有显著的优势:事实上,RankQA在4个基准数据集中的3个上达到了最先进的性能。此外,它的性能在语料库的大小是动态的设置中特别优越。这里的答案重新排名提供了一个有效的补救措施,对潜在的噪声信息的权衡,由于一个可变的语料库大小。因此,RankQA代表了一种新颖的,强大的,因此具有挑战性的基线,为未来的研究在基于内容的QA。
2019-08-12 cs.CL
Large Language Models in Analyzing Crash Narratives -- A Comparative Study of ChatGPT, BARD and GPT-4
Iowa State University(爱荷华州立大学);South Dakota State University(南达科他州立大学)
本研究对比ChatGPT、BARD、GPT-4三款大语言模型在100份事故叙述的信息提取任务中的表现,发现简单问题相似度高、复杂问题差异大,建议采用多模型提取信息并谨慎获取关键安全数据。
2023-08-25 cs.AI cs.CL cs.IR
On Evaluating the Integration of Reasoning and Action in LLM Agents with Database Question Answering
Yale University(耶鲁大学);LinkedIn(领英);NVIDIA Corporation(英伟达公司);Allen Institute for AI(艾伦人工智能研究所)
本研究提出长格式数据库问答数据集,评估LLMs与SQL解释器的交互,发现规划与多查询生成是主要瓶颈,并引入多智能体评估框架以提升评估可靠性。
2023-11-16 cs.CL
Trace Only What You Need: Structure-Aware On-Demand Hypergraph Memory for Long-Document Question Answering
University of New South Wales(新南威尔士大学);CSIRO(澳大利亚联邦科学与工业研究组织);University of Wollongong(伍伦贡大学)
提出DocTrace,一种多智能体RAG框架,通过查询触发的知识组织、文档结构感知和经验引导推理,解决长文档问答中知识组织成本高、结构利用不足和推理经验无法复用的问题,在三个数据集上取得最佳性能。
2026-08-07 cs.CL
SDoH-Aware Narrative Anchoring Bias in Medical LLMs for Trustworthy Clinical Decision Support
George Mason University(乔治梅森大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
该研究针对医学大语言模型的叙事锚定偏差问题,以Qwen2.5系列模型为对象开展实验,发现7B模型仍存在较高叙事敏感性误差,提出需结合正确率与叙事稳定性评估临床决策支持模型。
2026-08-25 cs.AI cs.CL
MultiFinRAG: An Optimized Multimodal Retrieval-Augmented Generation (RAG) Framework for Financial Question Answering
S&P Global Ratings(标普全球评级)
MultiFinRAG通过多模态提取和分层回退策略,提升金融问答任务中跨模态推理的准确性,比ChatGPT-4o在复杂任务上高19个百分点。
2025-06-25 cs.AI cs.CE cs.CL
AttenWalker: Unsupervised Long-Document Question Answering via Attention-based Graph Walking
Huazhong University of Science and Technology(华中科技大学);Beijing Institute of Technology(北京理工大学)
针对长文档问答标注成本高、现有无监督问答难处理长距离信息的问题,提出无监督长文档问答任务与AttenWalker方法,通过三模块构建长距离依赖答案,在基准数据集及少样本场景下表现优异。
2023-05-03 cs.CL
Neural Contextual Conversation Learning with Labeled Question-Answering Pairs
RSVP Technologies Inc.(RSVP科技有限公司);University of Waterloo(滑铁卢大学)
神经会话模型倾向于在不同的上下文中产生通用或安全的响应,例如,回答\textit{"Of course"}的叙述性陈述或回答\textit{"I don't know"}的问题。在本文中,我们提出了一种端到端的方法来避免神经生成模型中的此类问题。标准的序列到序列(seq 2seq)模型中引入了额外的记忆机制,以便在生成句子时可以考虑上下文。三个seq 2seq模型,分别从隐藏输入,隐藏输入/输出和门控上下文注意结构中记忆一个固定大小的上下文向量,已经在汉语标记问答对数据集上进行了训练和测试。在困惑测试中,具有情境注意的模型优于其他模型,包括最先进的seq 2seq模型。新颖的语境模型产生了多样化和强大的反应,并能够适当地进行广泛的话题对话。
2016-07-20 cs.AI cs.CL
Collective Narrative Grounding: Community-Coordinated Data Contributions to Improve Local AI Systems
Information Science University of Wisconsin-Madison(信息科学大学威斯康星大学麦迪逊分校);Digital Media Georgia Tech(数字媒体佐治亚理工学院)
本文提出集体叙事 grounding 协议,通过社区协调的数据贡献,改进本地 AI 系统,解决社区特定查询的问答问题。
2025-12-05 cs.AI cs.CL cs.CY
GreaseLM: Graph REASoning Enhanced Language Models for Question Answering
Stanford University(斯坦福大学)
对文本叙述的复杂问题进行推理需要对所陈述的上下文和作为其基础的世界知识进行推理,然而,作为大多数现代问答系统的基础的预训练语言模型(LM)不能鲁棒地表示概念之间的潜在关系,而这是推理所必需的。虽然知识图谱(KG)经常被用来增强LM与世界知识的结构化表示,它仍然是一个悬而未决的问题,如何有效地融合和推理的KG表示和语言的背景下,提供了情景约束和细微差别。在这项工作中,我们提出了GreaseLM,一个新的模型,融合编码表示从预先训练的LM和图神经网络在多个层次的模态交互操作。来自两种模态的信息传播到另一种模态,允许语言上下文表示以结构化的世界知识为基础,并允许语言的细微差别(例如,否定,模糊)的上下文中通知知识的图形表示。我们在常识推理的三个基准上的结果(即,CommonsenseQA、OpenbookQA)和医学问答(即,MedQA-USMLE)领域证明,GreaseLM可以更可靠地回答需要在情境约束和结构化知识上进行推理的问题,甚至优于8倍大的模型。
2022-01-21 cs.CL cs.LG
NS-ST-GraphRAG: Neuro-Symbolic Spatio-Temporal GraphRAG for Literary Knowledge Processing
Dalian Ocean University(大连海洋大学)
针对长篇文学叙事的信息处理挑战,提出NS-ST-GraphRAG神经符号时空GraphRAG框架,构建首个中国古典文学多跳问答基准Red-Chamber-QA,实验显示其机械答案复现率与语义判断准确率优于基线模型。
2026-09-07 cs.CL
Beyond Isolated Facts: Synthesizing Narrative and Grounded Supervision for VideoQA
Wangxuan Institute of Computer Technology, Peking University(北京大学王轩计算机技术研究所)
提出融合 QBP 叙事重构与 QBC 视觉依据的 VideoQA 合成监督框架,在 STAR 和 NExT-QA 上显著提升准确率、泛化性与收敛效率。
2025-09-29 cs.CL cs.CV
Analyzing performance of Retrieval Augmented Generation models for Question Answering Tasks
BRAC University(BRAC大学)
本研究针对南亚多语言场景,探究RAG模型在文化与非文化问答任务中的性能差异,提取高性能因素以优化混合RAG系统,为高效准确的问答流程设计提供方向。
2026-10-16 cs.AI cs.CL
Multi-style Generative Reading Comprehension
NTT Media Intelligence Laboratory, NTT Corporation(日本电信电话株式会社媒体智能实验室);The University of Tokyo(东京大学)
本研究探讨了生成性阅读理解(RC),它包括基于文本证据的回答问题和自然语言生成(NLG)。我们提出了一种多风格的抽象摘要模型的问答,称为面具。所提出的模型有两个关键特征。首先,与大多数关于RC的研究不同,这些研究专注于从提供的段落中提取答案范围,我们的模型专注于从问题和多个段落中生成摘要。这涵盖了现实世界应用程序所需的各种回答风格。其次,由于难以获得一个通用模型,因此以前的研究为每种回答风格建立了一个特定的模型,而我们的方法在一个模型中学习多风格的答案,以提高所有类型的NLG能力。这也使我们的模型能够以目标风格给出答案。实验结果表明,该模型在MS MARCO 2.1的Q&A任务和Q&A + NLG任务以及NarrativeQA的摘要任务上都达到了最好的性能。我们观察到,转移的风格独立的NLG能力的目标风格是其成功的关键。
2019-05-27 cs.CL
A Memory Model for Question Answering from Streaming Data Supported by Rehearsal and Anticipation of Coreference Information
KU Leuven(鲁汶大学);Pontificia Universidad Católica de Chile(智利天主教大学)
受人类排练与预期机制启发,提出一种记忆模型,通过自监督掩码建模处理共指信息,在流式数据问答任务中显著优于现有记忆网络方法。
2023-05-12 cs.AI cs.CL cs.LG
ReadTwice: Reading Very Large Documents with Memories
University of Southern California(南加州大学);Google Research(谷歌研究院)
诸如问答之类的知识密集型任务通常需要从诸如书籍或文章集合之类的大量输入的不同部分吸收信息。我们提出了ReadTwice,一个简单而有效的技术,结合了几个优势,以前的方法来建模与Transformers的远程依赖关系。其主要思想是以小段的形式并行阅读文本,将每个片段汇总到一个内存表中,以便在第二次阅读文本时使用。我们表明,该方法在几个问答(QA)数据集上的表现优于大小相当的模型,并在具有挑战性的NarrativeQA任务上开创了一个新的领域,其中包括关于整本书的问题。ReadTwice的源代码和预先训练的检查点可以在https://goo.gle/research-readtwice上找到。
2021-05-11 cs.CL cs.LG
RAG-QA Arena: Evaluating Domain Robustness for Long-form Retrieval Augmented Question Answering
AWS AI Labs(亚马逊人工智能实验室);Google(谷歌);University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文针对RAG-QA跨领域评估不足的问题,构建了包含七个领域26K查询的长文本数据集LFRQA,并提出RAG-QA Arena评估平台,实验显示其与人类判断高度相关且极具挑战性。
2024-10-03 cs.AI cs.CL
Commonsense for Generative Multi-Hop Question Answering Tasks
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
阅读理解问答任务最近越来越受欢迎,但大多数作品都集中在事实发现的提取问答上。相反,我们专注于更具挑战性的多跳生成任务(NarrativeQA),该任务要求模型在上下文中推理,收集和合成不相交的信息以生成答案。这种类型的多步推理通常还需要理解隐含的关系,人类通过外部背景常识知识来解决这些关系。我们首先提出了一个强大的生成基线,使用多注意力机制执行多跳推理和指针生成器解码器合成的答案。该模型比以前的生成模型表现得更好,并且与当前最先进的跨度预测模型具有竞争力。接下来,我们将介绍一种新的系统,用于通过逐点互信息和基于词频的评分函数从ConceptNet中选择接地多跳关系常识信息。最后,我们有效地使用这个提取的常识信息,以填补上下文跳之间的推理差距,使用选择性门控注意力机制。这显著提高了模型的性能(也通过人工评估进行了验证),为任务建立了新的最先进技术。我们还展示了有希望的初步结果,我们的背景知识增强的泛化能力,通过展示QAngaroo WikiHop,另一个多跳推理数据集的一些改进。
2019-06-01 cs.AI cs.CL
Parameter-Efficient Abstractive Question Answering over Tables or Text
University of Amsterdam(阿姆斯特丹大学)
本文研究在表格和文本问答中使用参数高效适配器,仅用0.7%-1.5%的额外参数即可在多个数据集上达到或超越微调模型的性能。
2022-04-07 cs.AI cs.CL
Learning from Natural Language Feedback for Personalized Question Answering
Center for Intelligent Information Retrieval(智能信息检索中心);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出VAC框架,利用自然语言反馈替代标量奖励,提升个性化问答效果,实验表明其在LaMP-QA基准上表现优异。
2026-04-24 cs.AI cs.CL cs.IR
CAVE-Mem: Boundary-Aware Experience Validation for Memory Search
Kent State University(肯特州立大学)
CAVE-Mem提出无需训练的边界感知经验验证框架,将经验建模为带适用性条件的干预算子,仅在匹配基底、答案契约、证据边界和效用时修改答案,否则弃权(不执行),在多项长期记忆任务上超越仅相关性复用。
2026-10-02 cs.AI cs.CL
Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation
Google DeepMind(谷歌DeepMind)
本文提出一种利用LLM长上下文能力从整本书自动生成阅读理解数据的流水线,通过成对比较和Bradley-Terry模型排名的相对评估方法,验证了整本书上下文在阅读理解任务上的优越性。
2024-05-31 cs.AI cs.CL
GROUNDEDKG-RAG: Grounded Knowledge Graph Index for Long-document Question Answering
getAbstract;Lucerne University of Applied Sciences and Arts(卢塞恩应用科学与艺术大学)
本文提出 groundedkg-rag,通过从源文档中显式提取并 grounding 知识图谱,提升长文档问答的效率和事实准确性,实验表明其在成本较低的情况下性能优于现有基线。
2026-04-06 cs.AI cs.CL
EvidenceLens: A Claim-Evidence Matrix for Auditing Financial Question Answering
1 School of AI;Advanced Computing, XJTLU Entrepreneur College (Taicang), Xi’an Jiaotong-Liverpool University, Suzhou, Jiangsu, China 2 ETSI de Telecomunicaci\' o n, Universidad Polit\' e cnica de Madrid, Madrid, Spain IEEE VIS 2026 conditionally accepted version
提出EvidenceLens,一种将金融问答视为声明-证据对齐问题的可视化分析工具,通过多模态声明-证据矩阵揭示覆盖、矛盾与模态不平衡,帮助分析师区分有依据的声明与过度自信的综合。
2026-06-24 cs.CL cs.HC cs.IR
DermaBench: A Clinician-Annotated Benchmark Dataset for Dermatology Visual Question Answering and Reasoning
Imperial College London(帝国理工学院伦敦分校);Istanbul Medeniyet University(伊斯坦布尔医学大学);Usak Research and Training Hospital(Usak研究与培训医院);Istanbul Research and Training Hospital(伊斯坦布尔研究与培训医院);Ipswich Hospital(伊普斯韦奇医院);Medicana Atakoy Hospital(Medicana阿塔基医院)
DermaBench是首个由临床专家标注的皮肤科视觉问答基准数据集,通过精细标注和开放式描述提升多模态模型在皮肤科图像理解与临床推理中的评估能力。
2026-01-20 cs.AI cs.CL cs.CV
Agentic Retrieval-Augmented Generation for Financial Document Question Answering
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
本文提出FinAgent-RAG框架,通过迭代检索-推理循环和自我验证,提升金融文档问答的精度。引入对比金融检索器、程序化思维模块和自适应策略路由,实验表明在三个基准数据集上均取得显著效果,准确率提升5.62-9.32个百分点。
2026-07-07 cs.AI cs.CL
Question answering systems for health professionals at the point of care -- a systematic review
King’s College London(伦敦国王学院);Metadvice Ltd(Metadvice有限公司);Northeastern University(美国东北大学)
该综述评估79项医学问答系统研究,发现多数系统在问题真实性、答案可靠性和临床实用性上存在不足,强调未来应开发更真实数据集并关注来源可靠性。
2024-01-24 cs.AI cs.CL
The Essence of Contextual Understanding in Theory of Mind: A Study on Question Answering with Story Characters
The Chinese University of Hong Kong(香港中文大学);Pattern Recognition Center, WeChat AI, Tencent Inc(腾讯公司微信AI模式识别中心)
本文提出 CharToM 基准,利用经典小说角色构建 1,035 个心智理论问题,证明个人背景语境对 ToM 推理至关重要,并揭示当前大语言模型在该任务上仍明显落后于人类。
2025-04-09 cs.AI cs.CL