Interpretable Question Answering on Knowledge Bases and Text
iteratec GmbH(iteratec有限公司);LMU Munich(慕尼黑大学)
机器学习(ML)模型的可解释性随着其越来越多的采用而变得更加相关。在这项工作中,我们解决了基于ML的问答(QA)模型的知识库(KB)和文本文档的组合的可解释性。我们采用LIME和输入扰动(IP)等事后解释方法,并将其与模型的自解释注意力机制进行比较。为此,我们提出了一个自动评估范例的解释方法的背景下,QA。我们还与人类注释者进行了一项研究,以评估解释是否有助于他们识别更好的QA模型。我们的研究结果表明,IP提供了更好的解释比石灰或注意,根据自动和人类的评价。我们在两个实验中获得了相同的方法排名,这支持了我们的自动评估范式的有效性。
2019-06-26 cs.AI cs.CL cs.LG
Question-Answering with Grammatically-Interpretable Representations
Johns Hopkins University(约翰斯·霍普金斯大学);Citadel(城堡投资);Microsoft Research AI(微软研究院人工智能)
我们介绍了一个架构,张量积递归网络(TPRN)。在我们的TPRN应用中,通过在执行文本问答(QA)任务的深度神经网络中进行端到端优化而学习到的内部表示可以使用语言学理论的基本概念来解释。没有性能损失需要支付这种增加的可解释性:所提出的模型执行的SQuAD QA任务上的最先进的系统。被解释的内部表示是张量积表示:对于每个输入单词,模型选择一个符号来编码单词,以及放置符号的角色,并将两者绑定在一起。选择是通过软注意。整体解释是从符号的解释中构建的,如训练模型所招募的,以及模型所使用的角色的解释。我们发现支持我们最初的假设,即符号可以解释为词汇语义的词义,而角色可以解释为语法角色的近似细粒度分析揭示了学习角色和由标准标注器分配的词性之间的特定对应关系(Toutanova等人,2003年),并发现了几个有利于模型的差异。从这个意义上说,模型在仅仅接触了语言学上未注释的文本、问题和答案之后,学习了语法的重要方面:没有给模型提供先验的语言学知识。所给出的是使用符号和角色来构建表征的方法,带有一种有利于以近似离散的方式使用这些符号和角色的归纳偏见。
2017-09-25 cs.CL
A Benchmark for Generalizable and Interpretable Temporal Question Answering over Knowledge Bases
IBM Research(IBM研究院)
涉及复杂推理的知识库问答(KBQA)任务正在成为一个重要的研究方向。然而,大多数现有的KBQA数据集主要集中在显式事实上的通用多跳推理,在很大程度上忽略了其他推理类型,如时间,空间和分类推理。在本文中,我们提出了一个基准数据集的时间推理,TempQA-WD,鼓励研究扩展目前的方法,以针对一组更具挑战性的复杂推理任务。具体来说,我们的基准是一个时间问答数据集,具有以下优点:(a)它是基于维基数据,这是最经常策划,公开可用的知识库,(b)它包括中间sparql查询,以促进评估基于语义解析的KBQA方法,(c)它概括到多个知识库:Freebase和维基数据。TempQA-WD数据集可在https://github.com/IBM/tempqa-wd上获得。
2022-01-15 cs.AI cs.CL
Equivariant and Invariant Grounding for Video Question Answering
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学)
视频问答(VideoQA)是回答关于视频的自然语言问题的任务。产生答案需要理解视频中视觉场景和语言语义之间的相互作用。然而,大多数领先的VideoQA模型都是黑箱,这使得回答过程背后的视觉语言对齐变得模糊不清。这种黑盒子的性质要求视觉上的可解释性,它揭示了“模型应该看视频的哪一部分来回答这个问题?”''.只有少数作品提出的视觉解释,在事后的方式,模拟目标模型的回答过程中,通过一个额外的方法。尽管如此,仿真努力忠实地展示回答过程中的视觉语言对齐。而不是事后的可解释性,我们专注于内在的可解释性,使回答过程透明。它的核心是将关键问题线索作为因果场景来产生答案,同时将与问题无关的信息作为环境场景。以因果关系看视频问答,我们设计了一个自我解释的框架,等变和不变的接地可解释的视频问答(EIGV)。具体而言,等变的接地鼓励的答案是敏感的语义变化的因果场景和问题;相反,不变的接地强制的答案是不敏感的环境场景的变化。EIGV通过将它们施加到回答过程中,能够区分因果场景和环境信息,并显式地呈现视觉-语言对齐。在三个基准数据集上进行的大量实验证明了EIGV在准确性和视觉可解释性方面优于领先基线。
2022-07-26 cs.CL
Interpretable LLM-based Table Question Answering
Auburn University(阿伯拉姆大学);J.P. Morgan(摩根大通);NVIDIA(英伟达)
提出Plan-of-SQLs方法,将问题分解为原子步骤并转化为可执行SQL,实现表格问答的可解释性,在保证准确率的同时显著提升效率与透明度。
2025-06-28 cs.CL cs.LG
CNM: An Interpretable Complex-valued Network for Matching
University of Padua(帕多瓦大学)
本文试图通过量子物理学的数学框架来模拟人类语言。通过量子物理学中精心设计的数学公式,该框架将不同的语言单位统一在单个复值向量空间中,例如,单词作为量子态中的粒子,句子作为混合系统。一个复值网络的建立,以实现语义匹配的框架。有了约束良好的复值组件,网络允许解释明确的物理意义。所提出的复值匹配网络(CNM)在两个基准问答(QA)数据集上实现了与强CNN和RNN基线相当的性能。
2019-04-10 cs.CL
Interpretable Question Answering with Knowledge Graphs
Department of Electrical and Computer Engineering, University of Wisconsin-Madison, Madison, USA(威斯康星大学麦迪逊分校电子与计算机工程系);Department of Computer Science, Banasthali Vidyapeeth, Rajasthan, India(班纳斯塔利大学计算机科学系);Ansyst Consulting, Gurgaon, India(安西斯特咨询公司);Huawei Ireland Research Center, Dublin, Ireland(华为爱尔兰研究中心);Bradley Department of Electrical and Computer Engineering, Virginia Tech, Blacksburg, VA, USA(弗吉尼亚理工学院布拉德利电子与计算机工程系)
本研究提出一种完全基于知识图谱检索的可解释问答系统,通过小型释义模型处理检索到的实体关系边,经文档预处理生成问答对、构建知识图谱并结合嵌入与模糊技术检索重排后生成答案,在CRAG基准上取得了不错的准确率。
2025-10-22 cs.AI cs.CL cs.LG
Expanding End-to-End Question Answering on Differentiable Knowledge Graphs with Intersection
Amazon Alexa AI(亚马逊 Alexa AI)
使用可微分知识图谱的端到端问答是一种很有前途的技术,它只需要弱监督,产生可解释的结果,并且是完全可微分的。该技术的先前实现(Cohen等人,2020年)专注于使用关系跟踪操作的单实体问题。在本文中,我们提出了一个模型,显式地处理多实体的问题,通过实施一个新的交集操作,确定两组实体之间的共享元素。我们发现,在两个数据集上,引入交集可以提高基线模型的性能,即WebWebWebsSP(69.6%至73.3% Hits@1)和ComplexWebQuestions(39.8%至48.7% Hits@1),特别是在WebWebsSP上,多实体问题的性能提高了14%以上,在ComplexWebQuestions上提高了19%。
2021-09-13 cs.CL
Prediction or Comparison: Toward Interpretable Qualitative Reasoning
Beijing Institute of Technology(北京理工大学)
定性关系说明了如何改变一个属性(例如,移动速度)影响另一个(例如,动能),并构成了文本知识的相当大的一部分。当前的方法要么使用语义解析器将自然语言输入转换为逻辑表达式,要么使用“黑盒”模型一步解决它们。前者适用范围有限,后者缺乏可解释性。在这项工作中,我们将定性推理任务分为两种类型:预测和比较。特别地,我们采用端到端方式训练的神经网络模块来模拟这两个推理过程。在两个定性推理问答数据集上的实验表明了该方法的有效性和泛化能力,并且模块提供的中间输出使推理过程具有可解释性。
2021-06-04 cs.CL
A Heterogeneous Graph with Factual, Temporal and Logical Knowledge for Question Answering Over Dynamic Contexts
Sun Yat-sen University(中山大学);Microsoft Research(微软研究院)
我们在一个动态的文本环境中研究问答。虽然神经网络模型通过从输入输出示例中学习来实现令人印象深刻的准确性,但它们很少利用各种类型的知识,并且通常不可解释。在这项工作中,我们提出了一个基于图的方法,其中一个异构的图是自动构建的上下文的事实知识,过去的状态的时间知识,和逻辑知识,结合人类策划的知识库和规则库。我们在构建的图上开发了一个图神经网络,并以端到端的方式对模型进行训练。在基准数据集上的实验结果表明,注入各种类型的知识提高了强大的神经网络基线。我们的方法的另一个好处是,图形本身自然地充当决策背后的理性。
2020-04-25 cs.CL
On the Transferability of Minimal Prediction Preserving Inputs in Question Answering
Apple Inc.(苹果公司)
最近的工作(Feng et al.,2018)建立了短的,不可解释的输入片段的存在,这些片段在神经模型中产生高置信度和准确性。我们将其称为最小预测保持输入(MPPI)。在问答的背景下,我们研究了MPPI存在的竞争假设,包括神经模型的后验校准差,缺乏预训练和“数据集偏差”(其中模型学会关注训练数据中的虚假,不可推广的线索)。我们发现MPPI对随机训练种子、模型架构、预训练和训练域具有令人困惑的不变性。MPPI表现出显著的跨域可移植性,实现了比短查询更高的性能。此外,惩罚MPPI上的过度自信无法提高泛化或对抗鲁棒性。这些结果表明MPPI的可解释性不足以表征这些模型的泛化能力。我们希望这种集中的调查鼓励更系统地分析模型行为以外的人类可解释的分布的例子。
2021-03-25 cs.CL
STAIR: Semantic-Temporal Automaton for Interpretable Reasoning in Temporal Question Answering
本文提出STAIR语义-时间自动机,将语义解读与时间推理分离,规则优先设计减少自由推理,在多个时间问答数据集上优于基线,提升了F1值且可解释性更强。
2026-08-18 cs.AI cs.CL
Towards Graph-hop Retrieval and Reasoning in Complex Question Answering over Textual Database
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出多链多跳检索推理新范式 Graph-Hop,构建了提供细粒度证据图的新基准 ReasonGraphQA,并提出双向图检索(BGR)基线方法,实验表明该方向有潜力但仍存局限。
2023-05-23 cs.CL
Dynamic Neuro-Symbolic Knowledge Graph Construction for Zero-shot Commonsense Question Answering
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Stanford University(斯坦福大学);University of Washington(华盛顿大学)
理解叙事需要对与文本中描述的情况的原因、影响和状态相关的内隐世界知识进行推理。在这一挑战的核心是如何访问上下文相关的知识的需求和原因在it.In本文中,我们提出了初步的研究走向zero-shot常识问答,制定了动态生成的常识知识图谱的推理任务。在以往的研究中,知识整合依赖于现有的知识从静态知识图谱检索,我们的研究需要常识的知识整合,上下文相关的知识往往不存在于现有的知识库。因此,我们提出了一种新的方法,生成上下文相关的符号知识结构的需求,使用生成神经常识知识模型。两个数据集上的实证结果表明,我们的神经符号的方法动态构建知识图谱推理的有效性。我们的方法比预训练的语言模型和普通知识模型实现了显著的性能提升,同时为其预测提供了可解释的推理路径。
2020-10-30 cs.CL
Reasoning in Vector Space: An Exploratory Study of Question Answering
Cornell University(康奈尔大学);Microsoft Research(微软研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
问答任务在分布式向量表示方面取得了显著的进展。在本文中,我们研究了最近提出的Facebook bAbI任务,其中包括20个不同类别的问题,需要复杂的推理。因为之前关于bAbI的工作都是端到端的模型,错误可能来自对语义的不完全理解或推理的某些步骤。为了更清晰的分析,我们提出了两个向量空间模型的启发张量积表示(TPR)进行知识编码和基于常识推理的逻辑推理。它们在所有类别上都达到了近乎完美的准确性,包括位置推理和路径查找,这对于大多数以前的方法来说都是困难的。我们假设,在这些类别的困难是由于与其他类别的单关系特性相比,多关系。我们的探索揭示了设计更复杂的数据集,并朝着将TPR的透明和可解释的形式主义整合到现有的学习范式中迈出了一步。
2016-02-26 cs.CL
Modeling Multi-hop Question Answering as Single Sequence Prediction
Salesforce Research(赛富时研究院)
解码器融合(Fid)(Izacard和Grave,2020)是一种生成式问答(QA)模型,它利用预先训练的Transformer进行段落检索,并将最先进的技术推向单跳QA。然而,多跳QA的复杂性阻碍了生成式QA方法的有效性。在这项工作中,我们提出了一个简单的生成方法(PathFid),通过明确建模的推理过程来解决多跳问题的答案,扩展任务不仅仅是答案生成。通过线性化支持段落、其关键句子以及最终事实答案的分层推理路径,我们将问题视为单个序列预测任务。为了方便复杂的推理与多个线索,我们进一步扩展了统一的平面表示的多个输入文档的编码交叉通道的相互作用。我们广泛的实验表明,PathFid导致两个多跳QA数据集:HotpotQA和IIRC强大的性能增益。除了性能的提高,PathFid更具有可解释性,这反过来又会产生与基线Fid模型相比更忠实地基于支持段落和事实的答案。
2022-05-18 cs.CL
Compositional Attention Networks for Interpretability in Natural Language Question Answering
Saama AI Research(萨马人工智能研究院)
MAC网是一个为视觉问答设计的合成注意网络。我们提出了一种改进的MAC网络结构的自然语言问答。问答通常需要语言理解和多步推理。MAC网独特的体系结构-存储和控制分离,有利于数据驱动的迭代推理。这使得它成为解决涉及逻辑推理的任务的理想候选人。我们的实验与20 bAbI任务证明了MAC网的价值作为一个数据高效和可解释的架构自然语言问答。MAC网络的透明性提供了一个高度粒度的视图,网络在回答查询时所采取的推理步骤。
2018-10-30 cs.AI cs.CL cs.LG
SPARTA: Efficient Open-Domain Question Answering via Sparse Transformer Matching Retrieval
SOCO Inc(索科公司);Carnegie Mellon University(卡内基梅隆大学)
我们介绍了SPARTA,一种新的神经检索方法,表现出很大的承诺,在性能,泛化和解释性的开放域问答。与许多使用密集向量最近邻搜索的神经排名方法不同,SPARTA学习了一种稀疏表示,可以有效地实现为倒排索引。由此产生的表示使可扩展的神经检索,不需要昂贵的近似向量搜索,并导致更好的性能比其密集的对应。我们在4个开放域问答(OpenQA)任务和11个检索问答(ReQA)任务上验证了我们的方法。SPARTA实现了新的国家的最先进的结果,在各种开放领域的问答任务在英语和中文数据集,包括开放SQuAD,自然问题,CMRC等分析也证实,所提出的方法创建人类可解释的表示,并允许灵活控制性能和效率之间的权衡。
2020-09-28 cs.CL cs.LG
BlendSQL: A Scalable Dialect for Unifying Hybrid Question Answering in Relational Algebra
Fidelity Investments(富达投资)
本文提出BlendSQL,一种基于SQLite超集的统一方言,通过将多跳混合问答的完整推理路线图编码为单个可解释查询,在减少35% token用量的同时提升端到端系统在大规模数据上的性能。
2024-06-10 cs.CL
Language Models Have Interpretable Narrative Mechanisms
UNSW Sydney(新南威尔士大学悉尼分校);McGill University(麦吉尔大学)
该研究证实GPT-2-Small等模型存在与叙事性相关的组件,消融这些组件会影响文本的叙事性,为叙事相关组件对模型行为的作用提供了因果证据。
2026-10-12 cs.CL
Prompt-based Conservation Learning for Multi-hop Question Answering
University of Auckland(奥克兰大学)
多跳问答(QA)需要对多个文档进行推理,以回答复杂的问题并提供可解释的支持证据。然而,提供支持证据不足以证明模型已经执行了所需的推理以获得正确的答案。大多数现有的多跳QA方法无法回答大部分的子问题,即使他们的父问题被正确回答。在本文中,我们提出了一种基于知识的保护学习(PCL)框架,用于多跳QA,它从多跳QA任务中获取新知识,同时保存在单跳QA任务中学习到的旧知识,从而减轻遗忘。具体来说,我们首先训练现有的单跳QA任务的模型,然后冻结这个模型,并通过分配额外的子网络的多跳QA任务扩展它。此外,为了调节预训练的语言模型以刺激特定多跳问题所需的推理,我们学习了新子网络的软提示以执行特定类型的推理。在HotpotQA基准测试上的实验结果表明,PCL对于多跳QA具有竞争力,并且在相应的单跳子问题上保持了良好的性能,证明了PCL在减轻遗忘引起的知识丢失方面的有效性。
2022-09-14 cs.CL
TransferNet: An Effective and Transparent Framework for Multi-hop Question Answering over Relation Graph
Department of Computer Science and Technology, BNRist, Tsinghua University(清华大学计算机科学与技术系、BNRist);Cloud BU, Huawei Technologies(华为技术有限公司云BU);Nanyang Technological University(南洋理工大学)
多跳问答(QA)是一个具有挑战性的任务,因为它需要在每一步的答案与实体关系的精确推理。关系可以根据知识图谱中的标签来表示(例如,\textit{spouse})或文本语料库中的文本(例如,\textit{they have been married for 26 years})。现有的模型通常通过预测序列关系路径或聚集隐藏图特征来推断答案。前者很难优化,后者缺乏可解释性。在本文中,我们提出了TransferNet,一个有效的和透明的多跳QA模型,它支持在一个统一的框架中的标签和文本关系。TransferNet以多个步骤跨越实体。在每一步中,它关注问题的不同部分,计算关系的激活分数,然后以可微的方式沿着激活的关系传递先前的实体分数。我们在三个数据集上进行了广泛的实验,并证明了TransferNet在很大程度上超越了最先进的模型。特别是在MetaQA上,它在2跳和3跳问题中达到了100%的准确率。通过定性分析,我们表明,TransferNet具有透明和可解释的中间结果。
2021-10-10 cs.CL
Identifying and Answering Questions with False Assumptions: An Interpretable Approach
Department of Computer Science University of Arizona(计算机科学系亚利桑那大学)
本文研究含有错误假设的问题的识别与回答,提出利用外部证据并生成、验证原子假设的方法,在五个大语言模型上验证了其有效性和可解释性。
2025-09-22 cs.CL
Conformal Path Reasoning: Trustworthy Knowledge Graph Question Answering via Path-Level Calibration
Rutgers University(罗格斯大学);Independent Researcher(独立研究者);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);The University of Sydney(悉尼大学)
提出Conformal Path Reasoning (CPR)框架,通过查询级共形校准和残差共形价值网络(RCVNet)学习判别性路径级非一致性分数,在保证有效覆盖的同时将预测集大小平均减少52%。
2026-06-17 cs.CL
Reinforced Question Rewriting for Conversational Question Answering
Amazon.com, Inc.(亚马逊公司)
会话问答(CQA)的目的是回答对话中包含的问题,这些问题在没有上下文的情况下不容易解释。开发一个模型来将会话问题重写为自包含的问题是行业环境中的一个新兴解决方案,因为它允许使用现有的单轮QA系统,以避免从头开始训练CQA模型。以前的工作训练重写模型使用人类重写作为监督。然而,这样的目标与QA模型是脱节的,因此更人性化的重写并不能保证更好的QA性能。在本文中,我们提出使用QA反馈来监督重写模型与强化学习。实验表明,我们的方法可以有效地提高QA性能的基线提取和检索QA。此外,人工评估表明,与人工注释相比,我们的方法可以生成更准确和详细的重写。
2022-10-31 cs.CL cs.IR
KQA Pro: A Dataset with Explicit Compositional Programs for Complex Question Answering over Knowledge Base
Tsinghua University(清华大学);National University of Singapore(新加坡国立大学);ETH Zürich(苏黎世联邦理工学院);Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室);Nanyang Technological University(南洋理工大学);Cloud BU, Huawei Technologies(华为技术有限公司云业务部)
基于知识库的复杂问答(Complex KBQA)是一个具有挑战性的问题,因为它需要多种组合推理能力,如多跳推理、属性比较、集合运算等。现有的基准测试存在以下不足:1)只提供问答对,没有明确的推理过程; 2)问题的多样性和规模性较差。为此,我们介绍了KQA Pro,这是一个用于复杂KBQA的数据集,包括约12万个不同的自然语言问题。我们引入了一个组合和可解释的程序设计语言KoPL来表示复杂问题的推理过程。对于每个问题,我们提供了相应的KoPL程序和SPARQL查询,使KQA Pro服务于KBQA和语义解析任务。实验结果表明,SOTA KBQA方法不能在KQA Pro上取得有希望的结果,这表明KQA Pro具有挑战性,复杂KBQA需要进一步的研究工作。我们还将KQA Pro视为测试多种推理技能的诊断数据集,对现有模型进行全面评估,并讨论复杂KBQA的进一步方向。我们的代码和数据集可以从https://github.com/shijx12/KQAPro_Baselines获得。
2022-06-23 cs.CL
Discrete Subgraph Sampling for Interpretable Graph based Visual Question Answering
University of Stuttgart(斯图加特大学)
针对可解释视觉问答中内在解释方法稀缺的问题,研究将离散子集采样整合进图基视觉问答系统,在GQA数据集上验证其缓解性能权衡的效果,并通过人工评估证实词元共现指标与人类偏好强相关。
2024-12-11 cs.CL
Intrinsic Subgraph Generation for Interpretable Graph based Visual Question Answering
本文提出一种内在可解释的图基视觉问答方法,在GQA数据集上实现竞争性能,通过问答过程中生成解释性子图并提供自动评估指标,弥合可解释性与性能之间的差距。
2024-03-27 cs.CL
TVQA+: Spatio-Temporal Grounding for Video Question Answering
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
我们提出了时空视频问答的任务,这需要智能系统同时检索相关的时刻,并检测参考的视觉概念(人和物体),以回答有关视频的自然语言问题。我们首先使用310.8K边界框来增强TVQA数据集,将所描绘的对象与问题和答案中的视觉概念联系起来。我们将这个增强版本命名为TVQA+。然后,我们提出了基于证据的时空应答器(STAGE),这是一个统一的框架,可以在空间和时间域中提供证据来回答有关视频的问题。综合实验和分析表明,我们的框架的有效性,以及如何丰富的注释在我们的TVQA+数据集可以有助于问答任务。此外,通过执行这个联合任务,我们的模型能够产生有见地和可解释的时空注意力可视化。数据集和代码可在以下网址公开获取:http://tvqa.cs.unc.edu,https://github.com/jayleicn/TVQAplus
2020-05-11 cs.AI cs.CL cs.CV
N2N-GQA: Noise-to-Narrative for Graph-Based Table-Text Question Answering Using LLMs
comcast India Engineering Center (CIEC)(comcast印度工程中心)
N2N-GQA通过构建动态证据图提升基于图的表格-文本问答性能,实现零样本多跳问答的高准确率。
2026-01-10 cs.CL
QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering
Stanford University(斯坦福大学)
使用来自预训练的语言模型(LM)和知识图谱(KG)的知识来回答问题的问题提出了两个挑战:给定QA上下文(问题和答案选择),方法需要(i)从大型KG中识别相关知识,以及(ii)在QA上下文和KG上执行联合推理。在这项工作中,我们提出了一个新的模型,QA-GNN,它通过两个关键的创新来解决上述挑战:(i)相关性评分,我们使用LM来估计KG节点相对于给定QA上下文的重要性,以及(ii)联合推理,我们将QA上下文和KG连接起来形成一个联合图,并通过图神经网络相互更新它们的表示。我们在常识(CommonsenseQA,OpenBookQA)和生物医学(MedQA-USMLE)领域的QA基准上评估我们的模型。QA-GNN优于现有的LM和LM+KG模型,并表现出执行可解释和结构化推理的能力,例如,正确处理疑问句中的否定。
2022-12-13 cs.CL cs.LG
LongSumEval: Question-Answering Based Evaluation and Feedback-Driven Refinement for Long Document Summarization
dept. of Information Science University of North Texas Denton, Texas, USA(信息科学系 俄克拉荷马州立大学 德顿, 德克萨斯州, 美国);dept. of Data Science University of North Texas Denton, Texas, USA(数据科学系 俄克拉荷马州立大学 德顿, 德克萨斯州, 美国)
本文提出LongSumEval框架,通过结构化问题-答案反馈连接评估与生成,提供可解释评分和可操作反馈,提升长文档摘要质量,无需重新训练即可实现自我精炼。
2026-06-23 cs.CL
SciQAG: A Framework for Auto-Generated Science Question Answering Dataset with Fine-grained Evaluation
GreenDynamics Pty. Ltd(格林动力私人有限公司);City University of Hong Kong(香港城市大学);University of Chicago(芝加哥大学);University of Sydney(悉尼大学);University of New South Wales(新南威尔士大学)
本研究提出基于大语言模型的科学问答自动生成框架SciQAG,构建了含18万余条问答对的多领域数据集与SciQAG-24D基准,验证了微调后模型的性能提升,并开源相关资源。
2024-07-10 cs.AI cs.CL
Question Calibration and Multi-Hop Modeling for Temporal Question Answering
Beihang University(北京航空航天大学);Fudan University(复旦大学);Zhejiang University(浙江大学)
本文针对时序知识图谱问答中实体时序表示不足和多跳关系建模困难的问题,提出QC-MHM方法,通过问题校准与GNN多跳建模提升复杂时序问答性能,并在CronQuestions上取得显著提升。
2024-02-20 cs.CL
Adaptive Question Answering: Enhancing Language Model Proficiency for Addressing Knowledge Conflicts with Source Citations
University of Colorado Boulder(科罗拉多大学博尔德分校);Oracle(甲骨文公司)
本研究提出模糊场景下带来源引用的问答新任务,构建含5个新数据集、2个新评估指标及多类强基线的综合框架,填补了知识冲突处理与引用生成结合的研究空白,助力可信可解释问答系统研发。
2024-10-29 cs.CL
Facts as Experts: Adaptable and Interpretable Neural Memory over Symbolic Knowledge
Google Research(谷歌研究院)
大量的语言模型是现代NLP建模的核心,并且已经被证明可以编码大量的常识和事实信息。然而,这些知识只存在于模型的潜在参数中,无法进行检查和解释,更糟糕的是,随着世界的变化,从训练语料库中记忆的事实信息可能会变得陈旧。作为参数存储的知识也将不可避免地表现出源材料中固有的所有偏见。为了解决这些问题,我们开发了一个神经语言模型,其中包括一个明确的接口之间的象征性可解释的事实信息和subsymbolic神经知识。我们表明,该模型显着提高了两个知识密集型问答任务的性能。更有趣的是,模型可以通过操纵其符号表示来更新,而无需重新训练。特别是,这个模型允许我们添加新的事实,并以早期模型不可能的方式覆盖现有的事实。
2020-07-02 cs.AI cs.CL cs.LG
Connecting the Dots: A Knowledgeable Path Generator for Commonsense Question Answering
University of Southern California(南加州大学);Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);University of California, Los Angeles(加州大学洛杉矶分校)
常识问答需要背景知识,而背景知识在给定的上下文中没有明确说明。先前的工作使用常识知识图谱(KG)来获得用于推理的该知识。然而,考虑到这些幼儿园的覆盖面有限,而且其知识的背景依赖性,完全依靠这些幼儿园可能是不够的。在本文中,我们增加了一个一般常识QA框架与知识的路径生成器。通过对KG中现有路径的外推,使用最先进的语言模型,我们的生成器学习将文本中的一对实体与动态的、潜在的新颖的多跳关系路径连接起来。这样的路径可以为解决常识问题提供结构化的证据,而无需微调路径生成器。两个数据集上的实验表明,我们的方法优于以前的作品,完全依赖于知识的KG(与高达6%的精度提高),在不同数量的训练数据。进一步的评估表明,生成的路径通常是可解释的,新颖的,相关的任务。
2020-09-19 cs.AI cs.CL
JointLK: Joint Reasoning with Language Models and Knowledge Graphs for Commonsense Question Answering
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
现有的知识图增强的常识问答模型主要集中在设计复杂的图神经网络(GNN)来建模知识图谱(KG)。然而,他们忽略了(i)在问题上下文表示和KG表示上的有效融合和推理,以及(ii)在推理期间从噪声KG中自动选择相关节点。在本文中,我们提出了一种新的模型,JointLK,它解决了上述限制,通过LM和GNN的联合推理和动态KG修剪机制。具体而言,JointLK通过一种新的密集双向注意模块实现LM和GNN之间的联合推理,其中每个问题标记参与KG节点,每个KG节点参与问题标记,两种模态表示通过多步交互相互融合和更新。然后,动态修剪模块使用由联合推理产生的注意力权重递归地修剪不相关的KG节点。我们在CommonsenseQA和OpenBookQA数据集上评估了JointLK,并展示了它对现有LM和LM+KG模型的改进,以及它执行可解释推理的能力。
2022-05-02 cs.AI cs.CL
RAG-X: Systematic Diagnosis of Retrieval-Augmented Generation for Medical Question Answering
Oakland University(奥克兰大学)
RAG-X通过系统性诊断框架,评估检索和生成过程,揭示问答系统中的隐藏失败模式,提升医疗问答的准确性和可靠性。
2026-03-03 cs.AI cs.CL
NLProlog: Reasoning with Weak Unification for Question Answering in Natural Language
University College London(伦敦大学学院)
基于规则的模型对各种任务都有吸引力,因为它们本质上导致可解释和可解释的决策,并且可以很容易地结合先验知识。然而,这样的系统是难以适用于涉及自然语言的问题,由于其语言的可变性。相比之下,神经模型可以通过从数据中学习单词及其组成的分布式表示来很好地应对歧义,但会导致难以解释的模型。在本文中,我们描述了一种新的方式解决多跳推理任务的自然语言的神经网络与逻辑编程相结合的模型。具体来说,我们建议使用Prolog证明器,我们扩展到利用预训练的句子编码器的相似性函数。我们通过反向传播来微调相似性函数的表示。这导致了一个系统,可以应用基于规则的推理自然语言,并从训练数据诱导特定领域的规则。我们在两个不同的问答任务上评估了所提出的系统,表明它优于两个基线- BIDAF(Seo等人,2016 a)和FAST QA(Weissenborn等人,2017 b),并在MedHop数据集上取得了有竞争力的结果(Welbl et al.,2017年)。
2019-06-14 cs.CL cs.LO
ChartReasoner: Code-Driven Modality Bridging for Long-Chain Reasoning in Chart Question Answering
MAIS, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所MAIS研究所);Shenyang Institute of Computing Technology, Chinese Academy of Sciences(中国科学院沈阳计算技术研究所);Beijing Wenge Technology Co., Ltd.(北京文耕科技有限公司);University of Chinese Academy of Sciences(中国科学院大学)
针对现有图表问答方法易丢失视觉细节的问题,提出代码驱动的两阶段框架ChartReasoner,通过高保真图表转ECharts代码、合成推理数据训练模型,以更少参数达到开源最优水平,域外性能接近GPT-4o。
2025-06-11 cs.CL
SIRAG: Towards Stable and Interpretable RAG with A Process-Supervised Multi-Agent Framework
Heyuan Tobacco Monopoly Administration(河源市烟草专卖局);South China University of Technology(华南理工大学)
本文提出SIRAG框架,通过决策者与知识选择器两个轻量级智能体及过程级奖励监督和PPO训练,在无需修改检索器和生成器的前提下提升RAG的准确性、稳定性和可解释性。
2025-09-17 cs.CL
Uni-Parser: Unified Semantic Parser for Question Answering on Knowledge Base and Database
Salesforce Research(Salesforce研究院);Yale University(耶鲁大学)
将自然语言问题解析成可执行的逻辑形式是对诸如知识库(KB)或数据库(DB)之类的结构化数据执行问答的有用且可解释的方式。然而,现有的语义解析方法不能适应这两种模式,因为它们遭受的逻辑形式候选人的指数增长,很难推广到看不见的数据。在这项工作中,我们提出了Uni-Parser,一个统一的语义解析器的问答(QA)的知识库和数据库。我们引入原语(KB中的关系和实体,DB中的表名、列名和单元值)作为框架中的基本元素。基元的数量随着KB和DB中检索到的关系的数量而线性增长,这使我们无法处理指数逻辑形式的候选者。我们利用生成器来预测最终的逻辑形式,通过改变和组合具有不同操作(例如选择,在哪里,计数)的顶级原语。通过对比基元排序器对搜索空间进行充分的修剪,生成器能够捕获基元的组合,从而增强了其泛化能力。我们在多个KB和DB QA基准测试中更有效地获得了有竞争力的结果,特别是在组合和zero-shot设置中。
2022-11-09 cs.AI cs.CL cs.PL
ConSens: Assessing context grounding in open-book question answering
Iris.ai BG
提出ConSens指标,通过对比有无上下文时模型响应的困惑度,量化答案对上下文的依赖,高效评估开放书问答中的上下文接地。
2025-04-30 cs.CL cs.LG
Question Answering with LLMs and Learning from Answer Sets
University of Calabria(卡拉布里亚大学);The University of Chicago(芝加哥大学);Imperial College London(帝国理工学院)
本文提出混合系统LLM2LAS,利用LLM提取语义结构、ILASP自动归纳逻辑规则并结合ASP进行形式化推理,以解决基于故事的常识问答任务。
2025-09-20 cs.AI cs.CL cs.LO
Neural Modular Control for Embodied Question Answering
Facebook AI Research(Facebook人工智能研究院);Georgia Institute of Technology(佐治亚理工学院)
我们提出了一个模块化的方法,从语言输入的长期规划视野的导航学习政策。我们的分层策略在多个时间尺度上运行,其中更高级别的主策略提出由专门的子策略执行的子目标。我们对子目标的选择是组合的和语义的,也就是说,它们可以按任意顺序顺序组合,并假设人类可解释的描述(例如“出口房间”,“找到厨房”,“找到冰箱”等)。我们使用模仿学习在层次结构的每个级别上热启动策略,大大提高了样本效率,然后是强化学习。在层次结构的每个级别上的独立强化学习使子策略能够适应其动作的后果并从错误中恢复。随后的联合分层训练使主策略能够适应子策略。关于具有挑战性的EQA(Das等人,2018)House3D中的基准(Wu等人,2018),需要导航不同的现实室内环境,我们的方法在导航和问答方面都大大优于以前的工作。
2019-05-02 cs.AI cs.CL cs.CV
UNIQORN: Unified Question Answering over RDF Knowledge Graphs and Natural Language Text
Indian Institute of Technology Bhilai(印度理工学院比莱分校);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
本文提出UNIQORN方法,通过微调BERT构建上下文图并利用Group Steiner Trees算法,在统一框架中实现RDF数据与文本的复杂问答,显著优于现有方法。
2024-09-20 cs.CL cs.IR
Uncertainty-Aware Dynamic Knowledge Graphs for Reliable Question Answering
Fujitsu Research(Fujitsu 研究所);Macquarie University(麦考瑞大学)
本文提出了一种考虑不确定性的动态知识图谱框架,通过动态构建、置信度评分和交互式界面提升问答系统的可靠性和透明度。
2025-12-26 cs.AI cs.CL
HealthBranches: Synthesizing Clinically-Grounded Question Answering Datasets via Decision Pathways
University of Calabria(卡拉布里亚大学);University of Catanzaro(卡坦扎罗大学);University of Eastern Piedmont(东皮埃蒙特大学);University of Pisa(比萨大学);University of Cambridge(剑桥大学)
HealthBranches是一个新型医疗问答基准数据集,通过半自动化流水线将医学决策路径转化为包含4,063个案例的现实问答,支持多步推理评估,旨在推动高风险领域更可靠的LLMs发展。
2025-08-10 cs.AI cs.CL cs.IR
Foresight-over-Graph: Reasoning Beyond Local Horizons for Knowledge Base Question Answering
Tianjin University(天津大学);Beijing Jiaotong University(北京交通大学)
针对LLM在知识密集型问答中的幻觉问题,提出图上前瞻(FoG)框架,通过前瞻感知的迭代证据子图构建与远-近反馈引导路径探索,克服局部剪枝的短视,在KBQA基准上达到最先进性能,并在CWQ上实现16.58%的Hit提升。
2026-10-07 cs.AI cs.CL
TwiRGCN: Temporally Weighted Graph Convolution for Question Answering over Temporal Knowledge Graphs
IISc(印度科学学院);IIT Bombay(印度理工学院孟买分校);Google Research(谷歌研究院)
针对时序知识图谱复杂问答任务,提出TwiRGCN模型,通过时序相关性调制图卷积消息传递并引入门控预测答案类型,在TimeQuestions数据集上显著优于现有最优方法,尤其在高难度问题上准确率提升9-10个百分点。
2023-10-06 cs.AI cs.CL
Building Interpretable and Reliable Open Information Retriever for New Domains Overnight
University of Pennsylvania(宾夕法尼亚大学)
本文提出一种结合实体/事件链接与查询分解的信息检索流水线,以提升可解释性和可靠性,并在五个IR与QA基准上显著改善段落覆盖率和指称准确率,适用于新领域快速部署。
2023-08-09 cs.CL cs.IR
DecompEval: Evaluating Generated Texts as Unsupervised Decomposed Question Answering
Tsinghua University(清华大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出无监督指标DecompEval,通过指令式PLM问答并将文本质量问题分解为句子级子问题,以提升NLG评估的泛化性与可解释性。
2023-07-13 cs.AI cs.CL
A General Framework for Producing Interpretable Semantic Text Embeddings
National University of Singapore(新加坡国立大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
针对现有可解释语义文本嵌入方法依赖专家输入或提示设计、泛化性不足的问题,提出CQG-MBQA通用框架,通过对比式问题生成和多任务二元问答生成可解释嵌入,性能媲美先进黑盒模型且优于同类可解释方法。
2024-10-04 cs.AI cs.CL cs.LG