Causal Distillation: Transferring Structured Explanations from Large to Compact Language Models
Stanford University(斯坦福大学)
提出因果蒸馏框架,将大型教师模型的因果推理能力迁移至紧凑模型,并引入CEC指标评估解释的结构与逻辑一致性。
2025-05-26 cs.CL
CRaFT: An Explanation-Based Framework for Evaluating Cultural Reasoning in Multilingual Language Models
CRaFT是一个基于解释的多语言评估框架,通过文化流畅度等四个指标评估LLM跨文化推理,发现文化意识依赖语言框架而非固有。
2025-10-15 cs.CL
SEER: Facilitating Structured Reasoning and Explanation via Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局)
本文提出SEER方法,通过最大化基于结构的回报和细粒度奖励函数来捕捉推理步骤间的层次与分支关系,从而促进问答系统中的结构化推理与解释,在多个基准上显著优于现有方法。
2024-09-27 cs.CL
COPA-SSE: Semi-structured Explanations for Commonsense Reasoning
Riken AIP(理化学研究所AIP);Tohoku NLP Lab(东北大学自然语言处理实验室)
我们提出了COPA的半结构化解释(COPA-SSE),这是一个新的众包数据集,包含9,747个半结构化的英语常识解释,用于合理选择(COPA)问题。这些解释被格式化为一组类似三重的常识陈述,具有ConceptNet关系,但可以自由编写概念。这种半结构化格式在结构化数据的高质量但低覆盖率和自由形式众包的低质量但高覆盖率之间取得了平衡。每种解释还包括一组人类给出的质量评级。这些解释以其熟悉的格式面向在知识图谱上操作的常识推理者,并作为改进此类系统的持续工作的起点。该数据集可在https://github.com/a-brassard/copa-sse上获得。
2022-05-12 cs.CL
Dynamic MOdularized Reasoning for Compositional Structured Explanation Generation
Heidelberg University(海德堡大学)
提出动态模块化推理模型MORSE,通过模块化自注意力机制动态路由输入至专用头以分解推理过程,在结构化解释生成任务中显著提升了神经模型的组合泛化能力。
2023-09-14 cs.CL
Improving Neural Model Performance through Natural Language Feedback on Their Explanations
Carnegie Mellon University(卡内基梅隆大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
一类用于推理任务的可解释NLP模型通过生成自由形式或结构化解释来支持其决策,但是当这些支持结构包含错误时会发生什么?我们的目标是允许用户通过自然语言反馈交互式地纠正解释结构。我们介绍MERCURIE -一个交互式系统,它通过在自然语言中获得人类反馈来完善对给定推理任务的解释。我们的方法生成的图形,有40%的不一致性相比,现成的系统。此外,简单地将校正后的解释结构附加到输出中,可以在所有三个领域的可废止推理的准确性上获得1.2分。我们在https://tinyurl.com/mercurie上发布了一个由我们的系统生成的超过450 k图的可撤销推理数据集。
2021-04-18 cs.CL
Agree, Disagree, Explain: Decomposing Human Label Variation in NLI through the Lens of Explanations
Faculty of Computer Science, UniVie(维也纳大学计算机科学系);Doctoral School Computer Science, Faculty of Philological and Cultural Studies, University of Vienna, Austria(维也纳大学哲学与文化研究系计算机科学博士学院);MaiNLP, Center for Information and Language Processing, LMU Munich, Germany(慕尼黑大学信息与语言处理中心MaiNLP);Munich Center for Machine Learning, Germany(慕尼黑机器学习中心);FNRS, CENTAL, UCLouvain, Belgium(比利时列日大学FNRS、CENTAL)
本文通过分析解释视角,探讨自然语言推理中人类标注变异的多样性,揭示标注者在推理类别和标签上的分歧,强调推理类别一致性比标签一致性更能反映解释的语义相似性。
2026-04-20 cs.CL
Formal Proofs as Structured Explanations: Proposing Several Tasks on Explainable Natural Language Inference
Institute for Language Sciences Utrecht University(乌得勒支大学语言科学研究所)
本文提出基于语义表方法的推理框架,利用形式证明半自动生成结构化解释,并据此定义可按解释粒度排序难度的自然语言推理任务,以减少现有可解释推理任务的缺陷。
2025-02-06 cs.CL
Reasoning-Grounded Natural Language Explanations for Language Models
本文提出一种通过推理过程生成可信自然语言解释的方法,通过将推理过程转化为token序列并解码为自然语言,提升解释的准确性与答案质量。
2026-03-14 cs.CL cs.LG
Zero-Shot Classification by Logical Reasoning on Natural Language Explanations
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出 CLORE 框架,将自然语言解释解析为逻辑结构并进行显式推理,从而提升零样本分类性能,并可扩展到视觉模态且受语言偏差影响更小。
2023-05-25 cs.CL
Reasoning with Natural Language Explanations
Idiap Research Institute(伊迪亚普研究所);University of Manchester(曼彻斯特大学);National Biomarker Centre, CRUK-MI, University of Manchester(英国癌症研究中心曼彻斯特研究所国家生物标志物中心(曼彻斯特大学))
本教程围绕基于解释的自然语言推理(NLI)领域,以解释的认识论-语言学基础为依托,系统介绍相关架构趋势与评估方法,回应该领域兼具的挑战与研究机遇。
2024-10-05 cs.AI cs.CL
Explanation Generation for Contradiction Reconciliation with LLMs
University of Sheffield, UK(谢菲尔德大学)
提出矛盾调和解释生成任务,通过改造NLI数据集和设计质量指标,评估18个LLM在该任务上的表现,发现模型能力有限且增大模型规模时“思考”收益递减。
2026-10-16 cs.CL
Towards Reasoning-Aware Explainable VQA
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon Alexa AI(亚马逊Alexa AI)
联合视觉领域-语言理解,特别是在视觉问答(VQA)模型的推理背景下,在最近的过去已经获得了极大的关注。虽然大多数现有的VQA模型都专注于提高VQA的准确性,但模型得出答案的方式通常是一个黑盒。作为使VQA任务更加可解释和可解释的一步,我们的方法是建立在SOTA VQA框架上的,通过使用端到端的解释生成模块对其进行增强。在本文中,我们研究了两种网络架构,包括长短期记忆(LSTM)和Transformer解码器,作为解释生成器。我们的方法生成人类可读的文本解释,同时保持GQA-REX(77.49%)和VQA-E(71.48%)数据集上的SOTA VQA准确性。大约65.16%的解释被人类认为是有效的。大约60.5%的解释是有效的,并导致正确的答案。
2022-11-09 cs.CL
Abductive Commonsense Reasoning Exploiting Mutually Exclusive Explanations
Cornell University(康奈尔大学)
本文提出一种利用互斥解释的溯因常识推理方法,通过后验正则化强制互斥约束,无需人工标注监督即可区分流畅与合理解释,在多数据集上表现优于或可比于零样本预训练模型及知识增强方法。
2023-05-24 cs.AI cs.CL
Text-Routed Sparse Mixture-of-Experts Model with Explanation and Temporal Alignment for Multi-Modal Sentiment Analysis
本文提出基于解释和时序对齐的文本引导稀疏专家混合模型,用于提升多模态情感分析的性能。
2025-12-28 cs.CL
Prompting Contrastive Explanations for Commonsense Reasoning Tasks
University of Washington(华盛顿大学);Allen Institute of Artificial Intelligence(艾伦人工智能研究所);Facebook AI(脸书人工智能)
许多常识推理NLP任务涉及基于通常隐含的知识在问题或提示的一个或多个可能答案之间进行选择。大型预训练语言模型(PLM)可以在这些任务上实现接近人类的性能,同时提供很少的人类可解释的证据来证明它们使用的基本推理。在这项工作中,我们展示了如何使用这些相同的模型来生成这样的证据:受人类解释的对比性质的启发,我们使用PLM来完成解释提示,根据证明正确答案所需的关键属性(例如,花生通常是咸的,而葡萄干是甜的)来对比替代品。与以前的非对比替代方案相比,这些解释的条件模型决策提高了两个常识推理基准的性能。这些解释也被人类判断为与解决任务更相关,并促进了一种新的方法来评估解释的可信度。
2021-06-12 cs.AI cs.CL
Observable Patterns Are Not Explanations: A Causal-Geometric Analysis of Latent Reasoning Models
Université Grenoble Alpes, CNRS, Grenoble INP, LIG(格勒诺布尔阿尔卑斯大学,法国国家科学研究中心,格勒诺布尔国立理工学院,信息学实验室);Université Paris-Saclay(巴黎-萨克雷大学);NAVER LABS Europe(NAVER欧洲实验室)
本文通过对照实验和因果干预发现,潜在推理模型中的可观察模式(如BFS前沿)在控制组中也出现且不总是因果影响行为,提出潜在思维的使用是分级的,其因果效应集中在低秩方向,几何结构随行为影响增强而更有序。
2026-10-27 cs.CL
How Interpretable are Reasoning Explanations from Prompting Large Language Models?
School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院)
本文从忠实性、鲁棒性和实用性三个维度系统评估了多种提示技术下思维链推理的可解释性,并提出自蕴含对齐思维链方法,使可解释性提升超过70%。
2024-04-01 cs.CL
Benchmarking Temporal Reasoning and Alignment Across Chinese Dynasties
Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室)
针对现有时间推理基准缺乏上下文深度和实体范围有限的问题,提出中国时间推理基准CTM,评估大型语言模型在中国朝代年表中的跨实体关系、成对对齐及文化情境推理能力,实验揭示挑战并指明改进方向。
2025-02-24 cs.CL
e-CARE: a New Dataset for Exploring Explainable Causal Reasoning
Harbin Institute of Technology(哈尔滨工业大学)
理解因果关系对于各种自然语言处理(NLP)应用至关重要。除了标记的实例之外,因果关系的概念解释还可以提供对因果事实的深入理解,以促进因果推理过程。然而,这样的解释信息仍然是缺乏现有的因果推理资源。在本文中,我们填补了这一空白,提出了一个人类注释的可解释的因果推理数据集(e-CARE),其中包含超过21 K的因果推理问题,连同自然语言形成的解释的因果问题。实验结果表明,对于现有的因果推理模型而言,如何对因果事实进行有效的解释仍然是一个挑战,而解释信息有助于提高因果推理模型的准确性和稳定性。
2022-05-12 cs.AI cs.CL
STREET: A Multi-Task Structured Reasoning and Explanation Benchmark
AWS AI(AWS人工智能研究院);Northwestern University(西北大学)
我们介绍STREET,一个统一的多任务和多领域的自然语言推理和解释基准。与大多数现有的问答(QA)数据集不同,我们期望模型不仅回答问题,而且还产生逐步的结构化解释,描述如何使用问题中的前提来产生可以证明某个答案正确性的中间结论。我们使用流行的语言模型进行广泛的评估,例如Few-Shot提示GPT-3和微调的T5。我们发现,这些模型仍然落后于人类的表现时,产生这种结构化的推理步骤。我们相信这项工作将为社区提供一种方法,以更好地训练和测试多步推理和自然语言解释系统。
2023-02-13 cs.AI cs.CL
Graph-Guided Textual Explanation Generation Framework
ScaDS.AI, TU Dresden(ScaDS.AI,德累斯顿工业大学);University of Copenhagen(哥本哈根大学);University of Mannheim(曼海姆大学);University of Technology Nuremberg(纽伦堡工业大学)
针对自然语言解释(NLE)忠实性不足的问题,提出G-Tex图引导文本解释生成框架,通过提取高亮解释经图神经网络编码引导生成,显著提升NLE忠实性与整体质量。
2025-03-20 cs.CL
Explanations from Large Language Models Make Small Reasoners Better
University of California, Santa Barbara(加州大学圣巴巴拉分校);Tencent AI Lab(腾讯人工智能实验室);Microsoft(微软);University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
将自由文本解释与大语言模型(LLM)的上下文学习相结合,可以产生强大的推理能力和合理的解释。在本文中,我们考虑利用LLM生成的解释来提高小型推理机的训练的问题,由于其成本低,这在实际生产部署中更有利。我们系统地探讨了三种解释生成方法,从LLM和利用多任务学习框架,以促进小模型,以获得强大的推理能力与解释生成能力。在多个推理任务上的实验表明,我们的方法可以在不同的设置中持续且显著地优于微调基线,甚至比微调/提示60倍大的GPT-3(175 B)模型的准确率高出9.5%。作为一个附带的好处,人类评估进一步表明,我们的方法可以生成高质量的解释来证明其预测的合理性,朝着可解释的AI的目标迈进。
2022-10-13 cs.CL
MetaLogic: Logical Reasoning Explanations with Fine-Grained Structure
Sun Yat-sen University(中山大学);Tencent AI Lab(腾讯人工智能实验室);Tsinghua University(清华大学);Pengcheng Laboratory(鹏城实验室)
在本文中,我们提出了一个全面的基准来研究模型在复杂的现实生活场景中的逻辑推理能力。当前的解释数据集通常采用具有简单推理结构的合成数据。因此,它不能表达更复杂的推理过程,如对推理步骤的反驳和证据的确定程度。为此,我们提出了一种综合逻辑推理的解释形式。基于多跳推理链,解释形式包括三个主要部分:(1)推理节点可被质疑的反驳条件;(2)揭示推理节点内在结构的逻辑公式;(3)以确定度表示的推理强度。细粒度的结构符合真实的逻辑推理场景,更好地拟合人类的认知过程,但同时,对当前的模型更具挑战性。在这种新的解释形式下,我们评估了目前最好的模型的性能。实验结果表明,生成推理图仍然是一个具有挑战性的任务,目前的模型,即使在巨大的预训练语言模型的帮助下。
2022-10-22 cs.AI cs.CL cs.LO
MemoTime: Memory-Augmented Temporal Knowledge Graph Enhanced Large Language Model Reasoning
UNSW Data61(新南威尔士大学Data61);CSIRO(澳大利亚联邦科学与工业研究组织);UNSW Sydney Australia(新南威尔士大学悉尼分校);Data61, CSIRO(Data61,澳大利亚联邦科学与工业研究组织)
MemoTime通过带记忆的时序知识图框架提升LLM的时序推理能力,解决多跳推理、多实体同步、运算符适应和经验重用等挑战,实现先进性能。
2026-02-23 cs.CL
Temporal Reasoning on Implicit Events from Distant Supervision
Allen Institute for AI(艾伦人工智能研究所);University of Pennsylvania(宾夕法尼亚大学);Amazon(亚马逊)
我们提出了TRACIE,一个新的时间推理数据集,评估系统理解隐式事件的程度-事件没有明确提到的自然语言文本,但可以推断出it. This引入了一个新的挑战,在时间推理研究,以前的工作集中在明确提到的事件。人类读者可以通过常识推理推断出隐含的事件,从而更全面地理解情况,从而更好地推理时间。然而,我们发现,国家的最先进的模型的斗争时,预测隐式和显式事件之间的时间关系。为了解决这个问题,我们提出了一个神经符号的时间推理模型,SYMTIME,它利用远程监督信号从大规模的文本,并使用时间规则结合开始时间和持续时间推断结束时间。SYMTIME在TRACIE上的表现优于强基线系统5%,在零先验知识培训设置中优于强基线系统11%。我们的方法也推广到其他时间推理任务,证明了1%-9%的MATRES,一个明确的事件基准增益。
2021-05-07 cs.CL
Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对思维链提示中解释差异影响下游任务准确率的问题,提出一种黑盒两阶段框架:利用留一法生成候选解释,并基于对数似然和准确率等代理指标结合银标签开发集搜索最优解释组合,有效提升了文本推理任务的提示效果。
2023-10-18 cs.CL
SCRIBE: Structured Chain Reasoning for Interactive Behaviour Explanations using Tool Calling
EPFL(苏黎世联邦理工学院)
语言模型可用于在教育环境中提供交互式的、个性化的学生反馈。然而,现实世界的部署面临着三个关键挑战:隐私问题,有限的计算资源,以及需要教学有效的反应。这些限制需要小型的开源模型,这些模型可以在本地运行,并以正确的信息可靠地支持其输出。我们介绍SCRIBE,多跳,工具增强推理的框架,旨在生成有效的反应,学生的反馈报告的问题。SCRIBE将特定于领域的工具与支持迭代推理、工具使用和错误恢复的自反射推理管道相结合。我们通过两阶段LoRA对合成GPT-4 o生成的数据进行微调,将这些功能扩展到3B和8B模型中。与人类对齐的GPT-Judge评估和108名学生的用户研究表明,8B-SCRIBE模型在相关性和可操作性等关键维度上达到了与更大模型相当或更高的质量,同时被学生认为与GPT-4 o和Llama-3.3 70 B相当。这些发现证明了SCRIBE在低资源、隐私敏感的教育应用中的可行性。
2025-10-30 cs.CL
MFTCXplain: A Multilingual Benchmark Dataset for Evaluating the Moral Reasoning of LLMs through Multi-hop Hate Speech Explanation
University of Southern California(南加州大学);São Paulo State University(圣保罗州立大学);Saarland University(萨尔兰大学);University of Melbourne(墨尔本大学);Howard University(霍华德大学);Portland State University(波特兰州立大学);Leiden University(莱顿大学)
本文提出多语言基准数据集MFTCXplain,基于道德基础理论通过多跳仇恨言论解释评估LLMs的道德推理,发现模型在仇恨言论检测上表现良好但道德情感预测能力弱,且在代表性不足的语言中理由一致性有限。
2025-10-12 cs.CL
Unlocking Temporal Question Answering for Large Language Models with Tailor-Made Reasoning Logic
DAMO Academy, Alibaba Group(达摩院(阿里巴巴集团));Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);Salesforce AI;Hupan Lab(湖畔实验室)
针对大型语言模型在时间问答中推理不足的问题,提出TempLogic框架,通过检索引导上下文蒸馏、时间数据提取和定制逻辑推理,有效提升复杂时间约束推理性能。
2024-11-04 cs.CL
ECONET: Effective Continual Pretraining of Language Models for Event Temporal Reasoning
University of Southern California(南加利福尼亚大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
虽然预训练的语言模型(PTLM)在许多NLP任务上取得了显著的成功,但它们仍然难以处理需要事件时间推理的任务,这对于以事件为中心的应用程序至关重要。我们提出了一个持续的预训练方法,装备PTLM有针对性的知识事件的时间关系。我们设计了自监督学习目标来恢复屏蔽的事件和时间指标,并将句子与其损坏的对应物(事件或时间指标被替换)区分开来。通过进一步的预训练PTLM与这些目标联合,我们加强了它的注意事件和时间信息,产生增强的能力,事件的时间推理。这种有效的事件时间推理(ECONET)的连续预训练框架提高了PTLM在五个关系抽取和问答任务中的微调性能,并在我们的大多数下游任务中实现了新的或同等水平的最先进的性能。
2021-09-16 cs.CL
BaziQA-Benchmark: Evaluating Symbolic and Temporally Compositional Reasoning in Large Language Models
Shanghai Jiao Tong University(上海交通大学)
BaziQA-Benchmark通过结构化推理协议评估大语言模型在符号性和时间组合推理中的表现,揭示其在时间难度和推理顺序上的敏感性及系统性缺陷。
2026-02-13 cs.CL
Do Chess Explanations Reflect Model Decisions? Behavioral and Token-Level Tests of LLM Reasoning Faithfulness
Lucerne University of Applied Sciences and Arts(卢塞恩应用科学与艺术大学);Technical University of Munich(慕尼黑工业大学)
本研究通过行为与词元级测试,证明LLM在国际象棋中的流畅解释虽能影响动作偏好,但仅提供有限的推理忠实度证据,语言合理性与决策正确性相互独立。
2026-09-22 cs.AI cs.CL
METGEN: A Module-Based Entailment Tree Generation Framework for Answer Explanation
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tencent AI Lab(腾讯人工智能实验室)
了解从知识到预测答案的推理链有助于构建可解释的问答系统。QA解释的新进展提出用由多个蕴涵步骤组成的蕴涵树来解释问题的答案。虽然目前的工作提出用端到端生成模型生成蕴涵树,但生成的树中的步骤不受约束,可能不可靠。在本文中,我们提出了METGEN,基于模块的蕴涵树生成框架,具有多个模块和推理控制器。给定一个问题和多个支持知识,METGEN通过单独的模块进行单步蕴涵,利用控制器选择推理流程,迭代生成蕴涵树。由于每个模块都被引导执行特定类型的蕴涵推理,因此METGEN生成的步骤更加可靠和有效。在标准基准上的实验结果表明,METGEN可以优于以前的国家的最先进的模型,只有9%的参数。
2022-05-05 cs.CL
Living in the Moment: Can Large Language Models Grasp Co-Temporal Reasoning?
Institute of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Shanghai AI Laboratory(上海人工智能实验室);Huazhong University of Science and Technology(华中科技大学);Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学)
本文提出共时问答基准 CoTempQA,包含四种共时场景和4,748个样本,发现现有LLMs与人类水平存在显著差距,并提出从数学角度提升共时推理能力的策略。
2024-06-13 cs.CL
Critical or Compliant? The Double-Edged Sword of Reasoning in Chain-of-Thought Explanations
Seoul National University(首尔国立大学);Language Technologies Institute, Carnegie Mellon University(语言技术研究所,卡内基梅隆大学);Human-Computer Interaction Institute, Carnegie Mellon University(人机交互研究所,卡内基梅隆大学)
本研究通过扰动推理链、操控表述语气,探究多模态道德场景下CoT解释的双刃剑效应,发现用户易因结果认同、自信语气忽视VLM推理错误,呼吁设计引导批判性思考的解释机制。
2026-09-29 cs.CL cs.HC
Towards Robust Temporal Reasoning of Large Language Models via a Multi-Hop QA Dataset and Pseudo-Instruction Tuning
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);National University of Singapore(新加坡国立大学)
针对现有时序问答研究未关注多答案多跳推理的问题,本文构建了复杂时序推理数据集Complex-TR并提出新型数据增强策略,显著提升了大语言模型的时序推理性能与鲁棒性。
2024-07-12 cs.CL
CLEVR-X: A Visual Reasoning Dataset for Natural Language Explanations
University of Tübingen(蒂宾根大学);MPI for Informatics(马克斯·普朗克信息学研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
在视觉问答(VQA)的背景下提供解释是机器学习中的一个基本问题。为了详细了解为VQA生成自然语言解释的过程,我们引入了大规模CLEVR-X数据集,该数据集扩展了CLEVR数据集,并提供了自然语言解释。对于CLEVR数据集中的每个图像-问题对,CLEVR-X包含多个结构化的文本解释,这些解释来自原始场景图。通过构造,CLEVR-X解释是正确的,并描述了回答给定问题所需的推理和视觉信息。我们进行了一项用户研究,以确认我们提出的数据集中的地面实况解释确实是完整和相关的。我们目前的基准结果生成自然语言解释的背景下,VQA使用两个国家的最先进的框架上的CLEVR-X数据集。此外,我们提供了一个详细的分析不同的问题和答案类型的解释生成质量。此外,我们研究了使用不同数量的地面实况解释对自然语言生成(NLG)度量收敛的影响。CLEVR-X数据集可在\url{https://explainableml.github.io/CLEVR-X/}上公开获取。
2022-04-05 cs.CL cs.CV
Understanding the Uncertainty of LLM Explanations: A Perspective Based on Reasoning Topology
Arizona State University(亚利桑那州立大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校);Purdue University(普渡大学)
本文提出一种基于推理拓扑的新框架,通过将LLM解释构建为图拓扑结构并分解为子问题与推理路径,实现语义与推理路径层面的不确定性量化,为评估模型可靠性与增强鲁棒性提供可解释见解。
2025-09-15 cs.AI cs.CL cs.SC
Test of Time: A Benchmark for Evaluating LLMs on Temporal Reasoning
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind);Google(谷歌公司)
本文提出合成基准Test of Time,通过多样化问题类型系统评估LLM的时间推理能力,揭示其优势与不足,并开源数据集与评估框架。
2024-06-13 cs.CL
ExplanationLP: Abductive Reasoning for Explainable Science Question Answering
University of Manchester(曼彻斯特大学);Department of Computer Science(计算机科学系)
我们提出了一种新的方法来回答和解释多项选择科学问题的推理接地和抽象推理链。本文将问答问题归结为一个溯因推理问题,为每个选择构建合理的解释,然后选择具有最佳解释的候选者作为最终答案。我们的系统,elementation LP,elementary解释,通过构建一个加权图的相关事实为每个候选答案,并提取满足一定的结构和语义约束的事实。为了提取解释,我们采用了线性规划形式主义,旨在选择最佳的子图。图的加权函数由一组参数组成,我们可以微调这些参数以优化答案选择性能。我们在WorldTree和ARC-Challenge语料库上进行实验,以实证证明以下结论:(1)接地抽象推理链提供语义控制,以执行可解释的溯因推理(2)通过在类似设置中优于当代可解释和基于变换器的方法,以较少数量的参数进行学习的效率和鲁棒性(3)通过在一般科学问题集上优于SOTA可解释方法来实现普遍性。
2020-10-25 cs.AI cs.CL cs.IR
Do explanations generalize across large reasoning models?
Northeastern University(东北大学);Microsoft Research(微软研究院)
研究探讨了大型推理模型生成的解释是否能泛化,发现CoT解释能提高模型间一致性,并提出基于句子的融合策略提升一致性。
2026-01-16 cs.AI cs.CL
ExplaGraphs: An Explanation Graph Generation Task for Structured Commonsense Reasoning
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
最近的常识推理任务在本质上通常是有区别的,其中模型回答特定上下文的多项选择题。区分性任务是有限的,因为它们无法充分评估模型的推理能力,并用基本常识知识解释预测。它们还允许这样的模型使用推理捷径,而不是“出于正确的原因而正确”。在这项工作中,我们提出了ExplaGraphs,一个新的生成和结构化的常识推理任务(和相关的数据集)的解释图生成的立场预测。具体来说,给定一个信念和一个论点,模型必须预测论点是支持还是反对信念,并生成一个常识增强图,作为预测立场的非平凡,完整和明确的解释。我们通过一个新的验证和细化图形收集框架,提高图形质量(高达90%),通过多轮的验证和细化收集解释图。我们的图中有79%包含具有不同结构和推理深度的外部常识节点。接下来,我们提出了一个多层次的评估框架,包括自动度量和人工评估,检查生成的图的结构和语义的正确性及其与地面实况图的匹配程度。最后,我们提出了几个结构化的,常识增强的,文本生成模型作为强有力的起点,这个解释图生成任务,并观察到,有一个很大的差距与人类的表现,从而鼓励未来的工作,这一新的挑战性任务。ExplaGraphs将在https://explagraphs.github.io上公开提供。
2021-10-18 cs.AI cs.CL
TRUE: A Trustworthy Unified Explanation Framework for Large Language Model Reasoning
Dalian University of Technology(大连理工大学)
提出TRUE框架,通过可执行推理验证、可行域DAG建模和因果故障模式分析,为LLM推理提供实例级、局部结构级和类别级的多层次可验证解释。
2026-06-05 cs.AI cs.CL cs.LG
TT-XAI: Trustworthy Clinical Text Explanations via Keyword Distillation and LLM Reasoning
Faculty of Computer and Information Science, University of Ljubljana, Slovenia(卢布尔雅那大学计算机与信息科学学院);ICAM - Advanced Environmental Research Institute, West University of Timisoara, Romania(蒂米șoara西大学先进环境研究所);Department of Computer Science, West University of Timisoara, Romania(蒂米șoa拉西大学计算机科学系)
本文提出TT-XAI框架,通过领域感知的关键词蒸馏和LLM推理,显著提升了临床语言模型在电子健康记录上的分类性能与解释保真度,为临床决策支持提供了可信且可扩展的AI路径。
2025-07-30 cs.CL cs.LG
Learning to Explain: Datasets and Models for Identifying Valid Reasoning Chains in Multihop Question-Answering
School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院);Allen Institute for AI(艾伦人工智能研究所)
尽管在多跳问答(QA)方面取得了快速进展,但模型仍然难以解释为什么答案是正确的,可供学习的解释训练数据有限。为了解决这个问题,我们引入了三个解释数据集,其中从语料库事实形成的解释被注释。我们的第一个数据集eQASC包含多跳问答数据集QASC的超过98K的解释注释,并且是第一个为每个答案注释多个候选解释的数据集。第二个数据集eQASC扰动是通过QASC中的解释子集的众包扰动(同时保持其有效性)来构建的,以测试解释预测模型的一致性和泛化。第三个数据集eOBQA是通过向OBQA数据集添加解释注释来构建的,以测试在eQASC上训练的模型的泛化。我们表明,使用基于BERT的分类器,这些数据可用于显着提高解释质量(在强检索基线上增加14%的绝对F1),但仍然落后于上限,为未来的研究提供了新的挑战。我们还探索了一种去词汇化的链表示,其中重复的名词短语被变量替换,从而将它们转化为广义推理链(例如:“X是Y”和“Y有Z”暗示“X有Z”)。我们发现,广义链保持性能,同时也更强大的某些扰动。
2020-10-07 cs.AI cs.CL
Reasoning before Responding: Integrating Commonsense-based Causality Explanation for Empathetic Response Generation
Kyoto University(京都大学)
提出基于常识的因果解释方法,兼顾用户与系统双视角,结合上下文学习增强ChatGPT推理,并整合至T5模型,在自动与人工评估中优于现有方法。
2023-09-05 cs.AI cs.CL
CIDER: Commonsense Inference for Dialogue Explanation and Reasoning
University of Michigan(密歇根大学);Singapore University of Technology and Design(新加坡科技设计大学)
理解和解释人类语言的常识推理是自然语言处理的一个基本研究问题。解释人类对话是一个巨大的挑战,因为它需要上下文理解,规划,推理和推理的几个方面,包括因果,时间和常识推理。在这项工作中,我们介绍了CIDER -一个手动策划的数据集,包含二元对话解释的形式,使用上下文常识推断推断的隐式和显式知识三元组。从对话中提取如此丰富的解释有助于改进几个下游应用程序。注释的三元组通过存在的常识知识的类型(例如,因果的、条件的、时间的)。我们设置了三个不同的任务条件的注释数据集:对话级自然语言推理,跨度提取,多选择跨度选择。基于变压器的模型获得的基线结果表明,任务是困难的,为有前途的未来研究铺平了道路。数据集和基线实现可在https://cider-task.github.io/cider/上公开获得。
2021-06-30 cs.AI cs.CL cs.LG
HateXScore: A Metric Suite for Evaluating Reasoning Quality in Hate Speech Explanations
Singapore University of Technology and Design(新加坡科技设计大学)
HateXScore通过四个维度评估仇恨言论解释的推理质量,揭示可解释性问题,提升审核透明度
2026-01-20 cs.AI cs.CL
Generation of Explanations for Logic Reasoning
St Edmund’s College(圣埃德蒙学院)
本论文研究使用GPT-3.5-turbo自动化分析演绎推理中的a fortiori论证,通过详细推理、解释与论证增强等任务,发现其虽在分类上具挑战但表现媲美专用模型,且能通过整合外部信息提升解释质量并丰富数据集。
2023-11-22 cs.AI cs.CL
Evaluating Consistency and Reasoning Capabilities of Large Language Models
School of Computing Science;Engineering Galgotias University Greater Noida, India
本文评估并比较了公开与专有大型语言模型在Boolq数据集上的一致性和推理能力,发现专有模型表现更优,但无一模型在两项指标上达到90%,揭示了一致性与推理的直接相关性及现有模型的推理挑战。
2024-04-25 cs.AI cs.CL
Disparities in LLM Reasoning Accuracy and Explanations: A Case Study on African American English
University of Virginia(弗吉尼亚大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Carnegie Mellon University(卡内基梅隆大学)
本文系统调查了LLM在推理任务中的方言差异,通过实验框架比较发现,LLM在处理非裔美国英语(AAE)输入时,相比标准美国英语(SAE)会产生准确性更低、推理链更简单的回答,揭示了模型在多方言环境部署中的系统性偏见问题。
2025-03-06 cs.AI cs.CL
SalKG: Learning From Knowledge Graph Explanations for Commonsense Reasoning
University of Southern California(南加州大学);IIT Delhi(印度理工学院德里分校)
用知识图谱(KG)增强预训练的语言模型在各种常识推理任务上取得了成功。然而,对于给定的任务实例,KG或KG的某些部分可能不是有用的。虽然KG增强模型经常使用注意力来关注特定的KG组件,但KG仍然总是被使用,并且注意力机制从未被明确教导应该使用哪些KG组件。同时,显著性方法可以测量KG特征(例如,图形、节点、路径)影响模型做出正确的预测,从而解释哪些KG特征有用。本文探讨了如何显着性解释可以用来提高KG增强模型的性能。首先,我们建议创建粗糙(KG有用吗?)和精细(KG中的哪些节点/路径有用?)显着性解释。其次,为了激励基于显着性的监督,我们分析了直接使用显着性解释作为额外输入来引导他们的注意力的甲骨文KG增强模型。第三,我们提出了SalKG,KG增强模型的框架,从粗糙和/或精细的显着性解释中学习。给定从任务训练集创建的显着性解释,SalKG联合训练模型来预测解释,然后通过关注预测解释突出的KG特征来解决任务。在三个常识性的QA基准测试(CSQA,OBQA,CODAH)和一系列KG增强模型上,我们表明SalKG可以产生相当大的性能增益-CSQA的绝对改善高达2.76%。
2022-03-20 cs.AI cs.CL cs.LG
Back to the Future: Towards Explainable Temporal Reasoning with Large Language Models
The University of Manchester(曼彻斯特大学);Wuhan University(武汉大学)
本文提出首个可解释时序推理任务,构建含2.6万样本的多源指令微调数据集ExpTime,基于LlaMA2推出开源模型系列TimeLlaMA,在时序预测与解释任务上取得SOTA性能。
2023-10-08 cs.AI cs.CL