EXPERT: An Explainable Image Captioning Evaluation Metric with Structured Explanations
Seoul National University(首尔国立大学)
本文提出无需参考的图像描述评估指标 EXPERT,基于流畅性、相关性和描述性提供结构化解释,通过构建大规模数据集和两阶段评估模板监督视觉语言模型,在基准数据集上取得最优结果且解释质量显著提升。
2025-06-30 cs.AI cs.CL cs.CV
ExplaGraphs: An Explanation Graph Generation Task for Structured Commonsense Reasoning
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
最近的常识推理任务在本质上通常是有区别的,其中模型回答特定上下文的多项选择题。区分性任务是有限的,因为它们无法充分评估模型的推理能力,并用基本常识知识解释预测。它们还允许这样的模型使用推理捷径,而不是“出于正确的原因而正确”。在这项工作中,我们提出了ExplaGraphs,一个新的生成和结构化的常识推理任务(和相关的数据集)的解释图生成的立场预测。具体来说,给定一个信念和一个论点,模型必须预测论点是支持还是反对信念,并生成一个常识增强图,作为预测立场的非平凡,完整和明确的解释。我们通过一个新的验证和细化图形收集框架,提高图形质量(高达90%),通过多轮的验证和细化收集解释图。我们的图中有79%包含具有不同结构和推理深度的外部常识节点。接下来,我们提出了一个多层次的评估框架,包括自动度量和人工评估,检查生成的图的结构和语义的正确性及其与地面实况图的匹配程度。最后,我们提出了几个结构化的,常识增强的,文本生成模型作为强有力的起点,这个解释图生成任务,并观察到,有一个很大的差距与人类的表现,从而鼓励未来的工作,这一新的挑战性任务。ExplaGraphs将在https://explagraphs.github.io上公开提供。
2021-10-18 cs.AI cs.CL
DataWords: Getting Contrarian with Text, Structured Data and Explanations
Textician
我们的目标是使用自由文本和结构化数据的组合来构建分类模型。为此,我们用文本语句DataWords表示结构化数据,以便将类似的数据项映射到同一个语句中。这允许仅使用文本建模算法对文本和结构化数据的混合进行建模。有几个例子说明,通过首先运行提取工具(命名实体识别),然后将输出转换为DataWords,并在模型构建和分类之前将DataWords添加到原始文本中,可以提高文本分类性能。这种方法还允许我们在自由文本和结构化数据方面对推论进行解释。
2022-02-17 cs.AI cs.CL cs.LG
COPA-SSE: Semi-structured Explanations for Commonsense Reasoning
Riken AIP(理化学研究所AIP);Tohoku NLP Lab(东北大学自然语言处理实验室)
我们提出了COPA的半结构化解释(COPA-SSE),这是一个新的众包数据集,包含9,747个半结构化的英语常识解释,用于合理选择(COPA)问题。这些解释被格式化为一组类似三重的常识陈述,具有ConceptNet关系,但可以自由编写概念。这种半结构化格式在结构化数据的高质量但低覆盖率和自由形式众包的低质量但高覆盖率之间取得了平衡。每种解释还包括一组人类给出的质量评级。这些解释以其熟悉的格式面向在知识图谱上操作的常识推理者,并作为改进此类系统的持续工作的起点。该数据集可在https://github.com/a-brassard/copa-sse上获得。
2022-05-12 cs.CL
Richer Syntactic Dependencies for Structured Language Modeling
本文研究了在结构化语言模型(SLM)中使用更丰富的语法依赖。我们提出了两个简单的方法,丰富的依赖关系,用于初始化SLM的语法分析树。我们评估了这两种方法对SLM的困惑度(PPL)和字错误率(WER,N-最佳重新评分)性能的影响。我们表明,新模型实现了改善PPL和WER的基线结果报告使用SLM上的UPenn树库和华尔街日报(WSJ)语料库,分别。
2001-10-03 cs.CL
STRUX: An LLM for Decision-Making with Structured Explanations
Emory University(埃默里大学);University of Central Florida(中佛罗里达大学)
本文提出 STRUX 框架,通过将信息提炼为关键事实表并自我反思分类为有利或不利因素,微调 LLM 生成结构化解释以优化决策,在股票投资预测任务中超越基线并提升透明度。
2024-10-16 cs.AI cs.CL
DiffNator: Generating Structured Explanations of Time-Series Differences
Research and Development Group, Hitachi, Ltd.(日立株式会社研发部)
DiffNator提出一个框架,利用JSON模式和时间序列编码器结合冻结LLM,在TORI数据集上生成时间序列差异的结构化解释,显著优于VQA基线和检索方法。
2025-09-24 cs.CL
Reward Engineering for Generating Semi-structured Explanation
Monash University(莫纳什大学);VinUniversity
本文针对语言模型半结构化解释生成难题,提出强化学习奖励工程方法并研究多种奖励聚合策略,在 ExplaGraph 与 COPA-SSE 上取得最先进结果。
2024-01-24 cs.CL
Causal Distillation: Transferring Structured Explanations from Large to Compact Language Models
Stanford University(斯坦福大学)
提出因果蒸馏框架,将大型教师模型的因果推理能力迁移至紧凑模型,并引入CEC指标评估解释的结构与逻辑一致性。
2025-05-26 cs.CL
SEER: Facilitating Structured Reasoning and Explanation via Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局)
本文提出SEER方法,通过最大化基于结构的回报和细粒度奖励函数来捕捉推理步骤间的层次与分支关系,从而促进问答系统中的结构化推理与解释,在多个基准上显著优于现有方法。
2024-09-27 cs.CL
Explainability and Hate Speech: Structured Explanations Make Social Media Moderators Faster
University of Edinburgh(爱丁堡大学);Snap Inc.(Snap公司)
本文研究结构化解释对真实社交媒体内容审核员决策速度的影响,实验发现通用解释常被忽略且无提速效果,而结构化解释可使审核员决策时间降低7.4%。
2024-06-06 cs.CL
Formal Proofs as Structured Explanations: Proposing Several Tasks on Explainable Natural Language Inference
Institute for Language Sciences Utrecht University(乌得勒支大学语言科学研究所)
本文提出基于语义表方法的推理框架,利用形式证明半自动生成结构化解释,并据此定义可按解释粒度排序难度的自然语言推理任务,以减少现有可解释推理任务的缺陷。
2025-02-06 cs.CL
Dynamic MOdularized Reasoning for Compositional Structured Explanation Generation
Heidelberg University(海德堡大学)
提出动态模块化推理模型MORSE,通过模块化自注意力机制动态路由输入至专用头以分解推理过程,在结构化解释生成任务中显著提升了神经模型的组合泛化能力。
2023-09-14 cs.CL
Can Large Language Models Beat Wall Street? Unveiling the Potential of AI in Stock Selection
本文提出MarketSenseAI框架,利用GPT-4结合思维链与上下文学习分析多源数据选股,实证显示其在S&P 100上15个月内获10%-30%超额Alpha及最高72%累计回报,突显大模型在金融决策中的变革潜力。
2024-04-04 cs.AI cs.CE cs.CL
SCRIBE: Structured Chain Reasoning for Interactive Behaviour Explanations using Tool Calling
EPFL(苏黎世联邦理工学院)
语言模型可用于在教育环境中提供交互式的、个性化的学生反馈。然而,现实世界的部署面临着三个关键挑战:隐私问题,有限的计算资源,以及需要教学有效的反应。这些限制需要小型的开源模型,这些模型可以在本地运行,并以正确的信息可靠地支持其输出。我们介绍SCRIBE,多跳,工具增强推理的框架,旨在生成有效的反应,学生的反馈报告的问题。SCRIBE将特定于领域的工具与支持迭代推理、工具使用和错误恢复的自反射推理管道相结合。我们通过两阶段LoRA对合成GPT-4 o生成的数据进行微调,将这些功能扩展到3B和8B模型中。与人类对齐的GPT-Judge评估和108名学生的用户研究表明,8B-SCRIBE模型在相关性和可操作性等关键维度上达到了与更大模型相当或更高的质量,同时被学生认为与GPT-4 o和Llama-3.3 70 B相当。这些发现证明了SCRIBE在低资源、隐私敏感的教育应用中的可行性。
2025-10-30 cs.CL
WorldTree: A Corpus of Explanation Graphs for Elementary Science Questions supporting Multi-Hop Inference
University of Arizona(亚利桑那大学)
开发自动推理方法,能够为用户提供令人信服的人类可读的理由,说明为什么问题的答案是正确的,这对于科学和医学等领域至关重要,在这些领域,用户信任和检测代价高昂的错误是采用的限制因素。在可解释推理任务上训练问答模型的主要障碍之一是缺乏黄金解释作为训练数据。在本文中,我们提出了一个语料库的解释标准化科学考试,最近的挑战性任务问答。我们手动构建了几乎所有公开的标准化基础科学问题(大约1,680个三年级到五年级的问题)的详细解释的语料库,并将其表示为“解释图”-词汇重叠的句子集,描述如何通过领域和世界知识的组合来获得问题的正确答案。我们还提供了一个以解释为中心的表库,一个包含构建这些基本科学解释的知识的半结构化表的集合。这两个知识资源一起映射出回答和解释小学科学考试所需的知识的相当大的一部分,并为可解释的推理任务提供结构化和自由文本训练数据。
2018-02-08 cs.AI cs.CL cs.IR
Explaining Black-Box Language Models: Learning to Optimize Linguistically-Structured Word Subsets
Korea University(高丽大学)
针对黑盒语言模型解释的三个关键需求(推理效率、黑盒兼容性、语言结构可解释性),提出一种通过强化学习选择信息性单词子集的方法,实现高效、无梯度且语言连贯的解释。
2026-06-07 cs.AI cs.CL
Understanding the Effect of Algorithm Transparency of Model Explanations in Text-to-SQL Semantic Parsing
George Mason University(乔治梅森大学);MITRE Corporation(MITRE公司)
本文通过约100名参与者的实验,研究文本到SQL语义解析中不同算法透明度级别的模型解释对用户体验的影响,发现中等透明度解释能在用户依赖、交互表现和信任稳定性之间取得最佳平衡。
2024-11-24 cs.AI cs.CL cs.HC
Faithful and Plausible Natural Language Explanations for Image Classification: A Pipeline Approach
Poznan University of Technology(波兹南理工大学);Charles University(查理大学);Samsung AI Center Warsaw(三星人工智能中心华沙分部)
本文提出一种事后自然语言解释流水线,通过分析关键神经元与激活图生成结构化意义表示并转为文本,在不改变 CNN 分类器训练和性能的前提下提升解释的忠实性与合理性。
2025-03-18 cs.AI cs.CL
Evaluating Explanation-Driven Vision-Language Reasoning via Generation Order Interventions
German Research Center for Artificial Intelligence(德国人工智能研究中心);University of Oldenburg(奥尔登堡大学)
本研究通过控制生成顺序干预,系统评估了解释与预测的因果关联,发现模型规模是理由优先推理的关键,而答案优先更稳定,二者共同影响推理忠实度。
2026-09-25 cs.CL
Structured Prompt Optimization Meets Reinforcement Learning for Global and Local Interpretability over Complex Text
Carnegie Mellon University(卡内基梅隆大学);Amazon(亚马逊)
提出eXTC框架,通过结构化提示优化、基于SOP的推理蒸馏和强化学习扩展,在分类性能和解释质量上显著优于现有范式。
2026-06-02 cs.AI cs.CL cs.LG
TSQueryBench: LLM-as-a-Judge for Time Series Explanations
BITS Pilani(比拉理工学院皮拉尼校区);KIIT(KIIT大学);Birla AI Labs(比拉人工智能实验室)
本文研究了在无参考情况下,利用大语言模型作为生成和评估时间序列解释的工具,通过构造合成基准测试,评估模型在生成解释、相对排序、独立评分和多异常检测任务中的表现,发现评估任务比生成任务更稳定。
2026-08-19 cs.AI cs.CL
Retrieval-Augmented Chain-of-Thought in Semi-structured Domains
New York University(纽约大学)
本研究针对法律和金融领域问答中LLMs处理长上下文的局限,利用数据的半结构化特性高效检索相关上下文,构建的系统优于当代模型并提供有用解释,推动了LLMs在专业领域的应用。
2023-10-22 cs.AI cs.CL
Interpreting LLMs as Credit Risk Classifiers: Do Their Feature Explanations Align with Classical ML?
Khalifa University(卡利法大学)
本研究针对贷款违约预测任务,对比零样本大语言模型与经典LightGBM模型的预测性能、特征归因及自解释可靠性,发现LLM的特征重要性排序与传统模型差异大,自解释可信度不足,强调金融场景部署LLM需可解释性审计与人在环路监督。
2025-10-29 cs.CL
Structured, flexible, and robust: benchmarking and improving large language models towards more human-like behavior in out-of-distribution reasoning tasks
University of Cambridge(剑桥大学);MIT(麻省理工学院)
人类语言为我们的思想提供了一个强大的窗口-我们讲故事,给出解释,并通过文字表达我们的信仰和目标。大量的证据也表明,语言在构建我们的学习中起着发展性的作用。在这里,我们要问:有多少类似人类的思维可以通过学习语言中的统计模式来捕捉?我们首先贡献了一个新的挑战基准比较人类和分布式大语言模型(LLM)。我们的基准测试包含两个问题解决领域(规划和解释生成),并被设计为需要泛化到新的,用语言表达的分布问题。我们发现,在这个基准上,人类比LLM更强大。接下来,我们提出了一个混合解析和求解模型,它增加了分布式LLM与结构化的符号推理模块。我们发现,该模型显示出对分布外规划问题的更强大的适应性,证明了混合人工智能模型对更人性化推理的承诺。
2022-05-11 cs.AI cs.CL cs.LG
CHiRPE: A Step Towards Real-World Clinical NLP with Clinician-Oriented Model Explanations
Orygen and The University of Melbourne(Orygen和墨尔本大学);AIM for Health Lab, Monash University(AIM for Health实验室,墨尔本大学);University of Liverpool(利物浦大学);Yale School of Medicine, Yale University(耶鲁医学院,耶鲁大学);Brigham and Women’s Hospital, Harvard Medical School(哈佛医学院布里奇沃特医院)
CHiRPE通过临床医生共同开发的新型SHAP解释格式,实现了高准确率的临床风险预测,并展示了临床指导的模型开发在真实世界中的应用潜力。
2026-01-26 cs.CL
MaNtLE: Model-agnostic Natural Language Explainer
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出模型无关的自然语言解释器MaNtLE,通过在数千个合成分类任务上进行多任务训练生成忠实解释,在多项任务中忠实度优于LIME和Anchors,帮助用户更准确地预测模型行为。
2023-05-22 cs.AI cs.CL cs.LG
Leveraging Structured Information for Explainable Multi-hop Question Answering and Reasoning
University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对大语言模型多跳问答存在推理不准、幻觉及可解释性不足的问题,本研究构建并利用抽取的语义结构图开展推理,在两个基准上提升了问答性能,且生成的结构化解释更受人类青睐。
2023-11-07 cs.CL
Beyond Relevance: Structured Semantic Supervision for Product Search with LLM-Augmented Annotations
University of Surrey(萨里大学);eBay(易贝);Birmingham City University(伯明翰城市大学)
本文提出利用LLM生成结构化语义监督信号(属性、解释、中心性)增强产品搜索,实验表明该方法在ESCI上显著提升检索性能,且LLM主要辅助而非替代人工判断。
2026-09-22 cs.CL cs.IR
Musketeer: Joint Training for Multi-task Vision Language Model with Task Explanation Prompts
The Chinese University of Hong Kong(香港中文大学);AWS AI Labs(AWS AI实验室)
提出Musketeer,一种多任务视觉语言模型,通过任务解释提示(TEP)减少任务干扰,实现参数共享,性能媲美或超越单任务基线。
2024-03-14 cs.AI cs.CL cs.CV
R2Vul: Learning to Reason about Software Vulnerabilities with Reinforcement Learning and Structured Reasoning Distillation
R2Vul通过RLAIF和结构化推理蒸馏训练小型代码LLM,在漏洞检测中生成有依据的解释,1.5B模型超越32B教师和商业LLM,并降低假阳性率。
2025-08-07 cs.AI cs.CL cs.SE
Learning to Explain: Answering Why-Questions via Rephrasing
Stanford University(斯坦福大学)
对于基于语言的人机交互来说,提供合理的答案是一个具有挑战性但至关重要的目标。推理是具有挑战性的,因为它们需要许多不同形式的抽象知识和推理。以前的工作要么依赖于人工策划的结构化知识库,要么依赖于详细的领域表示来生成令人满意的解释。他们也往往局限于排名预先存在的解释选择。在我们的工作中,我们有助于生成自然语言解释一般现象的未开发领域。我们自动收集大量的解释-现象对数据集,这使我们能够训练序列到序列模型来生成自然语言解释。我们比较了不同的训练策略,并使用自动评分和人工评分来评估它们的性能。我们证明,与在不同数据集上训练的其他模型相比,我们的策略足以为一般开域现象产生高度合理的解释。
2019-06-04 cs.CL
Understanding the Uncertainty of LLM Explanations: A Perspective Based on Reasoning Topology
Arizona State University(亚利桑那州立大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校);Purdue University(普渡大学)
本文提出一种基于推理拓扑的新框架,通过将LLM解释构建为图拓扑结构并分解为子问题与推理路径,实现语义与推理路径层面的不确定性量化,为评估模型可靠性与增强鲁棒性提供可解释见解。
2025-09-15 cs.AI cs.CL cs.SC
NyayaMind- A Framework for Transparent Legal Reasoning and Judgment Prediction in the Indian Legal System
IIT Kanpur, India(印度理工学院坎普尔分校);IIT Kharagpur, India(印度理工学院克勒格布尔分校);Symbiosis Law School Pune, India(印度共生法学院浦那分校);Dattam Labs, India(印度Dattam实验室);University of Birmingham, Dubai, United Arab Emirates(英国伯明翰大学迪拜校区)
NyayaMind通过整合检索、推理和验证机制,提升印度司法系统中判决预测与解释的透明度和准确性,为可信的人工智能辅助法律决策提供新方向。
2026-04-10 cs.AI cs.CL cs.LG
RESKILL: Explicit Failure Attribution and Structured Repair for Interactive Language Agents
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
RESKILL提出结构化修复框架,通过显式失败归因、覆盖选择与重测更新,在ALFWorld和TextCraft上超越直接修复,平均成功率提升3.7个百分点。
2026-09-15 cs.CL
Exploiting Syntactic Structure for Natural Language Modeling
本论文尝试利用自然语言的句法结构来改进语音识别的语言模型。结构化语言模型融合了自动解析和语言建模技术,使用移位-归约解析器的原始概率参数化。一个最大似然重新估计过程属于类的期望最大化算法的训练模型。在《华尔街日报》、Switchboard和广播新闻语料库上的实验表明,与标准的3-gram语言模型相比,在困惑度和单词出错率方面都有改善。本论文的意义在于提出了一种新颖的语言建模方法,该方法利用自然语言的层次句法结构来改进现有的用于大词汇量语音识别的3-gram建模技术。
2000-01-24 cs.CL
TheoremExplainAgent: Towards Video-based Multimodal Explanations for LLM Theorem Understanding
University of Waterloo(滑铁卢大学);Votee AI;Vector Institute(向量研究所)
TheoremExplainAgent利用Manim动画生成长篇定理解释视频,通过TheoremExplainBench基准和5个评估指标验证,o3-mini智能体成功率93.8%,并揭示多模态解释能暴露更深推理缺陷。
2025-05-25 cs.AI cs.CL cs.CV
Improving Narrative Classification and Explanation via Fine Tuned Language Models
针对传统NLP难检测隐性叙事的问题,本研究提出微调BERT结合GPT-4o优化的多标签叙事分类方法,以及带辅助知识库的ReACT少样本解释框架,提升了分类准确率与解释可靠性,可应用于多领域。
2025-09-04 cs.CL
Entailment Tree Explanations via Iterative Retrieval-Generation Reasoner
Northwestern University(西北大学);AWS AI Labs(亚马逊云科技人工智能实验室)
大语言模型在各种问答(QA)基准测试中取得了很高的性能,但其输出的可解释性仍然很难解释。结构化的解释,称为蕴涵树,最近被建议作为一种解释和检查QA系统答案的方法。为了更好地生成这样的蕴涵树,我们提出了一个架构称为迭代检索生成推理(IRGR)。我们的模型能够通过系统地从文本前提中生成一步一步的解释来解释给定的假设。IRGR模型迭代地搜索合适的前提,每次构造一个单一的蕴涵步骤。与以前的方法相反,我们的方法结合了生成步骤和前提检索,允许模型利用中间结论,并减轻了基线编码器-解码器模型的输入大小限制。我们使用EntailmentBank数据集进行实验,在那里我们在前提检索和蕴涵树生成方面优于现有的基准,总体正确性提高了约300%。
2022-07-19 cs.CL
CLEVR-X: A Visual Reasoning Dataset for Natural Language Explanations
University of Tübingen(蒂宾根大学);MPI for Informatics(马克斯·普朗克信息学研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
在视觉问答(VQA)的背景下提供解释是机器学习中的一个基本问题。为了详细了解为VQA生成自然语言解释的过程,我们引入了大规模CLEVR-X数据集,该数据集扩展了CLEVR数据集,并提供了自然语言解释。对于CLEVR数据集中的每个图像-问题对,CLEVR-X包含多个结构化的文本解释,这些解释来自原始场景图。通过构造,CLEVR-X解释是正确的,并描述了回答给定问题所需的推理和视觉信息。我们进行了一项用户研究,以确认我们提出的数据集中的地面实况解释确实是完整和相关的。我们目前的基准结果生成自然语言解释的背景下,VQA使用两个国家的最先进的框架上的CLEVR-X数据集。此外,我们提供了一个详细的分析不同的问题和答案类型的解释生成质量。此外,我们研究了使用不同数量的地面实况解释对自然语言生成(NLG)度量收敛的影响。CLEVR-X数据集可在\url{https://explainableml.github.io/CLEVR-X/}上公开获取。
2022-04-05 cs.CL cs.CV
GEE! Grammar Error Explanation with Large Language Models
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);QuillBot(QuillBot公司)
针对语法纠错工具缺乏自然语言解释的问题,提出语法错误解释任务,构建两步流水线(结构化原子编辑提取+GPT-4生成解释),在德语和中文数据上分别达到93.9%和98.0%的正确解释率。
2023-11-16 cs.CL
Automatic Generation of Natural Language Explanations
Aalborg Universitet(奥尔堡大学);Insight Centre for Data Analytics(数据分析洞察中心);University College Dublin(都柏林大学学院)
推荐系统的一个重要任务是根据用户的偏好生成解释。目前大多数用于可解释推荐的方法使用结构化句子来提供描述以及它们产生的推荐。然而,这些方法忽略了以评论为导向的文本写作方式,尽管我们知道这些评论对用户的决策有很大的影响。在本文中,我们提出了一种自动生成的自然语言的解释,预测用户将如何写一个项目,根据用户的评级,从不同的项目的功能。我们设计了一个字符级递归神经网络(RNN)模型,该模型使用长短期记忆(LSTM)生成项目的评论解释。该模型生成文本评论,给出评论和评级分数的组合,表达对项目的不同因素或方面的意见。我们的网络是在来自大型真实世界数据集BeerAdvocate的子样本上训练的。我们使用自然语言处理指标的实证评估显示,生成的文本的质量接近真实的用户书面评论,识别否定,拼写错误,和特定领域的词汇。
2017-07-04 cs.CL cs.LG