Learning from the Best: Rationalizing Prediction by Adversarial Information Calibration
University of Oxford(牛津大学);Alan Turing Institute(阿兰·图灵研究所)
解释人工智能模型的预测在安全关键型应用中至关重要,例如在法律或医疗领域。对预测的一种解释形式是提取基本原理,即,一个实例的特征子集,这些特征引导模型给出对该实例的预测。以前关于生成提取基本原理的工作通常采用两阶段模型:选择器选择最重要的特征(即,基本原理)之后是一个预测器,该预测器专门基于所选择的特征进行预测。这些工作的一个缺点是,学习选择特征的主要信号来自预测器给出的答案与地面实况答案的比较。在这项工作中,我们建议通过信息校准方法从预测器中挤出更多的信息。更准确地说,我们联合训练了两个模型:一个是典型的神经模型,它以一种准确但黑箱的方式解决了手头的任务,另一个是选择器-预测器模型,它还为其预测提供了一个理论基础。第一个模型被用作第二个模型的指南。我们使用基于对抗性的技术来校准由两个模型提取的信息,使得它们之间的差异是错过或过度选择的特征的指示器。此外,对于自然语言任务,我们建议使用基于语言模型的正则化器,以鼓励提取流畅的理由。在一个情感分析任务和三个法律领域的任务上的实验结果表明了我们的方法对合理性提取的有效性。
2020-12-18 cs.AI cs.CL cs.LG
PINTO: Faithful Language Reasoning Using Prompt-Generated Rationales
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
提出PINTO流水线,通过提示冻结的合理化LM生成自由文本理由,并利用反事实正则化微调推理LM,显著提升模型在分布内外测试集上的泛化能力与理由对预测的忠实度。
2023-04-06 cs.CL
Rationalizing Neural Predictions
Computer Science and Artificial Intelligence Laboratory(计算机科学与人工智能实验室);Massachusetts Institute of Technology(麻省理工学院)
没有理由的预测适用性有限。作为一种补救措施,我们学习提取输入文本片段作为理由--基本原理--这些理由被剪裁得简短而连贯,但足以做出相同的预测。我们的方法结合了两个模块化组件,发电机和编码器,这是训练有素的一起运作。生成器指定文本片段上的分布作为候选理由,并将其传递给编码器进行预测。在训练中从来不给小费。相反,该模型是正规化的desiderata的理由。我们评估的方法对多方面的情感分析手动标注的测试用例。我们的方法比基于注意力的基线有很大的优势。我们还成功地说明了问题检索任务的方法。
2016-11-02 cs.CL cs.NE
Enhancing the Rationale-Input Alignment for Self-explaining Rationalization
Huazhong University of Science and Technology(华中科技大学);iWudao Tech(iWudao科技)
针对自解释合理化中合作博弈算法偏差导致的理由偏移问题,提出基于预训练辅助模块的DAR方法实现理由与输入的判别对齐,经实验验证可显著提升解释质量。
2023-12-15 cs.AI cs.CL cs.LG
Reason2Decide: Rationale-Driven Multi-Task Learning
本文提出Reason2Decide框架,通过两阶段训练解决自理据问题,提升预测准确性和解释一致性,在医疗数据集上优于基线模型,且模型规模更小。
2026-03-16 cs.AI cs.CL
Japanese Tort-case Dataset for Rationale-supported Legal Judgment Prediction
Tokyo Institute of Technology(东京技术大学);Nakamura, Tsunoda & Matsumoto;Hitotsubashi University(立命馆大学)
本文提出了首个日本 tort 案件数据集,用于基于理由的法律判断预测,包含 tort 预测和理由提取两个任务,并通过实验验证了其可行性。
2024-06-13 cs.AI cs.CL
EviGen: Predictive Evidence Scaffolding for Verifiable Clinical Rationale Generation
Duke University(杜克大学)
EviGen提出三层框架,通过预测性检索、LLM生成和过程监督验证,提升临床推理的可验证性与忠实度,优于现有基线。
2026-09-17 cs.CL
Can Rationalization Improve Robustness?
Princeton University(普林斯顿大学)
越来越多的工作已经研究了神经NLP模型的发展,这些模型可以产生合理性-可以解释其模型预测的输入子集。在本文中,我们问这样的基本原理模型是否也可以提供鲁棒性对抗攻击除了他们的可解释的性质。由于这些模型需要在做出预测(“预测器”)之前首先生成理由(“合理化器”),因此它们有可能通过简单地将其从生成的理由中屏蔽出来而忽略噪音或不利添加的文本。为此,我们系统地生成各种类型的“AddText”攻击的令牌和文件级合理化任务,并在五个不同的任务进行了广泛的经验评估的国家的最先进的理由模型。我们的实验表明,合理化模型显示出提高鲁棒性的承诺,而他们在某些情况下的斗争-当合理化是敏感的位置偏差或词汇选择的攻击文本。此外,利用人的理性作为监督并不总是转化为更好的业绩。我们的研究是探索合理化然后预测框架中可解释性和鲁棒性之间相互作用的第一步。
2022-05-03 cs.CL cs.CR cs.LG
You Only Forward Once: Prediction and Rationalization in A Single Forward Pass
Central South University(中南大学)
针对无监督理由抽取两阶段RNP框架假设过严、存在互锁与虚假关联问题,提出单阶段YOFO框架,通过预训练语言模型前向传播中逐步移除不重要token同步完成预测与理由抽取,在两个数据集上token级F1最高提升18.4%。
2023-11-04 cs.AI cs.CL
Distribution Matching for Rationalization
Recurrent AI(循环智能)
合理化的任务旨在提取输入文本片段作为理由,以证明神经网络对文本分类任务的预测。根据定义,基本原理表示用于预测的关键文本片段,因此与原始输入文本相比,应该具有类似的分类特征分布。然而,以往的方法主要集中在最大化的基本原理和标签之间的互信息,而忽略了基本原理和输入文本之间的关系。为了解决这个问题,我们提出了一种新的合理化方法,在特征空间和输出空间中匹配的分布的理由和输入文本。从经验上讲,所提出的分布匹配方法始终优于以前的方法,由一个大的利润。我们的数据和代码是可用的。
2021-06-01 cs.CL
Invariant Rationalization
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究);CSAIL MIT(麻省理工学院计算机科学与人工智能实验室)
选择性合理化通过识别最能解释或支持预测的输入特征的一个小子集(基本原理)来提高神经网络的可解释性。一个典型的合理化标准,即最大互信息(MMI),找到的理由,最大化的预测性能的基础上,只有。然而,MMI可能是有问题的,因为它拾取输入特征和输出之间的虚假相关。相反,我们引入了一个博弈论不变的合理化标准,其中的理由受到限制,使相同的预测是最佳的不同的环境。我们从理论上和经验上表明,所提出的理论基础可以排除虚假的相关性,更好地推广到不同的测试场景,并更好地与人类的判断。我们的数据和代码是可用的。
2020-03-22 cs.AI cs.CL cs.LG
Knowledge-Grounded Self-Rationalization via Extractive and Natural Language Explanations
UC San Diego(加州大学圣地亚哥分校);University of Oxford(牛津大学);TU Wien(维也纳工业大学)
生成提取依据的模型(即,特征的子集)或自然语言解释(NLE)来进行预测对于可解释的AI是重要的。虽然提取的基本原理提供了对预测最负责任的特征的快速视图,但NLE允许对预测背后的决策过程进行全面描述。然而,目前的模型,产生最好的提取原理或NLE往往落后于国家的最先进的(SOTA)的任务性能。在这项工作中,我们通过引入RExC来弥合这一差距,RExC是一个自我合理化的框架,它的预测和背景知识中的两种互补类型的解释(NLE和提取理性)。我们的框架通过以下方式改进了以前的方法:(i)在提供解释的同时达到SOTA任务性能,(ii)提供两种类型的解释,而现有模型通常只提供一种类型,以及(iii)在两种类型的解释质量方面大幅击败以前的SOTA。此外,在RExC的扰动分析表明,解释和预测之间的高度关联,忠实的解释的必要属性。
2022-09-16 cs.AI cs.CL cs.LG
Rationalizing Predictions by Adversarial Information Calibration
Beihang University(北京航空航天大学);University of Oxford(牛津大学);University College London(伦敦大学学院);TU Wien(维也纳工业大学);Alan Turing Institute(艾伦·图灵研究所);Zhongguancun Laboratory(中关村实验室)
解释人工智能模型的预测在安全关键型应用中至关重要,例如在法律或医疗领域。对预测的一种解释形式是提取基本原理,即,一个实例的特征子集,这些特征引导模型给出对该实例的预测。例如,子短语“他偷了手机”可以是预测“盗窃”的提取理由。以前关于生成提取基本原理的工作通常采用两阶段模型:选择器选择最重要的特征(即,基本原理)之后是一个预测器,该预测器专门基于所选择的特征进行预测。这些工作的一个缺点是,学习选择特征的主要信号来自预测器给出的答案与地面实况答案的比较。在这项工作中,我们建议通过信息校准方法从预测器中挤出更多的信息。更准确地说,我们联合训练了两个模型:一个是典型的神经模型,它以一种准确但黑箱的方式解决了手头的任务,另一个是选择器-预测器模型,它还为其预测提供了一个理论基础。第一个模型用作第二个模型的指导。我们使用对抗技术来校准两个模型提取的信息,使得它们之间的差异是错过或过度选择特征的指标。此外,对于自然语言任务,我们提出了一个基于语言模型的正则化器,以鼓励提取流畅的理由。实验结果的情感分析任务,仇恨语音识别任务,以及对三个任务的法律领域显示我们的方法的有效性,合理的提取。
2023-01-15 cs.AI cs.CL
SCOTT: Self-Consistent Chain-of-Thought Distillation
University of Southern California(南加州大学);Amazon.com Inc(亚马逊公司)
提出SCOTT方法,通过对比解码和反事实推理目标,从大型教师模型蒸馏出小型自一致思维链模型,生成更忠实的推理并提升决策性能。
2023-08-30 cs.CL
Rationalizing Transformer Predictions via End-To-End Differentiable Self-Training
Computational Linguistics, Department of Linguistics Bielefeld University(语言学计算系,语言学系比勒菲尔德大学)
本文提出一种端到端可微分的自训练范式,让单一Transformer模型同时承担理由选择、分类和补充分类三个角色,稳定高效地生成类别级理由,并在无显式监督下实现与人类标注的最先进对齐。
2025-08-15 cs.CL cs.LG
Learning to Rationalize for Nonmonotonic Reasoning with Distant Supervision
University of California, Santa Cruz(加州大学圣克鲁兹分校);Allen Institute for AI(艾伦人工智能研究所);Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);University of Maryland, College Park(马里兰大学学院公园分校)
神经模型的黑盒性质激发了一系列研究,旨在生成自然语言理论来解释模型为什么会做出某些预测。迄今为止,这种基本原理生成模型已经在特定于集群的众包基本原理上进行了培训,但这种方法成本高昂,并且无法推广到新的任务和领域。在本文中,我们研究了神经模型可以在多大程度上推理解释模型预测的自然语言原理,仅依赖于远程监督,而不需要对人类编写的原理进行额外的注释。我们研究了使用预训练的语言模型、神经知识模型和来自相关任务的远程监督来自动生成推理的多种方法,并训练生成模型,这些模型能够为看不见的实例编写解释性推理。我们展示了我们的方法上的可废止推理任务,一个非单调推理任务,其中的推理可能会加强或削弱时,引入新的信息(更新)。我们的模型在生成事后推理方面显示出了希望,解释了为什么在给定额外信息的情况下推断或多或少是可能的,然而,它主要生成反映神经语言模型的基本局限性的琐碎推理。相反,联合预测更新或其类型并产生理由的更现实的设置更具挑战性,这表明了一个重要的未来方向。
2020-12-14 cs.CL
Interpretable Neural Predictions with Differentiable Binary Variables
ILLC(逻辑、语言与计算研究所);University of Amsterdam(阿姆斯特丹大学);ILCC(语言与认知研究所);University of Edinburgh(爱丁堡大学)
神经网络的成功与人们对更好的可解释性的渴望密切相关。我们专注于文本分类器,并通过让它们为它们的预测提供一个理由,一个理由,使它们更容易解释。我们通过联合训练两个神经网络模型来解决这个问题:一个潜在模型选择一个基本原理(即输入文本的一个简短而信息丰富的部分),一个分类器只从基本原理中的单词中学习。以前的工作建议分配二进制潜在的掩码输入位置,并通过稀疏诱导的处罚,如L0正则化,以促进短的选择。我们提出了一个潜在的模型,它混合了离散和连续的行为,同时允许二进制选择和基于梯度的训练,而不需要REINFORCE。在我们的公式中,我们可以很容易地计算惩罚的期望值,例如L0,这使我们能够直接优化模型以达到预先指定的文本选择率。我们表明,我们的方法是有竞争力的与以前的工作的理由提取,并探讨进一步使用注意力机制。
2020-06-19 cs.CL
ERASER: A Benchmark to Evaluate Rationalized NLP Models
Northeastern University(东北大学);Salesforce Research(赛富时研究院)
NLP中最先进的模型现在主要基于深度神经网络,这些网络在如何进行预测方面是不透明的。这一限制增加了人们对为NLP设计更多可解释的深度模型的兴趣,这些模型揭示了模型输出背后的“推理”。但这方面的工作是在不同的数据集和任务上进行的,目标和指标也相应独特;这使得跟踪进展变得困难。我们提出了评估语义和简单英语推理(ERASER)基准,以推进NLP中可解释模型的研究。该基准包括多个数据集和任务,其中已收集了人类对“基本原理”(支持证据)的注释。我们提出了几个指标,旨在捕捉模型提供的基本原理与人类基本原理的一致程度,以及这些基本原理的忠实程度(即,所提供的基本原理影响相应预测的程度)。我们希望发布这个基准可以促进设计更可解释的NLP系统的进展。基准测试、代码和文档可在https://www.eraserbenchmark.com/上获得
2020-04-24 cs.AI cs.CL cs.LG
Enforcing Reasoning in Visual Commonsense Reasoning
UC San Diego(加州大学圣迭戈分校)
视觉常识推理的任务是非常具有挑战性的,因为模型不仅要能够回答给定图像的问题,还要能够学习推理。本任务中引入的基线非常有限,因为两个网络分别用于预测答案和理由。以问题和图像作为训练答案预测网络的输入,以问题、图像和正确答案作为推理预测网络的输入。由于基本原理是以正确答案为条件的,它是基于这样一个假设,即我们可以毫无错误地解决视觉问答任务-这是过于雄心勃勃的。此外,这种方法使答案和推理预测成为两个完全独立的VQA任务,使认知任务变得毫无意义。在本文中,我们试图通过提出一个端到端的可训练模型来解决这些问题,该模型同时考虑答案及其原因。具体来说,我们首先预测问题的答案,然后使用选择的答案来预测理由。然而,这样的模型的一个平凡的设计变得不可微,这使得它难以训练。我们通过提出四种方法来解决这个问题- softmax,gumbel-softmax,基于强化学习的采样和直接交叉熵对所有对的答案和理由。我们通过实验证明,我们的模型执行竞争力对当前国家的最先进的。我们的结论与分析所提出的方法,并讨论进一步工作的途径。
2019-12-27 cs.AI cs.CL cs.CV
Characterizing Large Language Models as Rationalizers of Knowledge-intensive Tasks
Arizona State University(亚利桑那州立大学);Megagon Labs(美高仑实验室)
本研究探究LLM为知识密集型任务生成知识引导合理化解释的能力,发现其生成的解释优于众包版本但仍有不足,且错误预测的解释会降低人类信任,据此提出两阶段审查流水线以实现可信推理生成。
2024-01-31 cs.AI cs.CL
TRIAGE: Dialectical LLM Reasoning for Explainable Risk Prediction on Irregularly Sampled Medical Time Series
KAIST(韩国科学技术院);AITRICS;University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
提出TRIAGE框架,利用大语言模型对竞争性临床结果生成辩证推理,缓解风险极化,实现连续风险评分与可解释推理,在三个基准上AUPRC提升3.3%,校准误差降低81%。
2026-10-02 cs.AI cs.CL cs.LG
Rationalizing Medical Relation Prediction from Corpus-level Statistics
The Ohio State University(俄亥俄州立大学);The Ohio State University Wexner Medical Center(俄亥俄州立大学韦克斯纳医学中心);Nationwide Children’s Hospital(全国儿童医院);Abigail Wexner Research Institute at Nationwide Children’s Hospital(全国儿童医院阿比盖尔·韦克斯纳研究所)
如今,机器学习模型的可解释性变得越来越重要,特别是在医疗领域。为了阐明如何合理化医疗关系预测,我们提出了一个新的可解释框架,该框架受到人类记忆如何工作的现有理论的启发,例如,回忆和再认理论鉴于语料库级别的统计数据,即,临床文本语料库的全局共现图,为了预测两个实体之间的关系,我们首先回忆与目标实体相关联的丰富上下文,然后识别这些上下文之间的关系交互以形成模型原理,这将有助于最终预测。我们在真实世界的公共临床数据集上进行了实验,结果表明,我们的框架不仅可以实现对一系列神经基线模型的竞争性预测性能,而且还可以提出合理的理由来证明其预测。我们进一步与医学专家深入合作,以验证我们的模型原理对临床决策的有用性。
2020-05-02 cs.CL
FiD-Ex: Improving Sequence-to-Sequence Models for Extractive Rationale Generation
Facebook AI(脸书人工智能研究院);University of Washington(华盛顿大学)
模型预测的自然语言(NL)解释越来越受欢迎,作为理解和验证大型黑盒预训练模型所做决策的一种手段,用于问答(QA)和事实验证等NLP任务。最近,预先训练的序列到序列(seq 2seq)模型已被证明在联合进行预测以及生成NL解释方面非常有效。然而,这些模型有许多缺点:它们甚至可以为不正确的预测编造解释,它们难以适应长输入文档,并且它们的训练需要大量的标记数据。在本文中,我们开发了FiD-Ex,它通过以下方式解决了seq 2seq模型的这些缺点:1)引入句子标记以通过鼓励提取生成来消除解释制造,2)使用解码器中的融合架构来处理长输入上下文,以及3)对重新结构化的开放域QA数据集进行中间微调以提高Few-Shot性能。FiD-Ex在解释指标和任务准确性方面显著改善了先前的工作,无论是在完全监督和Few-Shot设置中,还是在ERASER可解释性基准的多个任务上。
2020-12-31 cs.CL
Flexible Instance-Specific Rationalization of NLP Models
Department of Computer Science, University of Sheffield(谢菲尔德大学计算机科学系)
最近对自然语言处理中模型可解释性的研究广泛使用特征评分方法来识别输入的哪些部分对于模型进行预测(即解释或理由)是最重要的。然而,以前的研究表明,在各种文本分类任务中没有明确的最佳评分方法,而从业者通常必须就长度和基本原理的类型(例如短或长,连续或不连续)做出其他几个特别的选择。受此启发,我们提出了一种简单而有效且灵活的方法,可以为每个数据实例进行最佳选择:(1)特征评分方法;(2)长度;(3)基本原理的类型。我们的方法的灵感来自输入擦除方法的可解释性,假设预测的最忠实的理由应该是一个模型的输出分布之间的最高差异使用全文和文本后删除的理由作为输入分别。在四个标准文本分类数据集上的评价表明,与使用固定的特征评分方法、合理长度和类型相比,该方法提供了更忠实、更全面和更充分的解释。更重要的是,我们证明了一个从业者是不需要作出任何特设的选择,以提取忠实的理由使用我们的方法。
2021-12-06 cs.AI cs.CL
From Scoring to Explanations: Evaluating SHAP and LLM Rationales for Rubric-based Teaching Quality Assessment
Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Lund University(吕勒奥大学);University of Tübingen(图宾根大学);Stanford Graduate School of Education(斯坦福大学教育研究生院);Harvard Graduate School of Education(哈佛大学教育研究生院)
提出一个结合SHAP和LLM理由的框架,用于基于量规的评分模型的可解释性,并在课堂转录数据上评估其忠实性和可迁移性。
2026-04-18 cs.AI cs.CL
ReMedi: Reasoner for Medical Clinical Prediction
ASUS Intelligent Cloud Services (AICS)(ASUS智能云服务(AICS));NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)(国立科技大学人工智能研究中心(NTU AI-CoRE));National University of Singapore(新加坡国立大学)
ReMedi通过生成推理-答案对提升电子健康记录的临床预测能力,利用真实答案提示增强推理过程,实验显示在多个任务中F1得分提升达19.9%。
2026-05-02 cs.CL
Self-training with Few-shot Rationalization: Teacher Explanations Aid Student in Few-shot NLU
The Ohio State University(俄亥俄州立大学);Microsoft Research(微软研究院)
虽然预训练的语言模型在几个自然语言理解任务中获得了最先进的性能,但它们在决策过程中非常不透明。虽然最近的一些工作专注于通过突出文本中的突出概念作为理由或理由来合理化神经预测,但它们依赖于数千个标记的训练样本用于任务标签以及注释的每个实例的理由。对于许多任务来说,获得这种广泛的大规模注释是不可行的。为此,我们开发了一个多任务的教师-学生框架的基础上自我训练语言模型有限的任务特定的标签和理由,明智的样本选择,从信息丰富的伪标记的例子1。我们研究了构成良好理论基础的几个特征,并证明了神经模型的性能可以通过使其意识到其合理化预测来显着提高,特别是在低资源环境中。在多个基准数据集上的实验证明了该方法的有效性。
2021-09-17 cs.CL
Being Right for Whose Right Reasons?
Copenhagen Center for Social Data Science(哥本哈根社会数据科学中心);Copenhagen Research Center for Mental Health(哥本哈根心理健康研究中心);University of Copenhagen(哥本哈根大学)
本研究首次构建含标注者人口统计信息的理由标注数据集,发现16个Transformer模型在情感分析和常识推理任务中偏向与年长和白人标注者的理由对齐,且模型规模与理由一致性负相关,蒸馏未改善公平性。
2023-10-13 cs.CL cs.HC
Induced Natural Language Rationales and Interleaved Markup Tokens Enable Extrapolation in Large Language Models
University of Campinas(坎皮纳斯大学);University of Glasgow(格拉斯哥大学);NeuralMind
外推的能力,即,对比作为训练样本呈现的序列更长的序列进行预测对于当前的深度学习模型是一个具有挑战性的问题。最近的工作表明,这种限制在最先进的基于Transformer的模型中仍然存在。这个问题的大多数解决方案都使用特定的架构或训练方法,而这些架构或方法并不能推广到其他任务。我们证明了大语言模型可以成功地外推,而无需修改其架构或训练过程。我们的实验结果表明,生成一步一步的理由和引入标记令牌都需要有效的外推。首先,我们引入一个语言模型,在输出答案之前产生一步一步的原理,以有效地将任务传达给模型。然而,随着序列变得越来越长,我们发现当前的模型很难跟踪令牌位置。为了解决这个问题,我们将输出标记与充当显式位置和计数符号的标记标记交叉使用。我们的研究结果显示了这两种互补的方法如何实现显着的序列外推,并强调了当前架构的局限性,以有效地概括没有明确的表面形式的指导。代码可在https://github.com/MirelleB/induced-rationales-markup-tokens获得
2022-11-28 cs.CL
Accountable and Explainable Methods for Complex Reasoning over Text
University of Copenhagen(哥本哈根大学)
机器学习(ML)模型的一个主要问题是它们的不透明性。它们被部署在越来越多的应用程序中,在这些应用程序中,它们通常作为黑盒运行,不提供对其预测的解释。除其他外,与缺乏对模型原理的理解相关的潜在危害包括侵犯隐私、对抗性操纵和不公平歧视。因此,ML模型的问责制和透明度已经成为政策和法律,哲学和计算机科学的关键需求。在计算机科学中,ML模型的决策过程已经通过开发问责制和透明度方法进行了研究。问责方法,如对抗攻击和诊断数据集,暴露了ML模型的漏洞,可能导致恶意操纵或预测中的系统性错误。透明度方法解释了模型预测背后的基本原理,赢得了相关利益相关者的信任,并可能发现模型决策中的错误和不公平。为此,透明度方法还必须符合问责制要求,例如,稳健并忠实于模型的基本原理。这篇论文介绍了我的研究,扩展了我们在为文本复杂推理任务开发的ML模型的问责制和透明度领域的集体知识。
2022-11-09 cs.CL cs.CY cs.LG
From Prediction to Justification: Aligning Sentiment Reasoning with Human Rationale via Reinforcement Learning
School of Computer Science and Technology, East China Normal University(东华大学计算机科学与技术学院);Shanghai Qiji Zhifeng Co., Ltd.(上海启智丰科技有限公司);Ocean University of China(中国海洋大学)
本文提出ABSA-R1框架,通过强化学习使模型具备生成自然语言论证的能力,提升情感分类和三元组提取性能。
2026-04-15 cs.AI cs.CL
Typological Feature Prediction with Large Language Models: An In-Context Learning Approach
University of Toronto(多伦多大学);Ontario Tech University(安大略理工大学)
该研究针对类型学特征预测现有方法可解释性不足且表现未充分探索的问题,采用基于URIEL+和Glottolog数据的上下文学习方法,发现结合系统发育与地理邻接证据的LLMs表现优于基线,且能生成符合证据的可解释依据。
2026-09-04 cs.CL
On Attribution of Recurrent Neural Network Predictions via Additive Decomposition
Texas A&M University(得克萨斯农工大学)
RNN模型在广泛的文本挖掘任务中取得了最先进的性能。然而,这些模型往往被视为黑箱,并受到批评,由于缺乏可解释性。在本文中,我们通过为RNN预测提供可解释的理由来增强RNN的可解释性。然而,解释RNN是一个具有挑战性的问题。首先,与依赖局部近似的现有方法不同,我们的目标是提供更忠实于RNN模型决策过程的理论基础。其次,灵活的解释方法应该能够将贡献分数分配给不同长度的文本片段,而不仅仅是单个单词。为了应对这些挑战,我们提出了一种新的归因方法,称为REAT,为RNN预测提供解释。REAT将RNN的最终预测分解为输入文本中每个单词的附加贡献。这种加法分解使REAT能够进一步获得短语级归因分数。此外,REAT通常适用于各种RNN架构,包括GRU,LSTM及其双向版本。实验结果表明,所提出的归因方法的忠实性和可解释性。综合分析表明,我们的属性方法可以揭示RNN捕获的有用的语言知识。一些分析进一步表明,我们的方法可以用作调试工具来检查RNN的脆弱性和失败原因,这可能会导致几个有前途的未来方向,以提高RNN的泛化能力。
2019-03-27 cs.CL cs.LG
Interlock-Free Multi-Aspect Rationalization for Text Classification
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
解释对于文本分类任务很重要。一种流行的解释类型是基本原理,它是输入文本的文本片段,足以产生预测并且对人类有意义。许多关于合理化的研究都是基于选择性合理化框架,但由于连锁动力学的存在,这一框架最近被证明是有问题的。在本文中,我们表明,我们解决了联锁问题的多方面设置,我们的目标是产生多个理由多个输出。更具体地说,我们提出了一个多阶段的训练方法,结合了一个额外的自我监督的对比损失,有助于产生更多的语义多样化的理由。啤酒评论数据集上的实验结果表明,我们的方法显着提高合理化性能。
2022-05-13 cs.CL cs.IR cs.LG
Ploutos: Towards interpretable stock movement prediction with financial large language model
Microsoft(微软)
本文提出金融LLM框架Ploutos,通过多专家融合文本与数值数据、PloutosGPT生成可解释理由,并结合后视镜提示与动态token加权微调,提升股票走势预测的准确性和可解释性。
2024-02-18 cs.AI cs.CL q-fin.ST
Rethinking Cooperative Rationalization: Introspective Extraction and Complement Control
IBM Research(IBM研究院);MIT(麻省理工学院);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
选择性合理化已经成为一种常见的机制,以确保预测模型揭示它们如何使用任何可用的功能。选择可以是软的或硬的,并且识别与预测相关的输入特征的子集。这个设置可以被看作是选择器(又称基本原理生成器)和预测器之间的合作游戏,只使用选定的功能。然而,由于两个原因,合作环境可能会受到损害。首先,生成器通常不能直接存取它旨在证明的结果,从而导致性能差。第二,通常没有对选择之外的信息施加控制。我们修订了整体合作框架,以应对这些挑战。我们引入了一个内省模型,明确预测,并将结果纳入选择过程。此外,我们通过对手明确控制的理由补充,以免留下任何有用的信息的选择。我们发现,这两个互补的机制保持高的预测准确性,并导致全面的理由。
2019-12-15 cs.CL cs.LG
Improving Language Model Personas via Rationalization with Psychological Scaffolds
University of Southern California(南加州大学);Apple(苹果公司)
针对现有语言模型人格构建未挖掘用户判断底层推理的问题,提出PB&J框架,借助心理学支架生成理论锚定的用户行为理由,在偏好预测任务上表现优于基线且媲美人工理由方案。
2025-05-20 cs.CL
Adversarial Attack for Explanation Robustness of Rationalization Models
School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院);iWudao Tech(悟道科技)
本文提出UAT2E对抗攻击方法,在不改变预测的情况下削弱合理化模型的可解释性,实验揭示其脆弱性并提出改进建议。
2024-09-19 cs.CL
An Interpretability Evaluation Benchmark for Pre-trained Language Models
Baidu Inc(百度公司)
虽然预训练的语言模型(LM)在许多NLP任务中带来了很大的改进,但人们越来越关注探索LM的能力并解释其预测。然而,现有的工作通常只集中在一定的能力与一些下游的任务。缺乏直接评估屏蔽词预测性能和预训练LM的可解释性的数据集。为了填补这一空白,我们提出了一个新的评估基准提供英文和中文的注释数据。它在多个维度上测试LM的能力,即,语法、语义、知识、推理和计算。此外,它还提供了经过仔细注释的令牌级基本原理,以满足充分性和紧凑性。它包含扰动的实例为每个原始实例,以便使用扰动下的合理性一致性作为忠实性的度量,可解释性的角度。我们在几个广泛使用的预训练LM上进行实验。结果表明,它们在知识和计算维度上的表现非常差。它们在所有方面的兼容性远远不能令人满意,特别是在理由不充分的情况下。此外,我们评估的预训练LM在语法感知数据上并不稳健。我们将在\url{http://xyz}上发布这个评测基准,希望它能促进预训练LM的研究进展。
2022-07-28 cs.CL
Shop-R1: Rewarding LLMs to Simulate Human Behavior in Online Shopping via Reinforcement Learning
Michigan State University(密歇根州立大学);Amazon(亚马逊);Northeastern University(东北大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Northwestern University(西北大学)
Shop-R1通过强化学习框架提升大语言模型在在线购物场景中模拟人类行为的推理能力,实现65%以上的性能提升。
2026-02-23 cs.CL
Reasoner Outperforms: Generative Stance Detection with Rationalization for Social Media
North Carolina State University(北卡罗来纳州立大学)
本研究提出一种生成式立场检测方法,通过将可解释的推理理由整合到小型语言模型中,使其超越GPT-3.5的零样本性能,并推进构建可信赖的社交媒体系统。
2025-06-28 cs.CL
Post Hoc Explanations of Language Models Can Improve Language Models
Harvard University(哈佛大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Irvine(加州大学欧文分校);Google Inc(谷歌公司)
本文提出 AMPLIFY 框架,将事后解释转化为自动化自然语言理据并注入上下文学习,在多类任务上较基线提升 10–25% 准确率。
2023-12-07 cs.AI cs.CL
Does Self-Rationalization Improve Robustness to Spurious Correlations?
Massachusetts Institute of Technology(麻省理工学院);Allen Institute for AI(艾伦人工智能研究所);University of Utah(犹他大学)
抽象化是人类推理和学习的基础。被训练来产生推理和预测的NLP模型,称为自我合理化模型,已经研究了它们对最终用户的可解释性和实用性。然而,在何种程度上与人类书面的理由培训促进学习仍然是一个未充分探讨的问题。我们要问的是,自我合理化的训练模型是否有助于他们学习以正确的理由解决任务。具体来说,我们评估了如何训练自合理化模型与自由文本的理由影响鲁棒性虚假的相关性微调编码器-解码器和解码器的六种不同大小的模型。我们通过测量1)手动注释的挑战数据集和2)原始测试集的子集的性能来评估对虚假相关性的鲁棒性,其中依赖虚假相关性将无法产生正确的答案。我们发现,虽然自我合理化可以提高鲁棒性虚假的相关性在低资源设置,它往往会伤害鲁棒性在较高的资源设置。此外,这些影响取决于模型系列和大小,以及基本原理内容。总之,我们的研究结果表明,可解释性可能会以健壮性为代价;因此,在训练自我合理化模型时应适当注意,以创建更值得信赖的模型。
2022-10-24 cs.AI cs.CL
CREST: A Joint Framework for Rationalization and Counterfactual Text Generation
Instituto de Telecomunicações(电信研究所);Instituto Superior Técnico(里斯本高等理工学院);LUMLIS (Lisbon ELLIS Unit)(LUMLIS(里斯本ELLIS单元));Massachusetts Institute of Technology(麻省理工学院);Unbabel(Unbabel公司)
本文提出 CREST 联合框架,将选择性合理化与反事实文本生成相结合,通过新损失函数利用反事实正则化理由,提升反事实质量、模型鲁棒性与可解释性。
2023-05-26 cs.CL
Boosting Explainability through Selective Rationalization in Pre-trained Language Models
Hefei University of Technology(合肥工业大学);School of Computer Science and Information Engineering(计算机与信息工程学院);School of Computer Science(计算机学院)
针对选择性合理化用于PLM时因token同质性导致的理由退化问题,本文提出PLMR,通过生成器剪枝无关token、预测器利用全文规范预测,提升了可解释性与有效性。
2025-01-03 cs.AI cs.CL
Sequential Multi-task Learning with Task Dependency for Appeal Judgment Prediction
Qilu University of Technology (Shandong Academy of Sciences)(齐鲁工业大学(山东省科学院));Shandong University(山东大学);Shandong University of Finance and Economics(山东财经大学)
法律判决预测的目的是自动预测判决结果,如罪名、相关法律条文、刑罚期限等。它在法律援助制度中起着至关重要的作用,近年来已成为一个热门的研究课题。本文关注一个有价值但尚未得到充分研究的LJP任务,上诉判决预测(AJP),该任务基于对案件事实和上诉理由的文本描述来预测上诉法院对上诉案件的判决。在实践中,解决AJP任务有两个重大挑战。一是如何恰当地模拟上诉裁判程序。二是如何提高预测结果的可解释性。我们提出了一个顺序的多任务学习框架与任务相关的上诉判决预测(SMAJudge),以解决这些挑战。SMAJudge利用两个序列成分来模拟从下级法院到上诉法院的整个诉讼过程,并采用注意力机制使预测结果更具可解释性,有效地应对了AJP的挑战。在3万多份上诉判决书数据集上的实验结果表明了SMAJudge的有效性和优越性。
2022-03-09 cs.AI cs.CL