Take It Easy: Label-Adaptive Self-Rationalization for Fact Verification and Explanation Generation
University of Campinas(坎皮纳斯大学)
针对现有事实核查方法数据集脱离现实、解释未关联主张与证据的问题,提出标签自适应自合理化方法,通过两阶段微调提升性能,还验证了合成数据少样本微调的低成本可行性。
2024-10-05 cs.AI cs.CL
Faithful or Fabricated? A Causal Framework for Rationalization Bias in LLM Judges
School of Computing and Electrical Engineering(计算与电子工程学院);Indian Institute of Technology (IIT) Mandi(印度理工学院(IIT)曼迪);London U.K.(伦敦英国);Warwick Manufacturing Group U.K.(沃里克制造集团英国)
提出因果框架研究 LLM 评判者对非证据线索的依赖,通过线索干预和锚定度量揭示其合理化偏差,并验证证据锁定策略的有效性。
2026-05-13 cs.CL
Towards Trustworthy Explanation: On Causal Rationalization
University of California Irvine(加州大学欧文分校);IQVIA(艾昆纬)
针对现有基于关联的合理化方法在处理高度相关片段时无法识别真正理由的伪相关问题,提出因果合理化方法,通过引入非伪相关性和效率两个因果要求,基于结构因果模型定义因果概率以学习充分且必要的理由,并在真实数据集上验证了其优越性能。
2023-09-09 cs.AI cs.CL cs.LG
Rationalization through Concepts
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
自动化预测需要人类可以解释的解释。一种类型的解释是理由,即,输入特征的选择,例如模型计算结果的相关文本片段。然而,单一的总体选择并不能提供完整的解释,例如,权衡几个方面来做决定。为此,我们提出了一种新的自我解释模型称为ConRAT。受人类对高层决策的解释通常基于关键概念的启发,ConRAT提取了一组文本片段作为概念,并推断出文档中描述了哪些概念。然后,它用概念的线性聚合来解释结果。两个正则化器驱动ConRAT构建可解释的概念。此外,我们提出了两种技术,以进一步提高的理由和预测性能。在单方面和多方面情感分类任务上的实验表明,ConRAT是第一个在仅使用整体标签的情况下生成与人类合理化相一致的概念的方法。此外,它优于在每个方面标签上独立训练的最先进的方法。
2021-05-11 cs.CL cs.LG
Interlock-Free Multi-Aspect Rationalization for Text Classification
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
解释对于文本分类任务很重要。一种流行的解释类型是基本原理,它是输入文本的文本片段,足以产生预测并且对人类有意义。许多关于合理化的研究都是基于选择性合理化框架,但由于连锁动力学的存在,这一框架最近被证明是有问题的。在本文中,我们表明,我们解决了联锁问题的多方面设置,我们的目标是产生多个理由多个输出。更具体地说,我们提出了一个多阶段的训练方法,结合了一个额外的自我监督的对比损失,有助于产生更多的语义多样化的理由。啤酒评论数据集上的实验结果表明,我们的方法显着提高合理化性能。
2022-05-13 cs.CL cs.IR cs.LG
Knowledge-Grounded Self-Rationalization via Extractive and Natural Language Explanations
UC San Diego(加州大学圣地亚哥分校);University of Oxford(牛津大学);TU Wien(维也纳工业大学)
生成提取依据的模型(即,特征的子集)或自然语言解释(NLE)来进行预测对于可解释的AI是重要的。虽然提取的基本原理提供了对预测最负责任的特征的快速视图,但NLE允许对预测背后的决策过程进行全面描述。然而,目前的模型,产生最好的提取原理或NLE往往落后于国家的最先进的(SOTA)的任务性能。在这项工作中,我们通过引入RExC来弥合这一差距,RExC是一个自我合理化的框架,它的预测和背景知识中的两种互补类型的解释(NLE和提取理性)。我们的框架通过以下方式改进了以前的方法:(i)在提供解释的同时达到SOTA任务性能,(ii)提供两种类型的解释,而现有模型通常只提供一种类型,以及(iii)在两种类型的解释质量方面大幅击败以前的SOTA。此外,在RExC的扰动分析表明,解释和预测之间的高度关联,忠实的解释的必要属性。
2022-09-16 cs.AI cs.CL cs.LG
CoKe: Customizable Fine-Grained Story Evaluation via Chain-of-Keyword Rationalization
University of Southern California(南加州大学);Amazon AGI Foundations(亚马逊AGI基础研究部);University of Massachusets Amherst(马萨诸塞大学阿默斯特分校)
针对创意文本评估中自洽性推理的目标错配问题,提出先生成关键词再生成理据的CoKe方法,在StoryER数据集上以小模型实现超GPT-4的人类级评估性能且参数量更低。
2025-03-21 cs.CL
SPECTRA: Sparse Structured Text Rationalization
Instituto de Telecomunicações(葡萄牙电信研究所);Instituto Superior Técnico(高等理工学院);Unbabel(Unbabel公司)
选择性合理化的目的是产生决策以及合理性(例如,文本突出显示或两个句子之间的单词对齐)。通常,基本原理被建模为随机二进制掩码,需要基于采样的梯度估计器,这使得训练复杂化,并且需要仔细的超参数调整。稀疏注意力机制是一种确定性的替代方案,但它们缺乏一种使基本原理提取规则化的方法(例如,以控制文本突出显示的稀疏度或对齐的数量)。在本文中,我们提出了一个统一的框架,确定性提取结构化的解释,通过约束推理的因素图,形成一个可微层。我们的方法极大地简化了训练和合理性规则化,在性能和提取的合理性方面通常优于以前的工作。我们进一步提供了一个比较研究的随机和确定性的方法提取分类和自然语言推理任务的理由,共同评估其预测能力,质量的解释,和模型的可变性。
2021-09-09 cs.CL cs.LG
Plausible Extractive Rationalization through Semi-Supervised Entailment Signal
Nanyang Technological University(南洋理工大学);A*STAR, IHPC(新加坡科技研究局,高性能计算研究院)
本文提出一种半监督方法,利用预训练NLI模型在少量监督理据上微调,通过蕴含对齐为解释器提供监督信号,优化抽取式理据的合理性,在ERASER数据集上取得与监督模型相当且远超无监督方法的效果。
2024-11-12 cs.CL
Unsupervised Selective Rationalization with Noise Injection
Columbia University(哥伦比亚大学)
本文针对无监督选择性合理化中理由可能不合理的问题,提出在生成器与预测器之间注入噪声的训练方法,并构建电影评论新基准,在多个任务上显著提升理由合理性和准确率。
2023-05-27 cs.AI cs.CL cs.LG
Can Rationalization Improve Robustness?
Princeton University(普林斯顿大学)
越来越多的工作已经研究了神经NLP模型的发展,这些模型可以产生合理性-可以解释其模型预测的输入子集。在本文中,我们问这样的基本原理模型是否也可以提供鲁棒性对抗攻击除了他们的可解释的性质。由于这些模型需要在做出预测(“预测器”)之前首先生成理由(“合理化器”),因此它们有可能通过简单地将其从生成的理由中屏蔽出来而忽略噪音或不利添加的文本。为此,我们系统地生成各种类型的“AddText”攻击的令牌和文件级合理化任务,并在五个不同的任务进行了广泛的经验评估的国家的最先进的理由模型。我们的实验表明,合理化模型显示出提高鲁棒性的承诺,而他们在某些情况下的斗争-当合理化是敏感的位置偏差或词汇选择的攻击文本。此外,利用人的理性作为监督并不总是转化为更好的业绩。我们的研究是探索合理化然后预测框架中可解释性和鲁棒性之间相互作用的第一步。
2022-05-03 cs.CL cs.CR cs.LG
Flexible Instance-Specific Rationalization of NLP Models
Department of Computer Science, University of Sheffield(谢菲尔德大学计算机科学系)
最近对自然语言处理中模型可解释性的研究广泛使用特征评分方法来识别输入的哪些部分对于模型进行预测(即解释或理由)是最重要的。然而,以前的研究表明,在各种文本分类任务中没有明确的最佳评分方法,而从业者通常必须就长度和基本原理的类型(例如短或长,连续或不连续)做出其他几个特别的选择。受此启发,我们提出了一种简单而有效且灵活的方法,可以为每个数据实例进行最佳选择:(1)特征评分方法;(2)长度;(3)基本原理的类型。我们的方法的灵感来自输入擦除方法的可解释性,假设预测的最忠实的理由应该是一个模型的输出分布之间的最高差异使用全文和文本后删除的理由作为输入分别。在四个标准文本分类数据集上的评价表明,与使用固定的特征评分方法、合理长度和类型相比,该方法提供了更忠实、更全面和更充分的解释。更重要的是,我们证明了一个从业者是不需要作出任何特设的选择,以提取忠实的理由使用我们的方法。
2021-12-06 cs.AI cs.CL
Enhancing the Rationale-Input Alignment for Self-explaining Rationalization
Huazhong University of Science and Technology(华中科技大学);iWudao Tech(iWudao科技)
针对自解释合理化中合作博弈算法偏差导致的理由偏移问题,提出基于预训练辅助模块的DAR方法实现理由与输入的判别对齐,经实验验证可显著提升解释质量。
2023-12-15 cs.AI cs.CL cs.LG
Rationalization Models for Text-to-SQL
IBM T.J. Watson Research Center(IBM T.J.沃森研究中心)
本研究提出生成CoT推理依据的框架,通过手动标注少量示例、迭代动态少样本知识蒸馏训练合理化模型,为text-to-SQL数据集生成合成标注,实验证明该方法可提升小模型在BIRD数据集上的执行准确率与可解释性。
2025-03-20 cs.AI cs.CL cs.DB
Understanding Interlocking Dynamics of Cooperative Rationalization
MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);CSAIL MIT(麻省理工学院计算机科学与人工智能实验室);UC Santa Barbara(加州大学圣巴巴拉分校)
选择性合理化解释了复杂神经网络的预测,通过找到一个小的输入子集,足以预测神经模型的输出。选择机制通常通过指定一个由基本原理生成器和预测器组成的两个组件级联系统集成到模型本身中,该基本原理生成器对输入特征(即基本原理)进行二进制选择,预测器仅基于所选特征预测输出。这些组件被联合训练以优化预测性能。在本文中,我们揭示了这种合作合理化范式的一个主要问题-模型联锁。当预测因子过度拟合生成器选择的特征时,联锁就会出现,从而加强生成器的选择,即使所选的基本原理是次优的。连锁问题的根本原因是合理化目标是凹的发电机的选择政策,以最小化。我们提出了一个新的合理化框架,称为A2 R,它引入了第三个组成部分的架构,预测驱动的软注意力,而不是选择。生成器现在实现了对特征的软注意力和硬注意力,并且这些被馈送到两个不同的预测器中。虽然生成器仍然寻求支持原始预测器性能,但它也最小化了两个预测器之间的差距。正如我们将从理论上证明的那样,由于基于注意力的预测器具有更好的凸性,因此A2 R可以克服凸性障碍。我们在两个合成基准和两个真实数据集上的实验表明,A2 R可以显着缓解联锁问题,并找到更好地符合人类判断的解释。我们在https://github.com/Gorov/Understanding_Interlocking上发布代码。
2021-10-26 cs.AI cs.CL cs.LG
InterroLang: Exploring NLP Models and Datasets through Dialogue-based Explanations
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Saarland Informatics Campus(萨尔兰信息学园区);Technische Universität Berlin(柏林工业大学)
本文提出InterroLang,通过适配TalkToModel框架至NLP领域并添加自由文本理性化等操作,支持用户以对话方式探索模型与数据集,并在三项NLP任务上验证其泛化性,用户研究表明对话式解释比一次性解释更有效。
2023-10-23 cs.AI cs.CL cs.HC
Rationales for Sequential Predictions
Columbia University(哥伦比亚大学);Harvard University(哈佛大学);Cornell Tech(康奈尔科技校区)
序列模型是现代NLP系统的重要组成部分,但它们的预测很难解释。我们认为模型的解释,通过理据,上下文的子集,可以解释个别模型的预测。我们通过求解一个组合优化来找到序列的基本原理:最好的基本原理是预测与完整序列相同的输出的输入令牌的最小子集。枚举所有子集是棘手的,因此我们提出了一种高效的贪心算法来逼近这一目标。该算法,这是所谓的贪婪合理化,适用于任何模型。为了使这种方法有效,当对上下文的不完整子集进行预测时,模型应该形成兼容的条件分布。这个条件可以通过一个短的微调步骤来实现。本文研究了贪婪合理化在语言建模和机器翻译中的应用。与现有的基线相比,贪婪合理化是最好的优化组合目标,并提供最忠实的理由。在一个新的数据集的注释顺序的理由,贪婪的理由是最相似的人类的理由。
2021-11-17 cs.CL cs.LG
D-Separation for Causal Self-Explanation
Huazhong University of Science and Technology(华中科技大学);iWudao Tech(iWudao科技公司)
本文提出最小条件依赖(MCD)准则,利用D-分离原理迫使模型选择标签的全部因果特征,实验表明相比基于MMI的方法F1分数最多提升13.7%。
2023-10-31 cs.AI cs.CL
Natural Language Rationales with Full-Stack Visual Reasoning: From Pixels to Semantic Frames to Commonsense Graphs
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院)
自然语言理论可以提供直观的、更高层次的解释,这些解释很容易被人类理解,补充了更广泛研究的基于梯度或注意力权重的低层次解释。我们提出的第一项研究集中在几个复杂的视觉推理任务:视觉常识推理,视觉文本蕴涵,视觉问答生成自然语言的理由。准确合理化的关键挑战是在各个层面上全面理解图像:不仅是像素层面的明确内容,而且是语义和语用层面的上下文内容。我们提出了Rationale^VT Transformer,这是一个集成模型,它通过将预训练的语言模型与对象识别、接地的视觉语义框架和视觉常识图相结合来学习生成自由文本的基本原理。我们的实验表明,基础预训练语言模型受益于视觉适应和自由文本合理化是一个很有前途的研究方向,以补充模型的可解释性复杂的视觉-文本推理任务。
2020-10-15 cs.CL cs.CV
Enhancing adversarial robustness in Natural Language Inference using explanations
Artificial Intelligence and Learning Systems Laboratory(人工智能与学习系统实验室);School of Electrical and Computer Engineering(电气与计算机工程学院);National Technical University of Athens(雅典技术大学)
针对自然语言推理模型易受对抗攻击的问题,提出基于自然语言解释的模型无关防御策略,在解释上微调分类器可提升对抗鲁棒性,并探究了语言生成指标与人类感知的相关性以辅助构建鲁棒模型,方法高效易复现。
2024-10-06 cs.CL
You Only Forward Once: Prediction and Rationalization in A Single Forward Pass
Central South University(中南大学)
针对无监督理由抽取两阶段RNP框架假设过严、存在互锁与虚假关联问题,提出单阶段YOFO框架,通过预训练语言模型前向传播中逐步移除不重要token同步完成预测与理由抽取,在两个数据集上token级F1最高提升18.4%。
2023-11-04 cs.AI cs.CL
WT5?! Training Text-to-Text Models to Explain their Predictions
Google Research(谷歌研究院)
神经网络最近在各种具有挑战性的自然语言处理(NLP)任务上取得了人类水平的性能,但众所周知,很难理解为什么神经网络会产生特定的预测。在本文中,我们利用文本到文本的框架提出的Raffel等人。(2019)来训练语言模型,以输出自然的文本解释以及它们的预测。至关重要的是,这不需要修改损失函数或训练和解码过程-我们只需训练模型,以便在生成(自然文本)预测后输出解释。我们表明,这种方法不仅获得了最先进的可解释性基准的结果,而且还允许从有限的一组标记的解释中学习,并在数据集之间转移合理化能力。为了促进可重复性和未来的工作,我们发布了我们的代码来训练模型。
2020-04-30 cs.CL cs.LG
Make Up Your Mind! Adversarial Generation of Inconsistent Natural Language Explanations
University of Oxford(牛津大学);Alan Turing Institute(艾伦·图灵研究所);DeepMind(深度思维);University College London(伦敦大学学院)
为了增加对人工智能系统的信任,一个有前途的研究方向包括设计能够为其预测生成自然语言解释的神经模型。在这项工作中,我们表明,这种模型仍然容易产生相互矛盾的解释,如“因为图像中有一只狗”和“因为[同一]图像中没有狗”,暴露了模型决策过程或解释生成过程中的缺陷。我们引入了一个简单而有效的对抗性框架,用于针对不一致的自然语言解释生成的健全性检查模型。此外,作为框架的一部分,我们解决了具有完整目标序列的对抗攻击的问题,这是以前在序列对序列攻击中没有解决的情况。最后,我们将我们的框架应用于最先进的神经自然语言推理模型,该模型为其预测提供了自然语言解释。我们的框架表明,该模型能够产生大量不一致的解释。
2020-05-02 cs.AI cs.CL
LLM-GAN: Construct Generative Adversarial Network Through Large Language Models For Explainable Fake News Detection
Fudan University(复旦大学);Alibaba Group(阿里巴巴集团)
针对LLMs易被假新闻误导及解释需大量人工的问题,提出LLM-GAN框架,利用提示机制使LLM充当生成器和检测器进行假新闻生成与检测,有效提升了预测性能与解释质量,并集成至云原生AI平台。
2024-12-24 cs.CL
Faithfulness and the Notion of Adversarial Sensitivity in NLP Explanations
SRM University AP(SRM大学AP分校)
针对自然语言处理解释忠实性评估方法存在差异和偏差的问题,提出对抗敏感性新方法,通过捕捉解释器对模型对抗攻击下输入变化的响应评估忠实性,解决现有技术局限并从新范式量化该指标。
2024-10-09 cs.AI cs.CL
Extractive Adversarial Networks: High-Recall Explanations for Identifying Personal Attacks in Social Media Posts
University of Michigan(密歇根大学)
我们介绍了一种对抗性方法,用于产生神经文本分类器决策的高召回解释。基于现有的通过硬注意力进行提取解释的架构,我们添加了一个对抗层,该层扫描剩余的注意力以获得剩余的预测信号。出于在社交媒体评论中检测人身攻击的重要领域的动机,我们还证明了通过显式操纵其偏差项来手动设置模型的语义适当的“默认”行为的重要性。我们开发了一个验证集的人类注释的人身攻击,以评估这些变化的影响。
2018-10-19 cs.CL cs.IR cs.LG
Using Natural Language Explanations to Improve Robustness of In-context Learning
University College London(伦敦大学学院);Weco AI;University of Edinburgh(爱丁堡大学)
本文提出用少量人工NLE引导LLM生成更多解释以增强ICL,在五个模型和八个对抗性NLI/复述数据集上较基线提升逾6%,并优于提示选择策略。
2024-05-20 cs.CL
Beyond Model Interpretability: On the Faithfulness and Adversarial Robustness of Contrastive Textual Explanations
American University of Beirut(贝鲁特美国大学)
对比解释方法超越了透明度,并解决了解释的对比方面。这样的解释正在成为一个有吸引力的选择,以提供可操作的变化的情况下,分类器的决定产生不利影响。然而,它们对文本数据的扩展还没有得到充分的探索,并且很少有人对它们的脆弱性和局限性进行调查。这项工作的动机文本的反事实奠定了基础,一个新的评价方案的启发,忠实的解释。因此,我们扩展计算的三个指标,接近性,连通性和稳定性,文本数据和我们的基准两个成功的对比方法,多汁和MiCE,我们建议的指标。在情感分析数据上的实验表明,在两种模型中,反事实与其原始对应物的连通性都不明显。更有趣的是,生成的对比文本更容易与POLYJUICE,突出了潜在表征在反事实搜索的重要性。最后,我们对文本追索方法进行了第一次语义对抗攻击。结果表明,POLYJUICE的鲁棒性和潜在的输入表示在鲁棒性和可靠性中发挥的作用。
2022-10-17 cs.AI cs.CL cs.HC
UKP-SQuARE v2: Explainability and Adversarial Attacks for Trustworthy QA
Technical University of Darmstadt(达姆施塔特工业大学)
问答(QA)系统越来越多地部署在支持现实决策的应用程序中。然而,最先进的模型依赖于深度神经网络,这是很难解释的人类。内在可解释的模型或事后可解释性方法可以帮助用户理解模型是如何实现其预测的,如果成功,可以增加他们对系统的信任。此外,研究人员可以利用这些见解来开发更准确、更少偏见的新方法。在本文中,我们介绍了SQuARE v2,SQuARE的新版本,为基于显着图和基于图形的解释等方法的模型比较提供了一个可解释的基础设施。虽然显着图对于检查每个输入标记对于模型预测的重要性是有用的,但是来自外部知识图谱的基于图的解释使用户能够验证模型预测背后的推理。此外,我们提供了多个对抗攻击来比较QA模型的鲁棒性。通过这些可解释性方法和对抗攻击,我们的目标是简化可信QA模型的研究。SQuARE可在www.example.com上获得。
2022-10-20 cs.CL
KNOW How to Make Up Your Mind! Adversarially Detecting and Alleviating Inconsistencies in Natural Language Explanations
University of Oxford(牛津大学);University of California San Diego(加州大学圣迭戈分校);Vienna University of Technology(维也纳工业大学);University College London(伦敦大学学院)
本文利用外部知识库改进对抗攻击以检测自然语言解释的不一致性,并提出基于外部背景知识的现成缓解方法,有效减少高性能 NLE 模型中的不一致问题。
2023-06-05 cs.AI cs.CL
Adversarial Attacks on VQA-NLE: Exposing and Alleviating Inconsistencies in Visual Question Answering Explanations
National Yang Ming Chiao Tung University(阳明大学)
本文针对VQA-NLE系统提出图像扰动与问题扰动两种对抗攻击以暴露解释不一致性,并引入外部知识缓解方法提升模型鲁棒性,在标准基准上验证了攻击有效性与防御潜力。
2025-08-17 cs.AI cs.CL cs.CV
Robustness of Explanation Methods for NLP Models
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);IBM Research(IBM研究院)
解释方法已经成为一个重要的工具,突出负责神经网络的预测功能。越来越多的证据表明,许多解释方法是相当不可靠的,容易受到恶意操纵。在本文中,我们特别旨在了解的鲁棒性的解释方法的文本模态的背景下。我们提供了初步的见解和结果设计一个成功的对抗攻击对文本的解释。据我们所知,这是第一次尝试评估解释方法的对抗鲁棒性。我们的实验表明,解释方法可以很大程度上干扰高达86%的测试样本与输入句子及其语义的小变化。
2022-06-24 cs.AI cs.CL
Few Shot Rationale Generation using Self-Training with Dual Teachers
Carnegie Mellon University(卡内基梅隆大学);Amazon(亚马逊)
针对少样本且缺乏大规模人工理由与标签的场景,提出双教师自训练框架及MLR损失,将预测与理由教师蒸馏给多任务学生,提升标签建模和忠实理由生成。
2023-06-05 cs.AI cs.CL
Are Your Explanations Reliable? Investigating the Stability of LIME in Explaining Text Classifiers by Marrying XAI and Adversarial Attack
University of Mississippi(密西西比大学);Wright State University(莱特州立大学)
本文提出XAIFooler算法,通过文本扰动优化来操纵LIME解释,评估并提升其稳定性,实验证明该方法在保持语义的同时显著优于现有基线。
2023-10-15 cs.CL cs.LG
GPT-4 Jailbreaks Itself with Near-Perfect Success Using Self-Explanation
Georgia Institute of Technology(佐治亚理工学院)
提出IRIS方法,利用单一LLM的自我解释能力迭代细化对抗性提示,在GPT-4等模型上以极少的查询次数实现高成功率的黑盒自我越狱。
2024-10-15 cs.AI cs.CL cs.CR