Interlock-Free Multi-Aspect Rationalization for Text Classification
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
解释对于文本分类任务很重要。一种流行的解释类型是基本原理,它是输入文本的文本片段,足以产生预测并且对人类有意义。许多关于合理化的研究都是基于选择性合理化框架,但由于连锁动力学的存在,这一框架最近被证明是有问题的。在本文中,我们表明,我们解决了联锁问题的多方面设置,我们的目标是产生多个理由多个输出。更具体地说,我们提出了一个多阶段的训练方法,结合了一个额外的自我监督的对比损失,有助于产生更多的语义多样化的理由。啤酒评论数据集上的实验结果表明,我们的方法显着提高合理化性能。
2022-05-13 cs.CL cs.IR cs.LG
Can Rationalization Improve Robustness?
Princeton University(普林斯顿大学)
越来越多的工作已经研究了神经NLP模型的发展,这些模型可以产生合理性-可以解释其模型预测的输入子集。在本文中,我们问这样的基本原理模型是否也可以提供鲁棒性对抗攻击除了他们的可解释的性质。由于这些模型需要在做出预测(“预测器”)之前首先生成理由(“合理化器”),因此它们有可能通过简单地将其从生成的理由中屏蔽出来而忽略噪音或不利添加的文本。为此,我们系统地生成各种类型的“AddText”攻击的令牌和文件级合理化任务,并在五个不同的任务进行了广泛的经验评估的国家的最先进的理由模型。我们的实验表明,合理化模型显示出提高鲁棒性的承诺,而他们在某些情况下的斗争-当合理化是敏感的位置偏差或词汇选择的攻击文本。此外,利用人的理性作为监督并不总是转化为更好的业绩。我们的研究是探索合理化然后预测框架中可解释性和鲁棒性之间相互作用的第一步。
2022-05-03 cs.CL cs.CR cs.LG
Rethinking Cooperative Rationalization: Introspective Extraction and Complement Control
IBM Research(IBM研究院);MIT(麻省理工学院);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
选择性合理化已经成为一种常见的机制,以确保预测模型揭示它们如何使用任何可用的功能。选择可以是软的或硬的,并且识别与预测相关的输入特征的子集。这个设置可以被看作是选择器(又称基本原理生成器)和预测器之间的合作游戏,只使用选定的功能。然而,由于两个原因,合作环境可能会受到损害。首先,生成器通常不能直接存取它旨在证明的结果,从而导致性能差。第二,通常没有对选择之外的信息施加控制。我们修订了整体合作框架,以应对这些挑战。我们引入了一个内省模型,明确预测,并将结果纳入选择过程。此外,我们通过对手明确控制的理由补充,以免留下任何有用的信息的选择。我们发现,这两个互补的机制保持高的预测准确性,并导致全面的理由。
2019-12-15 cs.CL cs.LG
ZARA: Improving Few-Shot Self-Rationalization for Small Language Models
National Taiwan University(国立台湾大学);National Yang Ming Chiao Tung University(国立阳明交通大学);Academia Sinica(中央研究院)
针对小型语言模型难以利用解释进行少样本自理性化的问题,提出ZARA方法,通过将合理性判断转化为自然语言推理自动构建伪并行数据,在FEB基准上达到SOTA性能。
2023-10-23 cs.CL
Self-rationalization improves LLM as a fine-grained judge
Collinear AI(科林尼尔人工智能公司)
本研究提出Self-Rationalization自理性化迭代方法,通过让大语言模型评判器生成多组带理由的判断、构建偏好对数据集并经DPO迭代微调,提升细粒度打分的理由质量与准确率,超越多种更大规模的基线模型。
2024-10-07 cs.CL
Adversarial Attack for Explanation Robustness of Rationalization Models
School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院);iWudao Tech(悟道科技)
本文提出UAT2E对抗攻击方法,在不改变预测的情况下削弱合理化模型的可解释性,实验揭示其脆弱性并提出改进建议。
2024-09-19 cs.CL
A Game Theoretic Approach to Class-wise Selective Rationalization
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院);CSAIL MIT(麻省理工学院计算机科学与人工智能实验室)
选择输入特征(如相关文本)已成为突出复杂神经预测器如何运作的常用技术。选择可以针对训练模型进行事后优化,或者直接纳入方法本身(自我解释)。然而,全面的选择并不能正确地捕捉到有用的理论基础的多方面性质,例如决策的利弊。为此,我们提出了一种新的博弈论方法,以类相关的合理化,该方法是专门训练,以突出证据支持替代结论。每一个类涉及三个球员建立竞争,以寻找事实和反事实的情况下的证据。我们从理论上展示了在一个简化的情况下,游戏如何驱动解决方案对有意义的类依赖的理由。我们评估的方法在单方面和多方面的情感分类任务,并证明所提出的方法是能够识别事实(证明地面真相标签)和反事实(反对地面真相标签)与人类合理化的理由。我们的方法的代码是公开的。
2019-10-28 cs.CL cs.LG stat.ML
Does Self-Rationalization Improve Robustness to Spurious Correlations?
Massachusetts Institute of Technology(麻省理工学院);Allen Institute for AI(艾伦人工智能研究所);University of Utah(犹他大学)
抽象化是人类推理和学习的基础。被训练来产生推理和预测的NLP模型,称为自我合理化模型,已经研究了它们对最终用户的可解释性和实用性。然而,在何种程度上与人类书面的理由培训促进学习仍然是一个未充分探讨的问题。我们要问的是,自我合理化的训练模型是否有助于他们学习以正确的理由解决任务。具体来说,我们评估了如何训练自合理化模型与自由文本的理由影响鲁棒性虚假的相关性微调编码器-解码器和解码器的六种不同大小的模型。我们通过测量1)手动注释的挑战数据集和2)原始测试集的子集的性能来评估对虚假相关性的鲁棒性,其中依赖虚假相关性将无法产生正确的答案。我们发现,虽然自我合理化可以提高鲁棒性虚假的相关性在低资源设置,它往往会伤害鲁棒性在较高的资源设置。此外,这些影响取决于模型系列和大小,以及基本原理内容。总之,我们的研究结果表明,可解释性可能会以健壮性为代价;因此,在训练自我合理化模型时应适当注意,以创建更值得信赖的模型。
2022-10-24 cs.AI cs.CL
Characterizing Large Language Models as Rationalizers of Knowledge-intensive Tasks
Arizona State University(亚利桑那州立大学);Megagon Labs(美高仑实验室)
本研究探究LLM为知识密集型任务生成知识引导合理化解释的能力,发现其生成的解释优于众包版本但仍有不足,且错误预测的解释会降低人类信任,据此提出两阶段审查流水线以实现可信推理生成。
2024-01-31 cs.AI cs.CL
Knowledge-Grounded Self-Rationalization via Extractive and Natural Language Explanations
UC San Diego(加州大学圣地亚哥分校);University of Oxford(牛津大学);TU Wien(维也纳工业大学)
生成提取依据的模型(即,特征的子集)或自然语言解释(NLE)来进行预测对于可解释的AI是重要的。虽然提取的基本原理提供了对预测最负责任的特征的快速视图,但NLE允许对预测背后的决策过程进行全面描述。然而,目前的模型,产生最好的提取原理或NLE往往落后于国家的最先进的(SOTA)的任务性能。在这项工作中,我们通过引入RExC来弥合这一差距,RExC是一个自我合理化的框架,它的预测和背景知识中的两种互补类型的解释(NLE和提取理性)。我们的框架通过以下方式改进了以前的方法:(i)在提供解释的同时达到SOTA任务性能,(ii)提供两种类型的解释,而现有模型通常只提供一种类型,以及(iii)在两种类型的解释质量方面大幅击败以前的SOTA。此外,在RExC的扰动分析表明,解释和预测之间的高度关联,忠实的解释的必要属性。
2022-09-16 cs.AI cs.CL cs.LG
Self-training with Few-shot Rationalization: Teacher Explanations Aid Student in Few-shot NLU
The Ohio State University(俄亥俄州立大学);Microsoft Research(微软研究院)
虽然预训练的语言模型在几个自然语言理解任务中获得了最先进的性能,但它们在决策过程中非常不透明。虽然最近的一些工作专注于通过突出文本中的突出概念作为理由或理由来合理化神经预测,但它们依赖于数千个标记的训练样本用于任务标签以及注释的每个实例的理由。对于许多任务来说,获得这种广泛的大规模注释是不可行的。为此,我们开发了一个多任务的教师-学生框架的基础上自我训练语言模型有限的任务特定的标签和理由,明智的样本选择,从信息丰富的伪标记的例子1。我们研究了构成良好理论基础的几个特征,并证明了神经模型的性能可以通过使其意识到其合理化预测来显着提高,特别是在低资源环境中。在多个基准数据集上的实验证明了该方法的有效性。
2021-09-17 cs.CL
Understanding Interlocking Dynamics of Cooperative Rationalization
MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);CSAIL MIT(麻省理工学院计算机科学与人工智能实验室);UC Santa Barbara(加州大学圣巴巴拉分校)
选择性合理化解释了复杂神经网络的预测,通过找到一个小的输入子集,足以预测神经模型的输出。选择机制通常通过指定一个由基本原理生成器和预测器组成的两个组件级联系统集成到模型本身中,该基本原理生成器对输入特征(即基本原理)进行二进制选择,预测器仅基于所选特征预测输出。这些组件被联合训练以优化预测性能。在本文中,我们揭示了这种合作合理化范式的一个主要问题-模型联锁。当预测因子过度拟合生成器选择的特征时,联锁就会出现,从而加强生成器的选择,即使所选的基本原理是次优的。连锁问题的根本原因是合理化目标是凹的发电机的选择政策,以最小化。我们提出了一个新的合理化框架,称为A2 R,它引入了第三个组成部分的架构,预测驱动的软注意力,而不是选择。生成器现在实现了对特征的软注意力和硬注意力,并且这些被馈送到两个不同的预测器中。虽然生成器仍然寻求支持原始预测器性能,但它也最小化了两个预测器之间的差距。正如我们将从理论上证明的那样,由于基于注意力的预测器具有更好的凸性,因此A2 R可以克服凸性障碍。我们在两个合成基准和两个真实数据集上的实验表明,A2 R可以显着缓解联锁问题,并找到更好地符合人类判断的解释。我们在https://github.com/Gorov/Understanding_Interlocking上发布代码。
2021-10-26 cs.AI cs.CL cs.LG
CREST: A Joint Framework for Rationalization and Counterfactual Text Generation
Instituto de Telecomunicações(电信研究所);Instituto Superior Técnico(里斯本高等理工学院);LUMLIS (Lisbon ELLIS Unit)(LUMLIS(里斯本ELLIS单元));Massachusetts Institute of Technology(麻省理工学院);Unbabel(Unbabel公司)
本文提出 CREST 联合框架,将选择性合理化与反事实文本生成相结合,通过新损失函数利用反事实正则化理由,提升反事实质量、模型鲁棒性与可解释性。
2023-05-26 cs.CL
Improving Language Model Personas via Rationalization with Psychological Scaffolds
University of Southern California(南加州大学);Apple(苹果公司)
针对现有语言模型人格构建未挖掘用户判断底层推理的问题,提出PB&J框架,借助心理学支架生成理论锚定的用户行为理由,在偏好预测任务上表现优于基线且媲美人工理由方案。
2025-05-20 cs.CL
Boosting Explainability through Selective Rationalization in Pre-trained Language Models
Hefei University of Technology(合肥工业大学);School of Computer Science and Information Engineering(计算机与信息工程学院);School of Computer Science(计算机学院)
针对选择性合理化用于PLM时因token同质性导致的理由退化问题,本文提出PLMR,通过生成器剪枝无关token、预测器利用全文规范预测,提升了可解释性与有效性。
2025-01-03 cs.AI cs.CL
Flexible Instance-Specific Rationalization of NLP Models
Department of Computer Science, University of Sheffield(谢菲尔德大学计算机科学系)
最近对自然语言处理中模型可解释性的研究广泛使用特征评分方法来识别输入的哪些部分对于模型进行预测(即解释或理由)是最重要的。然而,以前的研究表明,在各种文本分类任务中没有明确的最佳评分方法,而从业者通常必须就长度和基本原理的类型(例如短或长,连续或不连续)做出其他几个特别的选择。受此启发,我们提出了一种简单而有效且灵活的方法,可以为每个数据实例进行最佳选择:(1)特征评分方法;(2)长度;(3)基本原理的类型。我们的方法的灵感来自输入擦除方法的可解释性,假设预测的最忠实的理由应该是一个模型的输出分布之间的最高差异使用全文和文本后删除的理由作为输入分别。在四个标准文本分类数据集上的评价表明,与使用固定的特征评分方法、合理长度和类型相比,该方法提供了更忠实、更全面和更充分的解释。更重要的是,我们证明了一个从业者是不需要作出任何特设的选择,以提取忠实的理由使用我们的方法。
2021-12-06 cs.AI cs.CL
Towards Trustworthy Explanation: On Causal Rationalization
University of California Irvine(加州大学欧文分校);IQVIA(艾昆纬)
针对现有基于关联的合理化方法在处理高度相关片段时无法识别真正理由的伪相关问题,提出因果合理化方法,通过引入非伪相关性和效率两个因果要求,基于结构因果模型定义因果概率以学习充分且必要的理由,并在真实数据集上验证了其优越性能。
2023-09-09 cs.AI cs.CL cs.LG
Plausible Extractive Rationalization through Semi-Supervised Entailment Signal
Nanyang Technological University(南洋理工大学);A*STAR, IHPC(新加坡科技研究局,高性能计算研究院)
本文提出一种半监督方法,利用预训练NLI模型在少量监督理据上微调,通过蕴含对齐为解释器提供监督信号,优化抽取式理据的合理性,在ERASER数据集上取得与监督模型相当且远超无监督方法的效果。
2024-11-12 cs.CL
You Only Forward Once: Prediction and Rationalization in A Single Forward Pass
Central South University(中南大学)
针对无监督理由抽取两阶段RNP框架假设过严、存在互锁与虚假关联问题,提出单阶段YOFO框架,通过预训练语言模型前向传播中逐步移除不重要token同步完成预测与理由抽取,在两个数据集上token级F1最高提升18.4%。
2023-11-04 cs.AI cs.CL
Persuasiveness of Generated Free-Text Rationales in Subjective Decisions: A Case Study on Pairwise Argument Ranking
University of Pittsburgh(匹兹堡大学);Microsoft(微软公司)
本研究针对主观决策场景,以成对论点排序任务为案例,评估9款大语言模型生成自由文本理由的说服力,发现开源模型Llama2-70B-chat表现优于GPT系列,且可通过提示控参或自精炼提升理由说服力。
2024-06-20 cs.CL
Rationalization Models for Text-to-SQL
IBM T.J. Watson Research Center(IBM T.J.沃森研究中心)
本研究提出生成CoT推理依据的框架,通过手动标注少量示例、迭代动态少样本知识蒸馏训练合理化模型,为text-to-SQL数据集生成合成标注,实验证明该方法可提升小模型在BIRD数据集上的执行准确率与可解释性。
2025-03-20 cs.AI cs.CL cs.DB
Tailoring Self-Rationalizers with Multi-Reward Distillation
University of Southern California(南加州大学);University of Washington(华盛顿大学);University of California Los Angeles(加州大学洛杉矶分校);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本文提出多奖励蒸馏方法MaRio,使小规模语言模型生成更合理、一致且多样的自我合理化,提升问答性能,优于监督微调基线。
2024-05-22 cs.CL
Measuring Association Between Labels and Free-Text Rationales
Georgia Institute of Technology(佐治亚理工学院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学)
在可解释的NLP中,我们需要忠实的基本原理来反映模型对解释实例的决策过程。虽然以前的工作集中在提取的理由(输入词的子集),我们调查他们较少研究的对应:自由文本自然语言的理由。我们证明了管道,现有的模型忠实提取合理化信息提取风格的任务,不可靠地扩展到“推理”任务,需要自由文本的理由。我们转向模型,共同预测和合理化,一类广泛使用的高性能模型的自由文本合理化,其忠实性尚未建立。我们将标签-理性关联定义为忠诚的必要属性:产生标签和理性的模型的内部机制必须是有意义的相关。我们提出了两个测量来测试这个属性:鲁棒性等价和特征重要性协议。我们发现,国家的最先进的T5为基础的联合模型表现出合理化常识问答和自然语言推理的属性,表明他们的潜力产生忠实的自由文本的理由。
2022-08-29 cs.CL
Are Machine Rationales (Not) Useful to Humans? Measuring and Improving Human Utility of Free-Text Rationales
University of Southern California(南加州大学);Tsinghua University(清华大学);Meta AI;Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学)
本研究探讨大型语言模型生成的自由文本解释对人类问答的效用,发现现有解释效用不足且现有指标无法有效评估,提出自动评分GEN-U以改善解释的人类效用,同时保持任务性能。
2023-05-11 cs.AI cs.CL cs.LG
Reasoner Outperforms: Generative Stance Detection with Rationalization for Social Media
North Carolina State University(北卡罗来纳州立大学)
本研究提出一种生成式立场检测方法,通过将可解释的推理理由整合到小型语言模型中,使其超越GPT-3.5的零样本性能,并推进构建可信赖的社交媒体系统。
2025-06-28 cs.CL
Natural Language Rationales with Full-Stack Visual Reasoning: From Pixels to Semantic Frames to Commonsense Graphs
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院)
自然语言理论可以提供直观的、更高层次的解释,这些解释很容易被人类理解,补充了更广泛研究的基于梯度或注意力权重的低层次解释。我们提出的第一项研究集中在几个复杂的视觉推理任务:视觉常识推理,视觉文本蕴涵,视觉问答生成自然语言的理由。准确合理化的关键挑战是在各个层面上全面理解图像:不仅是像素层面的明确内容,而且是语义和语用层面的上下文内容。我们提出了Rationale^VT Transformer,这是一个集成模型,它通过将预训练的语言模型与对象识别、接地的视觉语义框架和视觉常识图相结合来学习生成自由文本的基本原理。我们的实验表明,基础预训练语言模型受益于视觉适应和自由文本合理化是一个很有前途的研究方向,以补充模型的可解释性复杂的视觉-文本推理任务。
2020-10-15 cs.CL cs.CV
D-Separation for Causal Self-Explanation
Huazhong University of Science and Technology(华中科技大学);iWudao Tech(iWudao科技公司)
本文提出最小条件依赖(MCD)准则,利用D-分离原理迫使模型选择标签的全部因果特征,实验表明相比基于MMI的方法F1分数最多提升13.7%。
2023-10-31 cs.AI cs.CL
Faithful or Fabricated? A Causal Framework for Rationalization Bias in LLM Judges
School of Computing and Electrical Engineering(计算与电子工程学院);Indian Institute of Technology (IIT) Mandi(印度理工学院(IIT)曼迪);London U.K.(伦敦英国);Warwick Manufacturing Group U.K.(沃里克制造集团英国)
提出因果框架研究 LLM 评判者对非证据线索的依赖,通过线索干预和锚定度量揭示其合理化偏差,并验证证据锁定策略的有效性。
2026-05-13 cs.CL
CoKe: Customizable Fine-Grained Story Evaluation via Chain-of-Keyword Rationalization
University of Southern California(南加州大学);Amazon AGI Foundations(亚马逊AGI基础研究部);University of Massachusets Amherst(马萨诸塞大学阿默斯特分校)
针对创意文本评估中自洽性推理的目标错配问题,提出先生成关键词再生成理据的CoKe方法,在StoryER数据集上以小模型实现超GPT-4的人类级评估性能且参数量更低。
2025-03-21 cs.CL
Few Shot Rationale Generation using Self-Training with Dual Teachers
Carnegie Mellon University(卡内基梅隆大学);Amazon(亚马逊)
针对少样本且缺乏大规模人工理由与标签的场景,提出双教师自训练框架及MLR损失,将预测与理由教师蒸馏给多任务学生,提升标签建模和忠实理由生成。
2023-06-05 cs.AI cs.CL
ILLUME: Rationalizing Vision-Language Models through Human Interactions
German Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);TU Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心);LAION;Aleph Alpha
ILLUME 通过人类对候选理性依据的偏好反馈进行迭代微调,使视觉-语言模型的推理与人类意图对齐,在仅需极少数据和反馈的条件下达到与标准监督微调相当的性能。
2023-05-31 cs.AI cs.CL cs.CV
PromptCoT: Synthesizing Olympiad-level Problems for Mathematical Reasoning in Large Language Models
The University of Hong Kong(香港大学);Ant Group(蚂蚁集团)
PromptCoT通过模拟竞赛级问题设计者的思维过程,自动生成高质量数学问题,提升大型语言模型的数学推理能力。
2025-03-04 cs.AI cs.CL cs.LG
WISE: Weak-Supervision-Guided Step-by-Step Explanations for Multimodal LLMs in Image Classification
Faculty of Engineering, Monash University(墨尔本大学工程学院);AIM for Health Lab, Faculty of IT, Monash University(墨尔本大学信息技术学院健康人工智能实验室)
本文提出WISE方法,在弱监督下将概念瓶颈模型表示转化为多模态思维链,为图像分类数据集增补可解释推理链,实验表明可解释性提升37%且微调后分类准确率提高。
2025-09-22 cs.CL cs.CV