Influence Tuning: Demoting Spurious Correlations via Instance Attribution and Instance-Driven Updates
University of Washington（华盛顿大学）
深度学习NLP模型最关键的限制之一是缺乏可解释性，以及依赖于虚假的相关性。先前的工作提出了各种方法来解释黑盒模型，以揭示虚假的相关性，但该研究主要用于人机交互场景。它仍然是未充分探索是否或如何这样的模型解释可以用来自动“忘记”混淆功能。在这项工作中，我们提出了影响调整-一个利用模型解释来更新模型参数的过程，除了学习预测任务标签之外，还可以实现合理的解释（而不是依赖于数据中虚假模式的解释）。我们表明，在受控设置中，影响调整可以帮助从数据中的虚假模式中消除模型，显著优于使用对抗训练的基线方法。
2021-10-07 cs.CL
Adversarial Attacks on Knowledge Graph Embeddings via Instance Attribution Methods
Trinity College Dublin（都柏林三一学院）；TU Dublin（都柏林理工大学）；Accenture Labs（埃森哲实验室）
尽管知识图谱嵌入（KGE）被广泛使用，但人们对可能破坏其预期行为的安全漏洞知之甚少。我们研究了针对链接预测的KGE模型的数据投毒攻击。这些攻击在训练时进行对抗性的添加或删除，从而在测试时导致模型失败。为了选择对抗性删除，我们建议使用来自可解释机器学习的模型不可知的实例归因方法，该方法识别对神经模型对测试实例的预测最有影响的训练实例。我们使用这些有影响力的三元组作为对抗性删除。我们进一步提出了一个探试法来替换每个有影响力的三元组中的两个实体之一，以生成对抗性添加。我们的实验表明，所提出的策略优于最先进的数据投毒攻击KGE模型，并改善MRR下降，由于攻击高达62%的基线。
2021-11-04 cs.AI cs.CL cs.LG
T5 meets Tybalt: Author Attribution in Early Modern English Drama Using Large Language Models
Cornell University（康奈尔大学）
本文研究大型语言模型在早期现代英语戏剧作者归属中的应用，发现微调后的 t5-large 在小段落归属上优于逻辑回归、线性核 SVM 和 cosine delta 等基线，但模型存在自信误判及预训练数据作者偏差等隐患。
2023-10-27 cs.CL cs.LG
Asymmetric feature interaction for interpreting model predictions
City University of Hong Kong（香港城市大学）；Harbin Institute of Technology（哈尔滨工业大学）；The Hong Kong Polytechnic University（香港理工大学）
本文提出非对称特征交互归因解释模型，用有向交互图揭示深度神经NLP模型推理中的非对称高阶特征交互，并在两个情感分类数据集上验证其优于现有方法。
2023-10-26 cs.CL
Hyperdecoders: Instance-specific decoders for multi-task NLP
Allen Institute for AI（艾伦人工智能研究所）
我们研究了NLP中多任务的输入条件超网络，使用编码器输出条件的超网络为解码器生成参数有效的自适应。这种方法为每个输入实例产生一个唯一的解码器自适应，使网络比以前的工作更大程度的灵活性，每个任务只产生一个解码器自适应。我们将我们的方法应用于序列分类任务，提取QA和总结，并发现它超越了以前的参数高效微调方法，并经常优于完全微调的基础模型。对我们的超网络所使用的嵌入的分析表明，它们对输出标签和类型敏感，这表明我们的方法可以更好地从编码器表示映射到输出标签。我们的代码可在https://github.com/allenai/hyperdecoders上公开获取。
2022-10-18 cs.CL
Revealing the Parametric Knowledge of Language Models: A Unified Framework for Attribution Methods
University of Copenhagen（哥本哈根大学）
本文提出统一评估框架系统比较实例归因(IA)与神经元归因(NA)在揭示语言模型参数化知识上的表现，引入NA-Instances与IA-Neurons对齐方法并设计忠实性测试，发现NA揭示更全面信息而IA提供独特洞察，二者结合有望实现更整体的理解。
2024-04-29 cs.AI cs.CL
Towards Improving Selective Prediction Ability of NLP Systems
Arizona State University（亚利桑那州立大学）
与其回答错误，不如说“我不能回答”。这种选择性的预测能力对于NLP系统在现实世界中的可靠部署至关重要。先前的工作已经表明，现有的选择性预测技术不能很好地执行，特别是在域外设置。在这项工作中，我们提出了一种方法，通过使用预测置信度和实例的难度得分来校准模型，从而提高模型的概率估计。使用这两个信号，我们首先注释出的实例，然后训练校准器来预测模型预测正确性的可能性。我们实例化我们的方法与自然语言推理（NLI）和重复检测（DD）的任务，并评估它在域（IID）和域外（OOD）设置。在（IID，OOD）设置中，我们表明，我们的校准器学习的表示结果在NLI和DD任务上分别比“MaxProb”（选择性预测基线）提高了（15.81%，5.64%）和（6.19%，13.9%）。
2022-04-07 cs.CL cs.LG
Authorship attribution via network motifs identification
University of Toronto（多伦多大学）；University of São Paulo（圣保罗大学）
复杂网络的概念和方法可以用来分析不同复杂程度的文本。通过网络拓扑分析研究的自然语言处理（NLP）任务的例子是关键字识别，自动提取摘要和作者归属。尽管已经有大量的网络测量方法被应用于研究作者归属问题，但使用主题进行文本分析仅限于少数作品。本文的目的是应用主题的概念，经常性的互联模式，在作者归属任务。从共现网络中提取所有13个有向基序的绝对频率，并将其作为分类特征。这些功能的有效性进行了验证与四个机器学习方法。研究结果表明，母题能够区分不同作者的写作风格。在我们最好的情况下，57.5%的书籍被正确分类。这个问题的概率基线是12.5%。此外，我们还发现虚词在这些重复模式中起着重要的作用。综上所述，我们的研究结果表明，在其他相关的语言任务中，应该进一步探讨母题。
2016-07-23 cs.CL
Interpreting Graph Neural Networks for NLP With Differentiable Edge Masking
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
图神经网络（GNN）已成为将结构归纳偏差集成到NLP模型中的流行方法。然而，很少有人解释它们，特别是理解图的哪些部分（例如语法树或共指结构）有助于预测。在这项工作中，我们引入了一种事后方法来解释GNN的预测，该方法可以识别不必要的边缘。给定一个经过训练的GNN模型，我们学习一个简单的分类器，对于每一层中的每个边缘，预测该边缘是否可以被丢弃。我们证明，这样的分类器可以训练在一个完全可区分的方式，采用随机门，并鼓励稀疏通过预期的$L_0$规范。我们使用我们的技术作为一种归因方法来分析GNN模型的两个任务-问答和语义角色标注-提供洞察这些模型中的信息流。我们表明，我们可以在不降低模型性能的情况下丢弃大部分边缘，同时我们可以分析剩余的边缘以解释模型预测。
2022-10-03 cs.CL cs.LG stat.ML
Towards Scalable and Reliable Capsule Networks for Challenging NLP Applications
Technische Universität Darmstadt（达姆施塔特工业大学）；Nanyang Technological University（南洋理工大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
阻碍胶囊网络开发具有挑战性的NLP应用的障碍包括大输出空间的可扩展性差和路由过程不可靠。在本文中，我们引入：1）协议分数来评估实例级别路由过程的性能; 2）自适应优化器，以增强路由的可靠性; 3）封装压缩和部分路由，以提高封装网络的可扩展性。我们验证了我们的方法在两个NLP任务，即：多标签文本分类和问答。实验结果表明，我们的方法大大提高了强大的竞争对手在这两个任务。此外，我们在低资源环境中获得了最好的结果，只有很少的训练实例。
2019-06-06 cs.CL
Aligning NLP Models with Target Population Perspectives using PAIR: Population-Aligned Instance Replication
University of Maryland, College Park（马里兰大学 College Park 分校）；LMU Munich & Munich Center for Machine Learning（慕尼黑大学及慕尼黑机器学习中心）；RTI International（RTI国际）
针对众包标注模型因标注员非代表性无法反映群体观点的问题，提出PAIR后处理方法，通过复制代表性不足群体的标注匹配群体比例，在模拟研究中纠正了模型校准问题，还给出了提升数据代表性和模型性能的建议。
2025-08-25 cs.CL stat.ME
Latent Concept-based Explanation of NLP Models
Faculty of Computer Science, Dalhousie University（达尔豪斯大学计算机科学学院）；Qatar Computing Research Institute, Hamad Bin Khalifa University（哈马德·本·哈利法大学卡塔尔计算研究所）
针对现有NLP模型解释方法依赖离散词汇、信息量不足的问题，提出潜在概念归因方法LACOAT，通过将显著输入词表征映射到训练潜在空间，基于语境化潜在概念生成预测解释。
2024-10-07 cs.CL
Disentangling Curriculum Learning in NLP: Towards a Unifying Taxonomy
University of Bonn（波恩大学）；Lamarr Institute（拉马尔研究所）；Fraunhofer IAIS（弗劳恩霍夫人工智能研究所）
自然语言处理中课程学习缺乏难度函数和调度器的原则性说明，本文提出细粒度分类法，区分难度评估与训练调度，用于系统分析CL策略，揭示不可比性问题，支持策略设计等，并推动改进来源区分的评估实践。
2026-08-26 cs.CL
Model Cascading: Towards Jointly Improving Efficiency and Accuracy of NLP Systems
Arizona State University（亚利桑那州立大学）
是否所有的实例都需要通过大模型进行推理才能得到正确的预测？也许不是;有些实例很容易，甚至可以通过小容量模型正确回答。这为提高系统的计算效率提供了机会。在这项工作中，我们提出了一个探索性的研究“模型预测”，一个简单的技术，利用不同的能力，准确而有效地输出预测模型的集合。通过在多个任务设置中进行全面的实验，这些任务设置在可用于级联的模型数量（K值）上不同，我们表明级联提高了计算效率和预测精度。例如，在K=3的设置中，级联节省了高达88.93%的计算成本，并始终如一地实现了高达2.18%的改进的卓越预测精度。我们还研究了在级联中引入额外模型的影响，并表明它进一步提高了效率。最后，我们希望我们的工作将促进高效NLP系统的开发，使其在现实世界中的应用成为可能。
2022-10-11 cs.AI cs.CL
Better than Average: Paired Evaluation of NLP Systems
EPFL（洛桑联邦理工学院）；Technische Universität Darmstadt（达姆施塔特工业大学）
NLP中的评估通常是通过比较竞争系统在一组公共测试实例上独立平均的分数来完成的。在这项工作中，我们的问题使用的平均值汇总评估分数到一个最终的数字，用于决定哪个系统是最好的，因为平均值，以及替代品，如中位数，忽略了配对所产生的事实，系统进行评估相同的测试实例。我们说明的重要性，考虑到评估分数的实例级配对，并证明，在理论上和经验上，聚合方法的优势，基于成对比较，如布拉德利-特里（BT）模型，一种机制的基础上估计的概率，一个给定的系统得分优于另一个测试集。通过重新评估四个任务和18个评估指标的296个真实NLP评估设置，我们表明聚合机制的选择很重要，并得出不同的结论，即在大约30%的设置中，哪些系统是最先进的。为了促进成对评估的采用，我们发布了一个实用的工具，用于使用平均值，中位数，BT和BT的两种变体（Elo和TrueSkill）对评估分数进行全面分析，以及适当的统计测试功能。
2021-10-20 cs.AI cs.CL
Flexible Instance-Specific Rationalization of NLP Models
Department of Computer Science, University of Sheffield（谢菲尔德大学计算机科学系）
最近对自然语言处理中模型可解释性的研究广泛使用特征评分方法来识别输入的哪些部分对于模型进行预测（即解释或理由）是最重要的。然而，以前的研究表明，在各种文本分类任务中没有明确的最佳评分方法，而从业者通常必须就长度和基本原理的类型（例如短或长，连续或不连续）做出其他几个特别的选择。受此启发，我们提出了一种简单而有效且灵活的方法，可以为每个数据实例进行最佳选择：（1）特征评分方法;（2）长度;（3）基本原理的类型。我们的方法的灵感来自输入擦除方法的可解释性，假设预测的最忠实的理由应该是一个模型的输出分布之间的最高差异使用全文和文本后删除的理由作为输入分别。在四个标准文本分类数据集上的评价表明，与使用固定的特征评分方法、合理长度和类型相比，该方法提供了更忠实、更全面和更充分的解释。更重要的是，我们证明了一个从业者是不需要作出任何特设的选择，以提取忠实的理由使用我们的方法。
2021-12-06 cs.AI cs.CL
KnowDA: All-in-One Knowledge Mixture Model for Data Augmentation in Low-Resource NLP
Macquarie University（麦考瑞大学）；Peking University（北京大学）；Microsoft Corporation（微软公司）
本文主要研究训练集有限的低资源NLP任务的数据增强。现有的解决方案或者利用与任务无关的启发式规则（例如，同义词替换）或微调通用预训练语言模型（例如，GPT 2）使用有限的训练实例来产生新的合成数据。因此，它们具有琐碎的特定于任务的知识，并且限于产生低质量的合成数据。为了解决这个问题，我们提出了知识混合数据增强模型（KnowDA），这是一个Seq 2Seq语言模型，在知识混合训练（KoMT）的新框架下，对不同的NLP任务进行了预训练。KoMT的目标是将不同的NLP任务特定知识浓缩到单个KnowDA模型中（即，使KnowDA能够利用这些知识，通过有限的训练实例，快速掌握目标任务的内在合成规律。具体而言，KoMT将来自各种异构NLP任务的输入示例重新格式化为统一的文本到文本格式，并采用不同粒度的去噪训练目标来学习重建部分或完整样本。据我们所知，我们是第一次尝试将100+ NLP多任务训练应用于数据增强。广泛的实验表明i）由KnowDA产生的合成数据成功地提高了强预训练语言模型的性能（即，BERT，ALBert和Deberta）在低资源的NLP基准FewGLUE，CoNLL'03和WikiAnn上获得了很大的优势; ii）KnowDA成功地将任务知识转移到NLP任务，其类型在KoMT中可见和不可见。
2023-01-27 cs.CL
Towards Improving Adversarial Training of NLP Models
University of Virginia（弗吉尼亚大学）
对抗性训练是一种用于学习鲁棒深度神经网络的方法，在训练期间构建对抗性示例。然而，最近生成NLP对抗性示例的方法涉及组合搜索和昂贵的句子编码器来约束生成的实例。因此，使用普通对抗训练来提高NLP模型的性能仍然具有挑战性，并且其好处主要是未经调查的。本文提出了一种简单的改进的NLP模型对抗训练过程，我们称之为攻击训练（A2T）。A2T的核心部分是一种新的、更便宜的词替换攻击，针对普通对抗训练进行了优化。我们使用A2T在IMDB、Rotten Tomatoes、Yelp和SNLI数据集上训练BERT和RoBERTa模型。我们的研究结果表明，它是可能的训练强大的NLP模型使用一个更便宜的对手。我们证明了使用A2T的香草对抗训练可以提高NLP模型对最初训练的攻击的鲁棒性，并且还可以保护模型免受其他类型的单词替换攻击。此外，我们表明，A2T可以提高NLP模型的标准精度，跨领域泛化和可解释性。代码可在https://github.com/QData/Textattack-A2T上获得。
2021-09-11 cs.AI cs.CL cs.LG
CoDa: Constrained Generation based Data Augmentation for Low-Resource NLP
University of Maryland（马里兰大学）；NVIDIA（英伟达公司）
CoDa通过从低资源数据中提取简单约束并提示大语言模型生成多样化训练样本，实现无需训练的可控数据增强，在11个数据集上优于基线方法。
2024-03-30 cs.CL
Defending against Insertion-based Textual Backdoor Attacks via Attribution
University of Michigan（密歇根大学）；NVIDIA（英伟达）；University of Wisconsin Madison（威斯康星大学麦迪逊分校）；Arizona State University（亚利桑那州立大学）
本文提出基于归因的防御流程AttDef，通过识别高归因词元作为潜在触发器并结合外部预训练语言模型检测投毒输入，在BadNL和InSent两种插入式文本后门攻击上取得最优防御效果。
2023-08-07 cs.AI cs.CL cs.CR
RLAP: A Reinforcement Learning Enhanced Adaptive Planning Framework for Multi-step NLP Task Solving
Fudan University（复旦大学）
本文提出 RLAP 框架，将 NLP 任务建模为 MDP，并用强化学习训练轻量级 Actor 估计状态-动作序列 Q 值，从而结合语言特征与 LLM 自适应确定子任务顺序。
2025-05-17 cs.AI cs.CL
Guide the Learner: Controlling Product of Experts Debiasing Method Based on Token Attribution Similarities
University of Qom（库姆大学）；Tehran Institute for Advanced Studies, Khatam University（哈塔姆大学德黑兰高等研究院）；LMU Munich（慕尼黑大学）
近年来，已经提出了几个建议，通过减轻数据集偏差来改善分布外（OOD）性能。一种流行的解决方法是通过基于二次偏置模型重新加权训练样本来训练鲁棒模型。这里，潜在的假设是有偏模型诉诸捷径特征。因此，由偏置模型正确预测的那些训练样本被标记为偏置的，并且在主模型的训练期间被降低权重。然而，仅仅基于有偏模型的预测来评估实例的重要性可能过于天真。主模型的预测可能来自于另一个决策过程，该决策过程与有偏模型的行为不同。为了规避这一点，我们引入了一个微调策略，将主要和偏见的模型归因分数之间的相似性，在产品的专家（PoE）损失函数，以进一步提高OOD性能。通过对自然语言推理和事实验证基准测试的实验，我们证明了我们的方法在保持分布式（ID）性能的同时提高了OOD结果。
2023-02-06 cs.CL
GenFighter: A Generative and Evolutive Textual Attack Removal
Boise State University（博伊西州立大学）；George Mason University（乔治梅森大学）
针对NLP中深度神经网络易受对抗攻击的问题，本文提出GenFighter防御策略，通过分布识别、语义转换与集成技术提升鲁棒性，实验证明其性能优于现有最优防御方法。
2024-04-17 cs.CL cs.LG
On the Limitations of Large Language Models (LLMs): False Attribution
Machine Learning Group, EISLAB, Luleå University of Technology（机器学习组、EISLAB、卢勒奥技术大学）
本文提出简单幻觉指数（SHI）度量LLM的虚假署名问题，在零样本下评估三种开源LLM对书籍片段作者预测的准确率与幻觉水平，验证SHI的可靠性并公开数据代码。
2025-07-17 cs.CL
Explaining Black-box Model Predictions via Two-level Nested Feature Attributions with Consistency Property
STAIR Lab, Chiba Institute of Technology（千叶技术学院STAIR实验室）；School of Mathematics and Statistics, The University of Melbourne（墨尔本大学数学与统计学学院）；ZOZO Research（ZOZO研究）
提出一种模型无关的局部解释方法，利用输入嵌套结构同时估计高层和低层特征归因，通过一致性属性桥接优化问题，减少查询次数，并在图像和文本分类实验中验证了准确性与忠实性。
2025-05-23 cs.AI cs.CL cs.CV
Concealed Data Poisoning Attacks on NLP Models
UC Berkeley（加州大学伯克利分校）；University of Maryland（马里兰大学）；UC Irvine（加州大学尔湾分校）
对抗攻击通过干扰测试时的输入来改变NLP模型的预测。然而，人们对预测是否以及如何通过对训练数据进行微小的隐藏更改来操纵的理解要少得多。在这项工作中，我们开发了一种新的数据投毒攻击，允许对手控制模型预测时，所需的触发短语存在于输入。例如，我们将50个毒药示例插入情感模型的训练集中，这使得模型在输入包含“James Bond”时经常预测Positive。至关重要的是，我们使用基于梯度的过程来制作这些毒药示例，以便它们不会提及触发短语。我们还将毒药攻击应用于语言建模（“Apple iPhone”触发负代）和机器翻译（“冰咖啡”误译为“热咖啡”）。最后，我们提出了三种防御措施，可以在预测准确性或额外的人工注释方面以一定的代价减轻我们的攻击。
2021-04-12 cs.CL
Can NLP Models 'Identify', 'Distinguish', and 'Justify' Questions that Don't have a Definitive Answer?
Arizona State University（亚利桑那州立大学）
针对无确定答案的问题，本文提出了QnotA数据集及识别、区分与证明三项评估任务，实验表明GPT-3等SOTA模型表现远不及人类基线，为构建更稳健的NLP系统提供了新方向。
2023-09-08 cs.CL
COMI-LINGUA: Expert Annotated Large-Scale Dataset for Multitask NLP in Hindi-English Code-Mixing
LINGO Research Group, Indian Institute of Technology Gandhinagar（LINGO研究组、印度理工学院冈丁纳格尔）
本文提出最大的人工标注印地语-英语语码混合数据集COMI-LINGUA，涵盖12.5万+实例与五项核心NLP任务，通过微调最先进LLM在多项任务上创下新基准。
2025-09-17 cs.AI cs.CL
CTDGSI: A comprehensive exploitation of instance selection methods for automatic text classification. VII Concurso de Teses, Dissertações e Trabalhos de Graduação em SI -- XXI Simpósio Brasileiro de Sistemas de Informação
Federal University of Minas Gerais（米纳斯吉拉斯联邦大学）
该博士论文系统比较自动文本分类中的实例选择方法，并提出面向噪声与冗余、适配大数据集和 transformer 的新方案，平均缩减41%训练数据且保持效果，并带来最高2.46倍加速。
2025-06-08 cs.AI cs.CL
One Model to Rule them all: Multitask and Multilingual Modelling for Lexical Analysis
当你学习一项新技能时，你会利用你先前的技能和知识。例如，如果你是一个熟练的小提琴手，你可能会有一个更容易学习演奏大提琴。同样，当你学习一门新语言时，你会利用你已经说的语言。例如，如果你的母语是挪威语，你决定学习荷兰语，这两种语言之间的词汇重叠可能会有利于你的语言习得速度。本论文在自然语言处理（NLP）的背景下研究了多任务学习和多语言学习的交叉点，自然语言处理可以定义为对人类语言的计算处理的研究。虽然这两种学习方式在表面上看起来不同，但我们会发现它们有许多相似之处。NLP的传统方法是一次考虑一种语言的单一任务。然而，最近的进展允许通过同时考虑多个任务和语言的数据来扩大这种方法。这是一个需要进一步探索的重要方法，因为提高NLP可靠性的关键，特别是对于低资源语言，是尽可能利用所有相关数据。在这样做的过程中，希望从长远来看，低资源语言可以从NLP的进步中受益，这些进步目前在很大程度上是为高资源语言保留的。这反过来可能会产生积极的影响，例如，语言保护，因为使用少数民族语言的人使用高资源语言的压力较小。在短期内，回答所提出的具体研究问题应该对致力于同一目标的NLP研究人员有用。
2017-11-03 cs.CL
Visualizing and Understanding Curriculum Learning for Long Short-Term Memory Networks
Carnegie Mellon University（卡内基梅隆大学）
课程学习强调计算学习设置中训练实例的顺序。核心假设是，应该尽早学习简单的实例，作为学习更复杂实例的构建块。尽管它很有用，但课程学习究竟如何影响模型的内部表征仍然是未知的。在本文中，我们研究了课程学习对长短期记忆（LSTM）网络的影响，LSTM网络在许多自然语言处理（NLP）问题中表现出很强的能力。我们在情感分析任务和类似于NLP中序列预测任务的合成任务上的实验表明，课程学习通过将模型偏向于构建建设性表示（即，将先前时间步的内部表示用作最终预测的构建块），对LSTM的内部状态产生了积极影响。我们还发现，当使用课程学习进行训练时，较小的模型会显着提高。最后，我们表明，当训练数据的量是有限的，课程学习帮助更多。
2016-11-18 cs.CL cs.LG cs.NE
Advancing NLP Models with Strategic Text Augmentation: A Comprehensive Study of Augmentation Methods and Curriculum Strategies
Yildiz Technical University（伊兹迪克技术大学）
本研究全面评估了多种文本增强技术与课程策略在NLP任务中的效果，提出了新颖的Modified Cyclical Curriculum Learning (MCCL)方法，证明其结合特定增强技术能显著提升模型分类性能并优化训练质量与速度的平衡。
2024-02-14 cs.AI cs.CL
Detection and Positive Reconstruction of Cognitive Distortion sentences: Mandarin Dataset and Evaluation
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；École polytechnique fédérale de Lausanne（洛桑联邦理工学院）
本文提出基于拓展—建构理论的积极重构框架，构建含4001条检测与1900条重构实例的普通话语料库，并利用多种NLP技术验证自动化认知扭曲检测与积极重构的有效性。
2024-05-24 cs.CL cs.HC
On Guaranteed Optimal Robust Explanations for NLP Models
University of Oxford（牛津大学）；University of Warmia and Mazury in Olsztyn（奥尔什丁瓦尔米亚-马祖里大学）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
我们建立在基于溯因的解释机器学习和开发的方法计算本地解释的神经网络模型在自然语言处理（NLP）。我们的解释包括一个子集的输入文本的话，满足两个关键特征：最优w.r.t.用户定义的成本函数，例如解释的长度和鲁棒性，因为它们确保了对于遗漏单词的嵌入空间中的任何有界扰动的预测不变性。我们提出了两种求解算法，分别基于隐式碰集和最大泛子集，介绍了一些算法的改进，以加快收敛的硬实例。我们展示了我们的方法如何在嵌入式空间中配置不同的扰动集，并通过对有偏项执行包含/排除约束来检测预测中的偏差，以及增强现有的基于几何的NLP解释框架，如修正器。我们评估我们的框架上三个广泛使用的情感分析任务和文本多达100字从SST，Twitter和IMDB数据集，证明了衍生的解释的有效性。
2021-05-14 cs.AI cs.CL
