Explaining Neural Network Predictions on Sentence Pairs via Learning Word-Group Masks
University of Virginia（弗吉尼亚大学）；IBM Research AI（IBM研究院AI）
解释神经网络模型对于增加其在现实世界应用中的可信度是重要的。大多数现有的方法生成事后解释神经网络模型通过识别单个特征属性或检测相邻特征之间的相互作用。然而，对于以文本对作为输入的模型（例如，释义识别），现有方法不足以捕获两个文本之间的特征交互，并且它们计算两个文本之间的所有词对交互的简单扩展在计算上是低效的。在这项工作中，我们提出了组掩码（GMASK）方法，通过将输入文本对中的相关单词分组在一起来隐式地检测单词相关性，并整体衡量它们对相应NLP任务的贡献。该方法在四个数据集上使用两种不同的模型架构（可分解注意力模型和BERT）进行评估，包括自然语言推理和释义识别任务。实验表明，GMASK在提供这些模型的忠实解释的有效性。
2021-04-13 cs.CL
A Multilingual Perspective Towards the Evaluation of Attribution Methods in Natural Language Inference
Boğaziçi University（博阿齐奇大学）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Technion – Israel Institute of Technology（以色列理工学院）
针对归因方法评估偏重英语的问题，本文提出基于词对齐的跨语言忠实性评估策略，结合多种输出与聚合机制全面评估 NLI 归因方法，并构建带高亮解释的多语言 XNLI 数据集。
2023-06-05 cs.AI cs.CL
Explaining the Reasoning of Large Language Models Using Attribution Graphs
University of Florida（佛罗里达大学）
CAGE框架通过归因图解释大语言模型的推理过程，提升上下文归因的准确性。
2025-12-17 cs.AI cs.CL
Temporally-Resolved Token Attribution Reveals the Generation Dynamics of Diffusion Language Models
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CentraleSupélec（巴黎中央理工-高等电力学院）
本文提出扩散层积分梯度（DLIG），一种用于扩散语言模型的 token 归因方法，通过扩展积分梯度至任意层和去噪步骤，揭示模型生成动态，并在词义消歧、多跳推理和句子填充任务中验证其有效性。
2026-10-02 cs.AI cs.CL cs.LG
Uniform Discretized Integrated Gradients: An effective attribution based method for explaining large language models
Wells Fargo International Solutions Private Limited（富国银行国际解决方案私人有限公司）
针对Integrated Gradients处理词嵌入离散空间的不足，本文提出UDIG方法，通过非线性插值路径计算归因分数，在情感分类（SST2等数据集）和问答（SQuAD微调BERT）任务的三类指标上均优于现有方法。
2024-12-05 cs.AI cs.CL
Explaining Pre-Trained Language Models with Attribution Scores: An Analysis in Low-Resource Settings
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Stuttgart（斯图加特大学）；Hochschule der Medien（媒体大学）；Technical University of Darmstadt（达姆施塔特工业大学）
本研究针对低资源场景下基于提示的模型归因分数质量未被探究的问题，纳入训练规模维度对比提示范式、微调模型及大语言模型的归因质量，发现低资源下提示范式解释更合理，沙普利值采样表现优于注意力和积分梯度。
2024-03-08 cs.CL
Explaining Caption-Image Interactions in CLIP Models with Second-Order Attributions
University of Stuttgart（斯图加特大学）
本文提出一种二阶归因方法解释CLIP模型的双编码器输入交互，揭示其标题与图像区域间的细粒度对应能力及不同类别间的性能差异与失败模式。
2025-08-13 cs.AI cs.CL cs.CV
More than Word Frequencies: Authorship Attribution via Natural Frequency Zoned Word Distribution Analysis
随着数字文本数据的日益普及和可用性，由于易于复制和解析，数字文本的作者身份不能被视为理所当然。本文提出了一种新的文本风格分析方法--自然频率分区词分布分析（NFZ-WDA），并在此基础上提出了一种基本的数字文本作者归属方案和一种开放的数字文本作者归属方案。NFZ-WDA是基于这样一种观察，即所有作者都会在他们所写的文本中留下独特的内在词汇使用痕迹，这些内在风格可以被识别并用于分析作者身份。通过分析词在文本中的分布，可以估计出文本中的固有的词使用风格，这比一般的词频分析更有意义，可以表示为：文本中使用了哪些组词;每组词出现的频率如何;每组词在文本中的出现分布如何。接下来，基本作者归属方案和开放作者归属方案为封闭和开放作者归属问题提供了解决方案。通过分析和大量的实验研究，本文证明了所提出的方法的有效性的作者归属。
2012-08-15 cs.CL
Authorship Attribution Using Word Network Features
University of North Texas（北德克萨斯大学）
在本文中，我们探索了一套新颖的功能，作者归属的文件。这些特征来自于自然语言文本的词网络表示。正如在以前的研究中所指出的，自然语言倾向于在词级上表现出复杂的网络结构，具有低的分离度和无标度（幂律）度分布。还有一些关于作者归属的工作，其中包含了来自复杂网络的想法。本文的目标是探索这些复杂网络的属性，这些属性适合作为基于机器学习的文档作者归属的特征。我们在三个不同的数据集上进行了实验，并获得了令人满意的结果。
2013-11-12 cs.CL
Explaining Large Language Models with gSMILE
University of Hull（赫尔大学）；Fraunhofer IESE（弗劳恩霍夫研究所）
针对大语言模型决策过程不透明的问题，提出模型无关的词元级可解释性框架gSMILE，通过受控扰动等方法识别关键输入词元，在主流LLM上验证其能生成可靠的人类对齐归因，平衡性能与可解释性。
2025-10-21 cs.AI cs.CL cs.LG
Explaining GAND: A Resource on Gender-Ambiguous Natural Data & Contrastive Attribution
Ghent University（根特大学）
研究机器翻译中性别偏见问题，提出GAND基准资源，通过将其部分内容翻译成两种语言并扩展对比翻译，经特征归因分析揭示影响目标翻译中模糊实体性别翻译的源词。
2026-07-28 cs.CL
BARD10: A New Benchmark Reveals Significance of Bangla Stop-Words in Authorship Attribution
Chittagong University of Engineering & Technology（吉大港工程技术大学）；Brac University（布拉克大学）
本研究针对孟加拉语作者归属问题，构建平衡基准语料库BARD10，分析停用词移除对经典及深度学习模型的影响，揭示停用词的文体重要性，为相关研究提供可复现基准与关键见解。
2025-11-11 cs.AI cs.CL
JoPA:Explaining Large Language Model's Generation via Joint Prompt Attribution
Pennsylvania State University（宾夕法尼亚州立大学）
本文提出基于联合提示归因的反事实解释框架JoPA，通过组合优化和概率算法搜索因果输入组合，揭示输入提示如何协同影响LLM的完整生成，并验证了其忠实性与效率。
2025-09-16 cs.CL cs.LG
Hidden in the Request: Explaining Unethical LLM Compliance through Token Relevance
Faculty of Electrical and Computer Engineering, Technion（以色列理工学院电气与计算机工程学院）
本研究针对LLMs在不道德场景下的合规性失败问题，提出LRP引导的解码方法，发现模型对提示词元的归因不足是关键原因，干预后可提升响应安全性。
2026-10-08 cs.AI cs.CL
Boosting word frequencies in authorship attribution
Institute of Polish Language, Polish Academy of Sciences（波兰科学院波兰语研究所）
在本文中，我介绍了一个简单的方法来计算相对词频的作者归属和类似的文体任务。我认为，一个更有效的规范化因子是相关令牌的总数，而不是计算相对频率的出现次数除以一个给定的词在文本中的令牌的总数。相关词的概念包括同义词，通常还有几十个在某些方面与所讨论的词语义相似的其他词。为了确定这样的语义背景，可以使用词嵌入模型之一。所提出的方法优于经典的最频繁的词的方法，通常由几个百分点，这取决于输入设置。
2022-11-02 cs.CL cs.LG
Authorship Attribution through Function Word Adjacency Networks
University of Pennsylvania（宾夕法尼亚大学）
提出了一种基于功能词邻接网络的作者归属方法。虚词是表达其他词之间的语法关系，但本身不携带词汇意义的词类。在本文的广域网中，节点是功能词，有向边代表在源词的有序邻域中找到汇词的可能性。WAN的不同作者可以被解释为转移概率的马尔可夫链，因此比较它们的相对熵。WAN参数的最佳选择进行了研究，并在不同的作者池和不同的文本长度的基准属性的准确性。这种分析表明，由于功能词是独立的内容，它们的使用往往是特定的作者和功能广域网捕获的关系数据是一个很好的总结风格指纹。归因的准确性，观察到超过一个单独依靠词频的方法实现。进一步结合广域网的方法，只依赖于词频，结果在更大的归因准确性，表明这两个信息源编码的作者风格的不同方面。
2014-06-17 cs.CL cs.LG stat.ML
Towards Hierarchical Importance Attribution: Explaining Compositional Semantics for Neural Sequence Models
University of Southern California（南加州大学）；Fudan University（复旦大学）
神经网络在自然语言处理任务中令人印象深刻的性能归因于它们对复杂单词和短语组合进行建模的能力。为了解释模型如何处理语义组合，我们研究了神经网络预测的层次解释。我们确定的非加性和上下文无关的重要性属性在层次结构中作为两个理想的属性，突出单词和短语的组成。我们展示了一些先前的努力，分层解释，例如上下文分解，不满足数学上所需的属性，导致不一致的解释质量在不同的模型。在本文中，我们首先提出了一个正式的和一般的方法来量化每个单词和短语的重要性。在此基础上，提出了采样和上下文分解（SCD）算法和采样和遮挡（SOC）算法。在多个数据集上对LSTM模型和BERT Transformer模型的人类和度量评估表明，我们的算法优于以前的分层解释算法。我们的算法有助于可视化模型捕获的语义组成，提取分类规则，提高人类对模型的信任。项目页面：https://inklab.usc.edu/hiexpl/
2020-06-15 cs.CL cs.LG stat.ML
Integrating Bidirectional Long Short-Term Memory with Subword Embedding for Authorship Attribution
University of Pretoria（比勒陀利亚大学）；University of the Witwatersrand（金山大学）；Durban University of Technology（德班理工大学）
提出基于BLSTM与二维CNN的方法，利用子词信息捕捉序列写作风格，解决作者归属中未登录词问题，在CCAT50和Twitter上准确率分别提升1.07%和0.96%。
2023-06-26 cs.AI cs.CL cs.LG
Necessity and Sufficiency for Explaining Text Classifiers: A Case Study in Hate Speech Detection
National Research Council Canada（加拿大国家研究委员会）
我们提出了一种新的特征属性的方法来解释文本分类器，并分析它在仇恨言论检测的背景下。虽然特征归因模型通常为每个标记提供单一的重要性分数，但我们提供了两个互补的理论基础分数-必要性和充分性-从而产生更多信息的解释。我们提出了一种透明的方法，通过生成输入文本的显式扰动来计算这些值，从而使重要性分数本身可以解释。我们采用我们的方法来解释不同的仇恨言论检测模型的预测同一组策划的例子，从测试套件，并表明，不同的价值观的必要性和充分性的身份条款对应于不同种类的假阳性错误，暴露源分类器偏见对边缘化群体。
2022-05-06 cs.CL
Authorship Attribution in Bangla literature using Character-level CNN
Shahjalal University of Science and Technology（沙贾拉勒科技大学）
字符是文本的最小单位，可以提取样式信号来确定文本的作者。在本文中，我们调查的有效性，字符级的信号在孟加拉文学的作者归属，并表明，结果是有前途的，但可改进的。所提出的模型的时间和内存效率是远远高于词级同行，但准确率是2-5%，低于最好的表现词级模型。各种基于单词的模型进行比较，并表明，该模型的性能越来越好，更大的数据集。我们还分析了不同孟加拉语字符集的预训练字符嵌入在作者归属中的效果。可以看出，性能在预训练时提高了10%。我们使用了来自6到14位作者的2个数据集，在训练之前对它们进行平衡并比较结果。
2020-01-11 cs.AI cs.CL cs.LG
Explanations of Large Language Models Explain Language Representations in the Brain
Iran University of Science and Technology（伊朗科学技术大学）；University of Tehran（德黑兰大学）；Institute for Research in Fundamental Sciences（基础科学研究所）；Khatam University（哈塔姆大学）
该研究探究LLM与脑语言表征对齐的驱动因素，利用XAI的归因方法结合fMRI数据，发现梯度归因可稳健对齐脑活动，且不同层归因的特性与脑区域对齐模式存在差异。
2026-08-07 cs.AI cs.CL q-bio.NC
Explainable AI: Context-Aware Layer-Wise Integrated Gradients for Explaining Transformer Models
College of Engineering and Applied Science, University of Colorado Colorado Springs（科罗拉多州立大学工程与应用科学学院）
本文提出了一种上下文感知分层集成梯度框架（CA-LIG），用于解释Transformer模型的决策过程，通过计算每个Transformer块内的分层集成梯度，并将这些token级属性与类特定的注意力梯度融合，从而生成具有符号和上下文敏感性的属性图，以捕捉支持和反对的证据，并追踪Transformer层中的相关性层次流动。
2026-05-19 cs.AI cs.CL cs.CV
An Explainable System for Offensive Content Detection in Nastaliq Urdu: Corpus Curation, Transformer Benchmarking, and Word-Level Attribution
School of Computing Sciences, Pak-Austria Fachhochschule, Institute of Applied Sciences and Technology（巴基斯坦-奥地利应用科学与技术学院计算科学学院）
本研究针对乌尔都语 Nastaliq 书写体的冒犯内容检测问题，整理公开含 7604 条评论的语料库，微调 MuRIL 等模型并开展基准测试，还计算适配从右到左渲染的词级 SHAP 归因，为该领域提供可解释的检测方案。
2026-10-14 cs.AI cs.CL
Faithfulness Evaluation for Decoder-only LLM Attributions with Controlled Retained Information
City University of Hong Kong（香港城市大学）
针对现有软扰动忠实性指标因保留词数不同导致评估偏差的问题，提出π-Soft-NC和π-Soft-NS框架，通过控制期望保留概率公平比较归因方法，并引入专用于自回归解码器LLM的梯度归因方法Grad-ELLM。
2026-05-26 cs.AI cs.CL cs.LG
An Investigation of Supervised Learning Methods for Authorship Attribution in Short Hinglish Texts using Char & Word N-grams
Microsoft Corporation（微软公司）；Guru Gobind Singh Indraprastha University（古鲁·戈宾德·辛格因德拉普拉斯塔大学）
一个人的写作风格可以被确认为一个独特的身份标志;使用的词语和句子的结构是可以识别特定作品作者的明确措施。文体学及其子集--作者归属，从19世纪开始就有着悠久的历史，直到现代我们仍然可以找到它们的应用。互联网的出现使归因研究的应用转向了非标准文本，这些文本相对较短，并且与大多数研究所做的长文本不同。本文的目的是重点研究从WhatsApp消息应用程序检索的简短在线文本，并使用监督学习方法研究马卡罗语（印度式英语）的独特特征，然后比较模型。各种特征，如单词n-gram和字符n-gram，通过方法进行比较，朴素贝叶斯分类器，支持向量机，条件树，和随机森林，以找到最好的分类，这样的语料库。我们的结果表明，SVM的测试准确率高达95.079%，而同样，Naive Bayes的数据集准确率高达94.455%。条件树和随机森林的性能不如预期。我们还发现，单词单字和字符3-grams功能更有可能区分作者准确比其他功能。
2018-12-26 cs.CL
Doctor XAvIer: Explainable Diagnosis on Physician-Patient Dialogues and XAI Evaluation
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）；Unity Health Toronto（多伦多统一健康）
我们介绍XAvIer医生，一个基于BERT的诊断系统，从转录的患者-医生对话中提取相关的临床数据，并使用特征归因方法解释预测。本文提出了一种新的特征归因方法的性能图和评价指标：特征归因下降（FAD）曲线及其归一化曲线下面积（N-AUC）。FAD曲线分析表明，积分梯度在解释诊断分类方面优于Shapley值。XAvIer医生在命名实体识别和症状相关性分类中的F1得分为0.97，在诊断分类中的F1得分为0.91，优于基线。
2022-04-25 cs.AI cs.CL
On the role of words in the network structure of texts: application to authorship attribution
University of São Paulo（圣保罗大学）
成熟的文本自动分析主要考虑语言单位的频率，例如字母，单词和二元组，而基于共现网络的方法考虑文本的结构，而不管节点标签（即单词语义）。在本文中，我们调和这些不同的观点，通过引入一个广义的相似性度量来比较文本，该度量既考虑了文本的网络结构，也考虑了单个词在网络中的作用。我们使用的相似性度量的作者归属的三个集合的书籍，每个集合由8个作者和10本书的作者。高准确率获得的典型值从90%到98.75%，远远高于传统的TF-IDF方法相同的集合。这些准确性也高于仅考虑网络的拓扑结构。我们的结论是，在整个文本的宏观尺度结构上的特定单词的不同属性与它们的出现频率一样相关;相反，考虑节点的身份带来了对表示为网络的文本的进一步了解。
2017-05-11 cs.CL cs.SI
A Self-supervised Representation Learning of Sentence Structure for Authorship Attribution
University of Central Florida（中佛罗里达大学）
文档中句子的句法结构实质上反映了作者的写作风格。近年来，句子表示学习得到了广泛的研究，研究表明，它可以提高许多领域中不同下游任务的泛化能力。尽管在几项研究中使用探测方法表明，这些学习的上下文表示隐含地编码了一些语法，但显式语法信息进一步提高了深层神经模型在作者归属领域的性能。这些观察促使我们研究句子句法结构的外显表示学习。在本文中，我们提出了一个自我监督的框架学习句子的结构表示。自监督网络包含两个组成部分：词汇子网络和句法子网络，分别将单词序列及其相应的结构标签作为输入。由于单词到其结构标签的n到1映射，每个单词将被嵌入到主要携带结构信息的向量表示中。我们使用不同的探测任务来评估学习到的句子结构表征，并随后在作者归属任务中利用它们。我们的实验结果表明，结构嵌入显着提高分类任务时，与现有的预训练词嵌入连接。
2022-02-24 cs.CL
Discretized Integrated Gradients for Explaining Language Models
University of Southern California（南加州大学）
作为一种重要的基于属性的解释算法，综合属性（IG）由于其合理的解释公理和易于梯度计算而被广泛采用。它通过对输入数据空间中沿直线路径内插的模型输出梯度求平均来度量特征重要性。然而，由于词嵌入空间的固有离散性，这种直线内插点不代表文本数据。这就质疑了在插值点处计算的梯度的可靠性，从而质疑了生成的解释的质量。在这里，我们提出了离散化的集成代理（DIG），它允许沿非线性插值路径的有效属性。我们开发了两种插值策略的离散词嵌入空间，生成插值点，位于接近实际的话在嵌入空间中，产生更忠实的梯度计算。我们通过对多个情感分类数据集的实验和人工评估，证明了DIG对IG的有效性。我们提供DIG的源代码，以鼓励可重复的研究。
2021-08-31 cs.CL
Explaining News Bias Detection: A Comparative SHAP Analysis of Transformer Model Decision Mechanisms
Technical University of Munich（慕尼黑技术大学）；Sapienza University of Rome（罗马萨皮恩扎大学）
本研究通过SHAP分析比较了两种变压器模型在新闻偏见检测中的决策机制，发现不同架构在处理语言偏见时存在显著差异，领域适应性模型更准确，减少了假阳性。
2025-12-29 cs.AI cs.CL cs.HC
Fine-grained Analysis of Brain-LLM Alignment through Input Attribution
Sapienza University of Rome（罗马萨皮恩扎大学）；Sony AI（索尼人工智能）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
本文提出细粒度输入归因方法，发现大脑对齐与下一词预测依赖不同词语子集，前者侧重语义话语，后者侧重句法，并存在近因首因偏差。
2026-10-14 cs.CL
Explaining Math Word Problem Solvers
St. Olaf College（圣奥拉夫学院）；University of Colorado, Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
本研究通过扰动输入并评估模型性能，发现神经数学应用题求解器依赖表面词语而非语义逻辑，存在过拟合现象。
2023-07-24 cs.CL
Explaining Character-Aware Neural Networks for Word-Level Prediction: Do They Discover Linguistic Rules?
IDLab, Ghent University - imec（根特大学-imec IDLab实验室）
当前，在不同的基于神经网络的自然语言处理算法中使用了语义级特征。然而，人们对这些模型学习的字符级模式知之甚少。此外，模型往往只是定量比较，而缺乏定性分析。在本文中，我们研究了神经网络学习哪些字符级模式，以及这些模式是否与手动定义的分词和注释一致。为此，我们将上下文分解技术（Murdoch et al. 2018）扩展到卷积神经网络，这使我们能够比较卷积神经网络和双向长短期记忆网络。我们评估和比较这些模型的任务，形态标记三种不同的语言，并表明这些模型隐含地发现可理解的语言规则。我们的实现可以在https://github.com/FredericGodin/ContextualDecomposition-NLP上找到。
2018-08-28 cs.AI cs.CL cs.LG
On the reliability of feature attribution methods for speech classification
Tilburg University（蒂尔堡大学）；University of Groningen（格罗宁根大学）
本研究探讨语音分类中特征归因方法的可靠性，发现标准方法通常不可靠，而词对齐扰动方法在基于词的分类任务中表现有效。
2025-05-22 cs.CL eess.AS
Sequential Integrated Gradients: a simple but effective method for explaining language models
Babylon Health（巴比伦健康）；Skippr
针对积分梯度在语言模型解释中因同时插值所有词而导致语义失真问题，提出顺序积分梯度SIG，逐词插值并用mask替换pad基线，在多种模型和数据集上验证了其有效性。
2023-05-25 cs.AI cs.CL cs.LG
Explaining Black-Box Language Models: Learning to Optimize Linguistically-Structured Word Subsets
Korea University（高丽大学）
针对黑盒语言模型解释的三个关键需求（推理效率、黑盒兼容性、语言结构可解释性），提出一种通过强化学习选择信息性单词子集的方法，实现高效、无梯度且语言连贯的解释。
2026-06-07 cs.AI cs.CL
CMA-R:Causal Mediation Analysis for Explaining Rumour Detection
RMIT University（RMIT大学）；The University of Melbourne（墨尔本大学）
本文提出CMA-R方法，通过因果中介分析解释Twitter谣言检测模型的决策过程，识别显著推文及关键单词，与人类判断高度一致，提升黑盒系统的可解释性。
2024-02-13 cs.AI cs.CL
From Where Words Come: Efficient Regularization of Code Tokenizers Through Source Attribution
CAIRO, Technical University of Applied Sciences Würzburg-Schweinfurt（CAIRO应用技术大学（乌尔姆-施维林））；JetBrains Research（JetBrains研究）；TU Delft（代尔夫特理工大学）
本文通过源归属BPE（SA-BPE）正则化方法，解决代码分词器因训练数据不平衡导致的冗余token问题，提升分词效率与安全性。
2026-04-15 cs.CL
Concept-Based Interpretability for Toxicity Detection
ABV–IIITM（ABV-IIITM）；IIT Patna（印度帕纳大学）；IIT Jodhpur（印度朱道普尔大学）
本研究提出基于概念梯度的方法，通过分析有毒语言的归因机制，改进毒性检测的可解释性和准确性。
2025-12-13 cs.AI cs.CL
Explaining Predictive Uncertainty by Looking Back at Model Explanations
University of Virginia（弗吉尼亚大学）
预训练语言模型的预测不确定性估计是人们可以信任其预测的可能性的重要度量。然而，很少有人知道是什么使模型预测不确定。解释预测不确定性是解释预测标签的重要补充，可以帮助用户理解模型决策，获得用户对模型预测的信任，但在以往的研究中，这一问题被忽略了。在这项工作中，我们建议通过从现有的模型解释中提取不确定的单词来解释预训练的语言模型的预测不确定性。我们发现不确定的词是那些被认为对预测标签有负面贡献的词，而实际上解释了预测的不确定性。实验表明，不确定性解释对于解释模型和帮助人类理解模型预测行为是不可或缺的。
2022-10-08 cs.CL
Explaining the Road Not Taken
The Pennsylvania State University（宾夕法尼亚州立大学）
目前尚不清楚现有的深度神经网络模型的解释是否有效地响应了用户的需求。本文总结了最近200多篇关于自然语言处理（NLP）的论文中使用的常见解释形式（如特征属性、决策规则或探测），并将其与XAI问题库中收集的用户问题进行了比较。我们发现，尽管用户对解释未采取的道路感兴趣-即为什么模型选择一个结果而不是一个定义良好，相似的合法对应物-大多数模型解释无法回答这些问题。
2021-03-30 cs.AI cs.CL cs.HC
A Novel Interpretability Metric for Explaining Bias in Language Models: Applications on Multilingual Models from Southeast Asia
School of Computer Science, University of Birmingham（英国伯明翰大学计算机科学学院）；Department of Information Systems and Computer Science, Ateneo de Manila University（马尼拉大学信息系统与计算机科学系）
本文提出基于信息论的 token 级偏见归因分数，用于解释预训练语言模型的偏见来源，并在东南亚多语言模型上验证其能揭示性别歧视、恐同偏见及相关语义诱因。
2024-10-24 cs.CL
Explaining Datasets in Words: Statistical Models with Natural Language Parameters
UC Berkeley（加州大学伯克利分校）
针对传统统计模型参数高维难解释的问题，提出由自然语言谓词参数化的统计模型族及模型无关学习算法，可应用于多领域多任务，解释复杂概念的能力优于经典方法。
2025-01-12 cs.AI cs.CL cs.LG
Explaining Away Syntactic Structure in Semantic Document Representations
ETH Zürich（苏黎世联邦理工学院）
大多数生成式文档模型作用于词袋输入，试图专注于语义内容，从而部分放弃句法信息。我们认为，它是更可取的，以保持原来的词序完整，而明确的句法结构，而不是。我们提出了对神经变分文档模型的扩展（Miao等人，2016年），它正是这样做的，以分离本地（语法）上下文从全局（语义）表示的文件。我们的模型建立在变分自编码器框架上，定义了一个基于下一个词预测的生成文档模型。我们将我们的方法命名为序列感知变分自编码器，因为与其前身相比，它对真实的输入序列进行操作。在一系列的实验中，我们观察到更强的时事性的学习表示，以及增加的鲁棒性语法噪声在我们的训练数据。
2018-06-05 cs.CL
Explaining How Transformers Use Context to Build Predictions
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Meta AI
本文提出一种基于Transformer可解释性进展的语言生成模型分析方法，通过对比示例验证其解释对齐效果优于基线，并揭示了MLP在语法预测及神经机器翻译对齐中的作用。
2023-05-21 cs.AI cs.CL cs.LG
Explaining Speech Classification Models via Word-Level Audio Segments and Paralinguistic Features
Politecnico di Torino（都灵理工大学）；Bocconi University（博科尼大学）
提出一种通过词级音频片段和副语言特征输入扰动解释语音分类模型的方法，验证其忠实性与合理性，为语音模型可解释性研究提供新途径。
2023-09-14 cs.CL cs.SD eess.AS
When Classical Chinese Meets Machine Learning: Explaining the Relative Performances of Word and Sentence Segmentation Tasks
National Chengchi University（国立政治大学）；National Chiao Tung University（国立交通大学）；University of California, Riverside（加州大学河滨分校）
在我们的实验中，我们考虑了三个主要的文本来源关于中国唐代，旨在分割文本的文言文。这些语料库包括《唐墓传》、《新唐书》和《旧唐书》。我们证明了使用深度学习方法可以获得令人满意的分割结果。更有趣的是，我们发现，我们在不同的实验设计中观察到的一些相对优势可能是可以解释的。训练语料库之间的相对相关性为我们采用不同的语料库组合来训练分类器时获得的分割结果中观察到的差异提供了提示/解释。
2020-07-22 cs.CL cs.LG
Authorship Attribution in Bangla Literature (AABL) via Transfer Learning using ULMFiT
Shahjalal University of Science and Technology（沙赫贾拉勒科技大学）
针对孟加拉语作者归属研究匮乏、现有系统可扩展性差且小样本性能下降的问题，本文提出基于AWD-LSTM和ULMFiT迁移学习的方法，构建了BAAD16数据集，取得99.8%的准确率，提升了系统可扩展性和小样本稳定性。
2024-03-08 cs.CL
On Attribution of Recurrent Neural Network Predictions via Additive Decomposition
Texas A&M University（得克萨斯农工大学）
RNN模型在广泛的文本挖掘任务中取得了最先进的性能。然而，这些模型往往被视为黑箱，并受到批评，由于缺乏可解释性。在本文中，我们通过为RNN预测提供可解释的理由来增强RNN的可解释性。然而，解释RNN是一个具有挑战性的问题。首先，与依赖局部近似的现有方法不同，我们的目标是提供更忠实于RNN模型决策过程的理论基础。其次，灵活的解释方法应该能够将贡献分数分配给不同长度的文本片段，而不仅仅是单个单词。为了应对这些挑战，我们提出了一种新的归因方法，称为REAT，为RNN预测提供解释。REAT将RNN的最终预测分解为输入文本中每个单词的附加贡献。这种加法分解使REAT能够进一步获得短语级归因分数。此外，REAT通常适用于各种RNN架构，包括GRU，LSTM及其双向版本。实验结果表明，所提出的归因方法的忠实性和可解释性。综合分析表明，我们的属性方法可以揭示RNN捕获的有用的语言知识。一些分析进一步表明，我们的方法可以用作调试工具来检查RNN的脆弱性和失败原因，这可能会导致几个有前途的未来方向，以提高RNN的泛化能力。
2019-03-27 cs.CL cs.LG
Authorship Attribution Based on Life-Like Network Automata
São Carlos Institute of Physics, University of São Paulo（圣保罗大学圣保罗物理研究所）；Institute of Mathematics and Computer Science, University of São Paulo（圣保罗大学数学与计算机科学研究所）
作者归属是一个具有相当实际和技术意义的问题。已经设计了几种方法来推断在多种情况下有争议的文件的作者。虽然传统的统计方法仅基于字数和相关的测量提供了一个简单的，但在特定情况下有效的解决方案，它们很容易被操纵。最近，文本已经被成功地建模为网络，其中单词由根据文本相似性度量链接的节点表示。这样的模型是有用的，以确定信息的拓扑模式的作者身份识别任务。然而，对于应该使用哪些衡量标准，没有达成共识。因此，我们提出了一种新的方法来描述文本网络，考虑网络的拓扑和动力学方面。利用元胞自动机理论的概念和方法，我们设计了一种策略，从这个模型中掌握信息的时空模式。我们的实验表明，优于传统的分析只依赖于拓扑测量。值得注意的是，我们已经发现了依赖于预处理步骤（如lemmatization）所获得的结果，一个功能，大多被忽视的相关作品。这里获得的优化结果为更好地表征文本网络铺平了道路。
2016-10-20 cs.CL
Explaining a Neural Attention Model for Aspect-Based Sentiment Classification Using Diagnostic Classification
Delft University of Technology（代尔夫特理工大学）；Erasmus University Rotterdam（鹿特丹伊拉斯姆斯大学）；Bucharest Univ. of Economic Studies（布加勒斯特经济研究大学）
许多用于基于情感的情感分类（ABSC）的高性能机器学习模型产生黑盒模型，因此几乎不能解释它们如何将特定情感值分类到某个方面。在本文中，我们提出了解释模型，检查的内部动态的一个国家的最先进的神经注意力模型，LCR-Rot-Hop，通过使用一种技术称为诊断分类。我们的诊断分类器是一个简单的神经网络，它评估LCR-Rot-hop模型的内部层是否编码了用于分类的有用单词信息，即，词性、情感值、体关系的存在以及词的体相关情感值。我们的结论是，在LCR-Rot-hop模型的低层编码的部分语音和情感值，而高层表示的方面和方面相关的情感值的话的关系的存在。
2021-03-29 cs.CL
Generalized Word Shift Graphs: A Method for Visualizing and Explaining Pairwise Comparisons Between Texts
Northeastern University（东北大学）；University of Pittsburgh（匹兹堡大学）；Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）；The University of Adelaide（阿德莱德大学）；The University of Vermont（佛蒙特大学）；University of Colorado at Boulder（科罗拉多大学博尔德分校）；MassMutual（万通互惠）
计算文本分析中的一个常见任务是根据词频，情感或信息内容等测量来量化两个语料库的差异。然而，将文本的丰富故事压缩成一个数字通常在概念上是危险的，并且很难自信地解释有趣或意想不到的文本模式，而不担心数据伪影或测量有效性。为了更好地捕捉文本之间的细粒度差异，我们引入了广义词移图，可视化产生了一个有意义的和可解释的总结，单个单词如何有助于两个文本之间的变化，任何措施，可以制定为加权平均值。我们发现，这个框架自然包括许多最常用的方法比较文本，包括相对频率，字典分数，和基于熵的措施，如Kullback-Leibler和詹森-香农分歧。通过几个案例研究，我们展示了如何广义词移图可以灵活地应用于诊断调查，假设生成和实质性的解释跨域。通过提供语料库之间文本转换的详细镜头，广义词移图帮助计算社会科学家，数字人文主义者和其他文本分析从业者形成更强大的科学叙述。
2020-08-05 cs.CL cs.CY cs.SI
Explaining word embeddings with perfect fidelity: Case study in research impact prediction
Department of Econometrics, Prague University of Economics and Business（经济计量学系，布拉格经济大学）；Environmental Genomics and Systems Biology Division, Lawrence Berkeley National Laboratory（环境基因组与系统生物学部，劳伦斯伯克利国家实验室）；Department of System Analysis, Prague University of Economics and Business（系统分析系，布拉格经济大学）；Department of Information and Knowledge Engineering, Prague University of Economics and Business（信息与知识工程系，布拉格经济大学）
针对词嵌入逻辑回归分类器解释保真度不足的问题，本文提出 SMER 特征重要性方法，并在 CORD-19 的 5 万篇论文上证明其具有完美理论保真度且优于 LIME、SHAP 等方法。
2025-08-28 cs.CL
Relative contributions of Shakespeare and Fletcher in Henry VIII: An Analysis Based on Most Frequent Words and Most Frequent Rhythmic Patterns
Institute of Czech Literature, Czech Academy of Sciences（捷克科学院捷克文学研究所）
诗体剧《亨利八世》现在被广泛认为是一部合作作品，而不仅仅是威廉·莎士比亚一个人写的。我们采用词汇和诗句结合分析与机器学习技术，以确定哪些作者也参与了剧本的写作，以及他们的相对贡献。与大多数以前的研究不同，我们超越了特定场景的归属，并使用滚动归属方法来确定文本片段的作者身份的概率，而不尊重场景边界。我们的研究结果高度支持詹姆斯·斯佩丁提出的威廉·莎士比亚和约翰·弗莱彻之间的戏剧规范划分，但也带来了新的证据支持托马斯·梅里亚姆后来提出的修改。
2019-10-30 cs.CL cs.LG stat.AP
