Mimic and Conquer: Heterogeneous Tree Structure Distillation for Syntactic NLP
Wuhan University（武汉大学）；Guangdong University of Foreign Studies（广东外语外贸大学）
语法已被证明对各种NLP任务很有用，而现有工作大多使用一个分层神经网络对单例语法树进行编码。在本文中，我们研究了一种简单有效的方法，知识蒸馏，集成异构结构的知识到一个统一的顺序LSTM编码器。在4个典型的依赖于语法的任务上的实验结果表明，该方法有效地整合了丰富的异构结构语法，同时减少了错误传播，在效率和准确性方面优于树编码器。
2020-09-16 cs.CL
CausalSent: Interpretable Sentiment Classification with RieszNet
StanfordStats（斯坦福大学统计学系）；Google（谷歌）
针对NLP模型黑箱问题，提出基于RieszNet双头架构的CausalSent框架，提升文本处理效应估计精度，在IMDB数据上MAE降低2-3倍，并发现“love”词使正面情感概率增加2.9%。
2025-08-26 cs.CL cs.LG
From Explainable to Interpretable Deep Learning for Natural Language Processing in Healthcare: How Far from Reality?
School of Computer Science and Electronic Engineering, University of Essex（埃塞克斯大学计算机科学与电子工程学院）；Harvard Medical School（哈佛医学院）；Boston Children’s Hospital（波士顿儿童医院）；University of Southampton（南安普顿大学）；Athena Research Centre（雅典娜研究中心）
本文综述了医疗NLP中可解释与可解释性深度学习（XIAI），发现注意力机制是主流IAI技术，指出当前挑战并呼吁整合LLMs与领域模型以推动应用。
2024-10-16 cs.AI cs.CL cs.LG
Beyond Black-Box Labels: Interpretable Criteria for Diagnosing Subjective NLP Tasks
CReSTIC, Université de Reims Champagne-Ardenne（里摩日香槟-阿登大学CReSTIC研究中心）；Chochoy Conseil（Chochoy咨询公司）
本文提出一种在确定金标签前审计注释方案的可解释诊断方法，用于识别主观NLP任务中分歧的根源，通过分析多注释者标准判断，发现分歧集中在少数标准上，且近半数句子激活多个类别。
2026-04-30 cs.AI cs.CL
T3: Tree-Autoencoder Constrained Adversarial Text Generation for Targeted Attack
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Zhejiang University（浙江大学）；Tencent（腾讯）；Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）
针对自然语言处理系统的对抗攻击，对输入进行看似无害的修改，可能会导致目标模型的任意错误。虽然引起了极大的关注，但这种对抗攻击可以用来评估NLP模型的鲁棒性。与连续数据域中的对抗性示例生成（例如，图像），生成保留原始含义的对抗性文本是具有挑战性的，因为文本空间是离散的和不可微的。为了应对这些挑战，我们提出了一个目标可控的对抗攻击框架T3，它适用于一系列NLP任务。特别是，我们提出了一个基于树的自动编码器嵌入离散文本数据到一个连续的表示空间，在此基础上，我们优化了对抗扰动。一种新的基于树的解码器，然后应用到正则化生成的文本的语法正确性，并操纵它的句子（T3（发送））或单词（T3（字））的水平。我们考虑两个最具代表性的NLP任务：情感分析和问答（QA）。大量的实验结果和人类研究表明，T3生成的对抗性文本可以成功地操纵NLP模型输出目标错误答案，而不会误导人类。此外，我们还证明了生成的对抗性文本具有很高的可转移性，这使得黑箱攻击在实践中成为可能。我们的工作揭示了一种有效和通用的方法来检查NLP模型的鲁棒性。我们的代码可在https://github.com/AI-secure/T3/上公开获取。
2020-10-06 cs.CL cs.LG
R2D2: Recursive Transformer based on Differentiable Tree for Interpretable Hierarchical Language Modeling
Ant Financial Services Group（蚂蚁金融服务集团）；Hasso Plattner Institute（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）
人类语言理解在多个粒度级别上操作（例如，单词、短语和句子），其中抽象级别增加，可以分层组合。然而，现有的具有堆叠层的深度模型没有明确地对任何类型的分层过程进行建模。本文提出了一种基于CKY型二叉树的递归Transformer模型来模拟合成过程。我们将双向语言模型预训练目标扩展到该架构，尝试预测每个单词的左和右抽象节点。为了扩大我们的方法，我们还引入了一个有效的修剪树归纳算法，使编码在一个线性数量的组成步骤。语言建模和无监督句法分析的实验结果表明了该方法的有效性。
2022-03-03 cs.CL cs.LG
Attention Interpretability Across NLP Tasks
Indian Institute of Science（印度科学研究所）；Google（谷歌）；Google Assistant（谷歌助手）；Google Research（谷歌研究院）
神经网络模型中的注意力层提供了对其预测背后的模型推理的见解，这通常被批评为不透明。最近，关于注意力权重的可解释性出现了看似矛盾的观点（Jain & Wallace，2019; Vig & Belinkov，2019）。在这种混乱中，我们需要更系统地理解注意力机制。在这项工作中，我们试图填补这一空白，给出一个全面的解释，证明这两种观察（即，注意力何时可解释，何时不可解释）。通过对不同NLP任务的一系列实验，我们验证了我们的观察结果，并通过人工评估加强了我们对注意力可解释性的主张。
2019-09-24 cs.CL cs.LG
Understanding and Mitigating Classification Errors Through Interpretable Token Patterns
Cornell University（康奈尔大学）；Harvard University（哈佛大学）；Saarland University（萨尔大学）；CISPA（CISPA亥姆霍兹信息安全中心）
提出基于最小描述长度原则的Premise方法，通过发现区分正确与错误预测的token模式，为NLP分类器提供全局可解释的系统性错误描述，并在高度不平衡数据上有效恢复真实情况。
2023-11-18 cs.AI cs.CL
IrEne: Interpretable Energy Prediction for Transformers
Stony Brook University（石溪大学）
现有的基于软件的NLP模型的能量测量是不准确的，因为它们没有考虑能量消耗和模型执行之间的复杂相互作用。我们提出了IrEne，一个可解释和可扩展的能量预测系统，可以准确预测各种基于transformer的NLP模型的推理能耗。IrEne构建了一个模型树图，将NLP模型分解为模块，这些模块进一步分解为低级机器学习（ML）原语。IrEne将ML原语的推理能耗预测为可泛化特征和细粒度运行时资源使用的函数。然后，IrEne递归地聚合这些低级预测，以预测每个模块的能量，并最终预测整个模型的能量。跨多个Transformer模型的实验表明，IrEne预测Transformer模型的推理能耗，与地面实况相比，误差低于7%。相比之下，现有的能源模型的误差超过50%。我们还展示了IrEne如何用于进行能源瓶颈分析，并轻松评估不同建筑选择的能源影响。我们在https://github.com/StonyBrookNLP/irene上发布代码和数据。
2021-06-02 cs.CL
Enhancing Interpretable Clauses Semantically using Pretrained Word Representation
Centre for Artificial Intelligence Research（人工智能研究中心）；University of Agder（阿格德尔大学）
Tsetlin Machine（TM）是一种基于命题逻辑的可解释模式识别算法，它在自然语言处理（NLP）任务中表现出了很好的性能，包括情感分析、文本分类和词义消歧。为了获得人类级别的可解释性，传统TM采用布尔输入特征，例如词袋（BOW）。然而，BOW表示很难使用任何预先训练的信息，例如word2vec和GloVe单词表示。与NLP中的深度神经网络（DNN）相比，这种限制了TM的性能。为了减少性能差距，在本文中，我们提出了一种新的方法，使用预先训练的单词表示TM。该方法显着提高TM的性能和可解释性。我们通过从预先训练的单词表示中提取语义相关的单词作为TM的输入特征来实现这一点。实验结果表明，该方法的准确率明显高于基于BOW的TM，达到了基于DNN的模型的水平。
2021-09-10 cs.AI cs.CL cs.LG
Interpretable Adversarial Perturbation in Input Embedding Space for Text
Preferred Networks, Inc.（优选网络公司）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN AIP（理化学研究所先进智能项目中心）；Tohoku University（东北大学）；NTT Communication Science Laboratories（日本电信电话通信科学实验室）
在图像处理领域取得巨大成功之后，对抗训练的思想已被应用于自然语言处理（NLP）领域的任务。一种有前途的方法直接将图像处理领域中开发的对抗训练应用于输入词嵌入空间，而不是文本的离散输入空间。然而，这种方法放弃了生成对抗性文本的可解释性，以显着提高NLP任务的性能。本文通过限制输入嵌入空间中现有单词的扰动方向来恢复这些方法的可解释性。因此，我们可以通过将扰动视为句子中单词的替换，同时保持甚至提高任务性能，来直接重建具有对实际文本的扰动的每个输入。
2018-05-08 cs.CL cs.LG stat.ML
Interpretable AI for Time-Series: Multi-Model Heatmap Fusion with Global Attention and NLP-Generated Explanations
Department of Electrical and Computer Engineering, Iowa State University, Ames, 50011 IA USA（电气与计算机工程系，爱荷华州立大学）；Department of Agricultural Biosystem Engineering, Iowa State University, Ames,IA 50011 USA（农业生物系统工程系，爱荷华州立大学）
本文提出融合ResNet热图与二维Transformer注意力并引入全局加权显著性的可解释AI框架，解决时空错位问题，在医疗和工业数据集上显著优于基线模型，并通过自然语言生成领域化解释。
2025-06-30 cs.AI cs.CL cs.LG
COCKATIEL: COntinuous Concept ranKed ATtribution with Interpretable ELements for explaining neural net classifiers on NLP tasks
IRIT, Université Paul-Sabatier（保罗-萨巴蒂埃大学 图卢兹计算机科学研究所）；IRT Saint-Exupéry（圣埃克苏佩里技术研究所）；Brown University（布朗大学）；SNCF（法国国家铁路公司）；IMT, Université Paul-Sabatier（保罗-萨巴蒂埃大学 图卢兹数学研究所）
COCKATIEL是一种基于概念的事后模型无关XAI技术，利用NMF和敏感性分析从Transformer模型末层生成忠实解释，在情感分析任务中无需监督即可发现与人类一致的概念。
2023-05-14 cs.CL stat.ML
Does BERT Make Any Sense? Interpretable Word Sense Disambiguation with Contextualized Embeddings
Indian Institute of Technology (BHU)（印度理工学院（瓦拉纳西））
诸如由ELMo提供的上下文化词嵌入（CWE）（Peters等人，2018），Flair NLP（Akbik et al.，2018）或BERT（Devlin et al.，2019）是NLP最近的一项重大创新。CWE根据其各自的上下文提供单词的语义向量表示。它们相对于静态词嵌入的优势已经在许多任务中表现出来，例如文本分类、序列标记或机器翻译。由于相同词类型的向量可以根据相应的上下文而变化，因此它们隐含地提供了词义消歧（WSD）的模型。我们介绍了一个简单而有效的方法，WSD使用最近邻分类CWE。我们比较了不同CWE模型的性能，并报告了两个标准WSD基准数据集的改进情况。我们进一步表明，预训练的BERT模型能够将多义词放置到嵌入空间的不同“意义”区域中，而ELMo和Flair NLP似乎不具备这种能力。
2019-10-01 cs.CL
Interpretable Word Embeddings via Informative Priors
Linköping University（林雪平大学）；Aalto University（阿尔托大学）
词嵌入在NLP任务中表现出了强大的性能。然而，词嵌入缺乏可解释性和无监督的性质限制了它们在计算社会科学和数字人文科学中的使用。我们建议使用信息先验知识来创建概率词嵌入的可解释和域信息维度。实验结果表明，合理的先验知识可以捕捉潜在的语义概念比或与当前的最先进的水平，同时保留使用先验知识的简单性和概括性。
2019-09-03 cs.CL cs.LG stat.ML
Towards Scalable Meta-Learning of near-optimal Interpretable Models via Synthetic Model Generations
Capital One
本文提出一种通过合成采样近最优决策树生成大规模预训练数据的方法，结合MetaTree Transformer架构，以更低计算成本实现与真实数据或最优树预训练相当的性能，推动可解释决策树元学习的可扩展发展。
2026-10-09 cs.AI cs.CL cs.LG
Word Equations: Inherently Interpretable Sparse Word Embeddingsthrough Sparse Coding
Williams College（威廉姆斯学院）
词嵌入是一种功能强大的自然语言处理技术，但它们非常难以解释。为了实现可解释的NLP模型，我们创建了每个维度都是可解释的向量。通过内在可解释性，我们指的是一个系统，其中每个维度都与一些人类可理解的提示相关联，这些提示可以描述该维度的含义。为了创建更多可解释的词嵌入，我们将预训练的密集词嵌入转换为稀疏嵌入。这些新的嵌入本质上是可解释的：它们的每个维度都是从一个自然语言单词或特定的语法概念创建的，并表示该单词或语法概念。我们通过稀疏编码构造这些嵌入，其中基集中的每个向量本身就是一个词嵌入。因此，我们的稀疏向量的每个维度对应于一个自然语言单词。我们还表明，使用这些稀疏嵌入训练的模型可以实现良好的性能，并且在实践中更具可解释性，包括通过人工评估。
2021-09-27 cs.CL cs.LG stat.ML
Automatic Rule Induction for Interpretable Semi-Supervised Learning
Microsoft（微软）
半监督学习在允许NLP模型从少量标记数据中概括方面表现出了希望。同时，预训练的Transformer模型充当了黑盒关联引擎，难以解释，有时行为不可靠。在本文中，我们提出通过自动规则归纳（ARI）来解决这两个挑战，ARI是一个简单而通用的框架，用于自动发现符号规则并将其集成到预训练的Transformer模型中。首先，我们从在少量标记数据上训练的低容量机器学习模型中提取弱符号规则。接下来，我们使用注意力机制将这些规则集成到高容量的预训练Transformer模型中。最后，规则增强系统成为自训练框架的一部分，以增强对未标记数据的监督信号。这些步骤可以在各种现有的弱监督和半监督NLP算法下分层，以提高性能和可解释性。九个序列分类和关系抽取任务的实验表明，ARI可以改善国家的最先进的方法，没有手动工作和最小的计算开销。
2022-10-14 cs.CL
Interpretable Structure-aware Document Encoders with Hierarchical Attention
University of California, San Diego（加州大学圣迭戈分校）；Swisscom AG（瑞士电信公司）；EPFL（洛桑联邦理工学院）
我们提出了一种方法来创建文件表示，反映其内部结构。我们修改Tree-LSTM，将单词和句子等基本元素分层合并为复杂度不断增加的块。我们的结构树-LSTM在各个组件及其组合上实现了分层的注意力机制。因此，我们强调Tree-LSTM对于大于句子的文本的有用性。我们表明，结构感知编码器可以用来提高性能的文件分类。我们证明，我们的方法是弹性的变化的基本构建块，因为它表现良好的句子和词嵌入。结构树-LSTM通过利用结构线索在两个数据集上优于所有基线。我们通过可视化我们的模型如何在文档中分配注意力来展示我们的模型的可解释性。在来自医疗领域的第三个数据集上，我们的模型实现了与最先进技术竞争的性能。这一结果表明，结构树-LSTM可以利用文本结构以外的依赖关系，例如同一患者的一组报告。
2019-10-05 cs.AI cs.CL cs.LG
Word Representations, Tree Models and Syntactic Functions
University of Groningen（格罗宁根大学）；University of Amsterdam（阿姆斯特丹大学）
从具有离散潜变量的模型（例如，阻碍）已被证明在许多NLP应用中是有益的。在这项工作中，我们利用标记的句法依赖树和形式化的归纳问题的树结构的隐马尔可夫模型的无监督学习。句法功能被用作模型中的额外观察变量，影响过渡和发射组件。这样的句法信息可能会导致捕获单词之间更细粒度和功能的区别，这反过来可能是许多NLP应用程序所期望的。我们评估了两个任务的词表示--命名实体识别和语义框架识别。在这两种情况下，我们观察到利用句法功能信息的改进，以及与最先进的表示学习方法相媲美的结果。此外，我们重新审视了顺序和未标记树模型之间的关系，发现后者的优势并不是不言而喻的。
2016-02-05 cs.CL cs.LG stat.ML
An Interpretable Deep Learning System for Automatically Scoring Request for Proposals
Optum, UnitedHealth Group（联合健康集团Optum）
Medicaid（美国医疗保健）中的管理式医疗系统使用征求建议书（RFP）来授予各种医疗保健和相关服务的合同。RFP响应是非常详细的文件（数百页），由竞争组织提交，以赢得合同。主题专业知识和领域知识在准备RFP响应以及分析历史提交中发挥着重要作用。通过自然语言处理（NLP）系统自动分析这些响应可以减少探索历史响应所需的时间和精力，并有助于编写更好的响应。我们的工作绘制了评分RFP和论文评分模型之间的相似之处，同时强调了新的挑战和可解释性的需求。典型的评分模型侧重于单词水平的影响，以评分论文和其他简短的文章。我们提出了一种新的基于Bi-LSTM的回归模型，并对潜在影响响应评分的短语提供了更深入的了解。我们主张我们提出的方法，使用广泛的定量实验的优点。我们还使用人类评估器定性评估重要短语的影响。最后，我们介绍了一个新的问题陈述，可用于进一步提高基于NLP的自动评分系统的最新技术水平。
2020-08-05 cs.AI cs.CL cs.LG
Summarization Programs: Interpretable Abstractive Summarization with Neural Modular Trees
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
当前的抽象摘要模型要么缺乏清晰的可解释性，要么只突出显示源文档的一部分，从而提供不完整的基本原理。为此，我们提出了总结程序（SP），一个可解释的模块化框架，包括一个（有序）的二叉树列表，每个编码的一步一步的生成过程中的一个抽象的摘要句子从源文件。摘要程序包含每个摘要句子的一个根结点，并且不同的树将每个摘要句子（根结点）连接到从其导出的文档句子（叶节点），其中连接节点包含中间生成的句子。边表示在摘要中涉及的不同模块化操作，例如句子融合、压缩和释义。我们首先提出了一个有效的最佳优先搜索方法，在神经模块，SP-Search，识别SP的人类摘要直接优化ROUGE分数。接下来，使用这些程序作为自动监督，我们提出了seq 2seq模型，生成摘要程序，然后执行这些程序以获得最终摘要。我们证明，SP-Search有效地代表了人类总结背后的生成过程，使用通常忠实于其预期行为的模块。我们还进行了模拟研究，以表明摘要程序提高了摘要模型的可解释性，允许人类更好地模拟模型推理。摘要程序是迈向可解释和模块化抽象摘要的有希望的一步，这是一项复杂的任务，以前主要通过黑盒端到端神经系统来解决。支持代码可在https://github.com/swarnaHub/SummarizationPrograms上获得
2023-02-02 cs.AI cs.CL cs.LG
Probing for Labeled Dependency Trees
IT University of Copenhagen（哥本哈根信息技术大学）
探测已成为自然语言处理中分析表示的重要工具。对于诸如依存句法分析之类的图形化NLP任务，线性探测目前仅限于提取不捕获完整任务的无向或无标记解析树。这项工作介绍DepProbe，一个线性探针，可以提取标记和定向依赖分析树的嵌入，同时使用更少的参数和计算比以前的方法。利用它的全任务覆盖和轻量级参数化，我们研究了它的预测能力，选择最好的传输语言训练一个完整的双仿射注意力分析器。在13种语言中，我们提出的方法在94%的时间内识别出最佳源树库，优于竞争对手的基线和先前的工作。最后，我们分析了上下文嵌入中任务特定子空间的信息量以及完整解析器的非线性参数化提供的好处。
2022-03-24 cs.CL
Syntax-BERT: Improving Pre-trained Transformers with Syntax Trees
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
像BERT这样的预训练语言模型在各种NLP任务中实现了卓越的性能，而无需显式考虑语法信息。同时，句法信息也被证明是自然语言处理成功的关键。然而，如何有效地将语法树合并到预先训练的Transformers中仍然没有解决。在本文中，我们解决这个问题，提出了一个新的框架命名为语法BERT。该框架以即插即用的方式工作，适用于基于Transformer架构的任意预训练检查点。在各种自然语言理解数据集上的实验验证了语法树的有效性，并在多个预训练模型（包括BERT，RoBERTa和T5）上实现了一致的改进。
2021-03-07 cs.CL
Using NLP to measure democracy
Conselho Administrativo de Defesa Econômica（经济防御行政委员会）
本文使用自然语言处理创建了第一个机器编码的民主指数，我称之为自动民主评分（ADS）。ADS基于来自6，043个不同来源的4，200万篇新闻文章，涵盖1993 - 2012年期间所有独立国家。与我们今天的民主指数不同，ADS是可复制的，标准误差小到足以区分不同的情况。通过监督学习产生ADS。尝试了三种方法：a）潜在语义分析和基于树的回归方法的组合; b）潜在狄利克雷分配和基于树的回归方法的组合;以及c）单词分数算法。Wordscores算法优于其他算法，因此它是ADS的基础。有一个Web应用程序，任何人都可以更改训练集并查看结果如何变化：www.example.com
2015-02-22 cs.CL cs.IR cs.LG
Empirical Analysis for Unsupervised Universal Dependency Parse Tree Aggregation
Iowa State University（爱荷华州立大学）
针对依存分析器跨领域和语言质量不稳定的问题，本文通过广泛实证研究比较多种无监督后处理聚合方法，以识别最合适的依存树结构聚合方案。
2024-04-03 cs.CL
Interpretable Segmentation of Medical Free-Text Records Based on Word Embeddings
University of Warsaw（华沙大学）；Institute of Computer Science Polish Academy of Sciences（波兰科学院计算机科学研究所）
有类似情况的病人得到类似的诊断是真的吗？在本文中，我们展示了NLP方法和一个独特的文档语料库来验证这一说法。我们（1）介绍了一种基于医生记录的自由文本描述的医疗访问表示方法，（2）介绍了一种新的患者访问聚类方法，（3）给出了该方法在10万次访问语料库上的应用。与所提出的方法，我们得到了稳定的和分离的部分访问，对最终的医疗诊断进行了积极的验证。我们展示了如何提出的算法可以用来帮助医生在他们的实践。
2020-06-05 cs.CL cs.LG stat.ML
Learning to Compose over Tree Structures via POS Tags
Peking University（北京大学）
递归神经网络（RecNN）是一种在句法树结构上递归地组合单词或短语的模型，已被证明具有获得各种NLP任务的句子表示的优越能力。然而，RecNN天生就存在一个棘手的问题，即树的每个节点的共享组合函数不能捕获复杂的语义组合，从而限制了模型的表达能力。为了解决这个问题，本文提出了标记引导的HyperRecNN/TreeLSTM（TG-HRecNN/TreeLSTM），它将超网络引入RecNN，以单词/短语的词性（POS）标记作为输入，并动态生成语义组合参数。在两个典型NLP任务的五个数据集上的实验结果表明，与RecNN和TreeLSTM相比，所提出的模型都获得了显着的改善。我们的TG-HTreeLSTM优于所有现有的基于RecNN的模型，并在四个句子分类基准上达到或与最先进的模型竞争。我们的模型的有效性也证明了定性分析。
2018-08-21 cs.CL
Analyzing and Interpreting Neural Networks for NLP: A Report on the First BlackboxNLP Workshop
Tilburg University（蒂尔堡大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
EMNLP 2018研讨会BlackboxNLP致力于专门开发的资源和技术，用于分析和理解语言神经模型获得的内部工作和表示。办法包括：系统地操纵神经网络的输入并调查对其性能的影响，测试可解释的知识是否可以从神经网络获得的中间表示中解码，提出对神经网络架构的修改以使其知识状态或生成的输出更可解释，并检查简化或形式语言上的网络性能。在这里，我们回顾了每个类别中的一些代表性研究。
2019-04-05 cs.CL stat.ML
Proto-lm: A Prototypical Network-Based Framework for Built-in Interpretability in Large Language Models
Dartmouth College（达特茅斯学院）
本文提出基于原型网络的白盒框架proto-lm，使LLM在微调时学习可解释嵌入，在不牺牲性能的前提下实现内建可解释性，并通过多项NLP任务验证其适用性。
2023-11-12 cs.CL
Bonsai: Interpretable Tree-Adaptive Grounded Reasoning
Johns Hopkins University（约翰斯·霍普金斯大学）
提出Bonsai组合概率推理系统，通过检索接地证据生成可适应推理树，在多领域问答与人类对齐实验中匹配黑盒性能，同时提供可解释且不确定性感知的推理轨迹。
2025-04-04 cs.AI cs.CL cs.CV
Self-interpretable Convolutional Neural Networks for Text Classification
Wells Fargo（富国银行）
用于自然语言处理（NLP）的深度学习模型本质上是复杂的，通常被视为黑盒。本文通过利用ReLU-DNN中固有的局部线性模型，开发了一种用于解释文本分类问题的卷积神经网络的方法。CNN模型通过卷积层组合词嵌入，使用最大池化对其进行过滤，并使用ReLU-DNN进行分类优化。为了获得一个整体的自解释模型，来自ReLU DNN的局部线性模型系统通过最大池过滤器映射回适当的n-gram。我们在实验数据集上的结果表明，我们提出的技术产生的简约模型是可自我解释的，并且与更复杂的CNN模型具有可比的性能。我们还研究了卷积层和分类层的复杂性对模型性能的影响。
2021-07-09 cs.CL
Please Mind the Root: Decoding Arborescences for Dependency Parsing
University of Cambridge（剑桥大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；ETH Zürich（苏黎世联邦理工学院）
依赖树和生成树之间的联系被NLP社区用来训练和解码基于图的依赖解析器。然而，NLP文献忽略了这两种结构之间的一个重要区别：在依赖树中，只有一条边可以从根发出。我们分析了Universal Dependency Treebank中许多语言的最先进解析器的输出：尽管这些解析器通常能够学习到违反约束的树应该被分配较低的概率，但随着训练集大小的减少，它们这样做的能力也会降低。事实上，我们观察到的最糟糕的约束违反率是24%。先前的工作已经提出了一种低效率的算法来强制约束，其将因子n添加到解码运行时间。我们将Gabow和Tarjan（1984）的算法应用于依存句法分析，它满足了约束条件，而不影响原始的运行时间。
2020-10-07 cs.CL
Interpretable Text Embeddings and Text Similarity Explanation: A Survey
University of Zurich（苏黎世大学）；University of Stuttgart（斯图加特大学）
该综述针对文本嵌入可解释性及相似性解释的研究缺口，系统梳理了固有可解释文本嵌入与文本相似性解释的相关方法、思路、权衡与评估方式，并总结经验、指出未来研究方向。
2025-10-02 cs.AI cs.CL cs.IR
Learning Regular Expressions for Interpretable Medical Text Classification Using a Pool-based Simulated Annealing and Word-vector Models
Ping An Health Cloud Company Limited（平安健康云科技有限公司）
在本文中，我们提出了一个基于规则的引擎组成的高质量和可解释的正则表达式的医学文本分类。正则表达式由构造性探试法自动生成，并使用基于池的模拟退火（PSA）方法进行优化。尽管现有的深度神经网络（DNN）方法在大多数自然语言处理（NLP）应用中表现出高质量的性能，但这些解决方案被认为是人类无法解释的黑箱。因此，当需要可解释的解决方案时，通常会引入基于规则的方法，特别是在医学领域。然而，对于大型数据集，正则表达式的构造可能是极其劳动密集型的。本研究旨在减少人工工作，同时保持高质量的解决方案
2020-11-16 cs.AI cs.CL
Hierarchical Interpretation of Neural Text Classification
University of Warwick（华威大学）；King’s College London（伦敦国王学院）；Alan Turing Institute（阿兰·图灵研究所）
近年来，在自然语言处理（NLP）中，人们对开发可解释模型的兴趣越来越大。大多数现有的模型旨在识别输入特征，例如对模型预测重要的单词或短语。然而，在NLP中开发的神经模型通常以分层方式组成单词语义，并且文本分类需要分层建模来聚合本地信息，以便更有效地处理主题和标签偏移。因此，在文本分类中，仅通过单词或短语的解释不能忠实地解释模型决策。本文提出了一种新的层次化的不可解释的神经文本分类器，称为提示，它可以自动生成解释的模型预测的形式，标签相关的主题在一个层次化的方式。模型解释不再是在单词级别，而是建立在主题作为基本语义单位的基础上。在评论数据集和新闻数据集上的实验结果表明，我们提出的方法实现了与现有最先进的文本分类器相当的文本分类结果，并且生成的解释更忠实于模型预测，并且比其他可解释的神经文本分类器更容易被人类理解。
2022-08-09 cs.AI cs.CL cs.IR
A Computational Framework for Interpretable Text-Based Personality Assessment from Social Media
FACULTY OF ELECTRICAL ENGINEERING AND COMPUTING（电气工程与计算学院）
针对带人格标签的社交媒体文本数据集稀缺、人格心理学与NLP脱节导致模型有效性和可解释性不足的问题，本研究构建了两个大规模Reddit人格数据集，并提出可解释的SIMPA框架，通过匹配用户陈述与问卷条目实现媲美人类的评估，且具备跨领域通用性。
2025-10-03 cs.AI cs.CL cs.SI
