Globally Interpretable Classifiers via Boolean Formulas with Dynamic Propositions
Tampere University（坦佩雷大学）
本文提出一种基于动态命题布尔公式和Answer Set Programming的方法，从表格数据中提取简短且直接人类可理解的分类器，在七个数据集上准确率与XGBoost和随机森林相似，但克服了黑盒缺陷。
2024-06-03 cs.AI cs.LG cs.LO
Contextual Local Explanation for Black Box Classifiers
我们介绍了一种新的模型不可知的解释技术，它解释了任何分类器的预测称为CLE。CLE给出了一个忠实的和可解释的解释的预测，通过近似的模型局部使用一个可解释的模型。我们通过解释文本、表格和图像分类的不同模型来展示CLE的灵活性，并通过模拟用户实验来展示CLE的保真度。
2019-10-02 cs.LG stat.ML
IntroVAC: Introspective Variational Classifiers for Learning Interpretable Latent Subspaces
University of Padova（帕多瓦大学）
学习复杂数据的有用表示多年来一直是广泛研究的主题。随着深度神经网络的普及，变分自编码器获得了大量关注，因为它们基于编码器/解码器架构提供了数据分布的显式模型，该架构能够生成图像并在低维子空间中对其进行编码。然而，潜在的空间是不容易解释和生成能力显示出一些限制，因为图像通常看起来模糊，缺乏细节。在本文中，我们提出了内省变分分类器（IntroVAC），该模型通过利用来自附加标签的信息来学习可解释的潜在子空间，并通过对抗训练策略来提高图像质量。我们表明，IntroVAC能够学习潜在空间中有意义的方向，从而实现对图像属性的细粒度操作。我们在CelebA数据集上验证了我们的方法。
2020-09-14 cs.CV cs.LG stat.ML
A Deep Learning Interpretable Classifier for Diabetic Retinopathy Disease Grading
Universitat Rovira i Virgili（罗维拉-威尔吉利大学）
深度神经网络模型已被证明在图像分类任务中非常成功，也适用于医疗诊断，但其主要问题是缺乏可解释性。它们曾经作为直觉机器工作，具有很高的统计置信度，但无法对报告的结果给出可解释的解释。这些模型的参数数量庞大，很难从中推断出合理的解释。在本文中，我们提出了一种糖尿病视网膜病变可解释的分类器，能够将视网膜图像分类到不同的疾病严重程度，并通过为隐藏空间和输入空间中的每个点分配一个分数来解释其结果，以线性方式评估其对最终分类的贡献。生成的可视化地图可以由专家进行解释，以便将自己的知识与模型给出的解释进行比较。
2017-12-21 cs.CV cs.LG stat.ML
MAIRE -- A Model-Agnostic Interpretable Rule Extraction Procedure for Explaining Classifiers
Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）
本文介绍了一种新的框架，用于提取模型无关的人类可解释的规则来解释分类器的输出。人类可解释的规则被定义为一个轴对齐的超长方体包含的实例，分类决策必须加以解释。所提出的过程找到最大（高\textit{coverage}）轴对齐的超立方体，使得超立方体中的高百分比的实例具有与被解释的实例（高\textit{precision}）相同的类标签。新的近似的覆盖范围和精度的措施方面的参数的超长方体的定义。使用基于梯度的优化器将它们最大化。的近似的质量进行了严格的理论分析和实验。启发式简化生成的解释，以实现更好的解释性和贪婪的选择算法，结合本地的解释，为覆盖了很大一部分的实例空间的模型创建全局解释也提出了。该框架是模型不可知的，可以应用于任何任意分类器和所有类型的属性（包括连续，有序和无序离散）。该框架的广泛适用性在来自不同领域（表格，文本和图像）的各种合成和真实世界的数据集上进行了验证。
2020-11-03 cs.AI cs.LG
An interpretable semi-supervised classifier using two different strategies for amended self-labeling
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Queens University Belfast（英国女王大学贝尔法斯特分校）
在某些机器学习应用程序的上下文中，获取数据实例是一个相对容易的过程，但标记它们可能会变得非常昂贵或繁琐。这样的场景会导致数据集具有很少的标记实例和大量的未标记实例。半监督分类技术在学习阶段结合标记和未标记的数据，以提高分类器的泛化能力。遗憾的是，大多数成功的半监督分类器不允许解释其结果，因此表现得像黑匣子。然而，有越来越多的问题领域中，专家需要一个清晰的理解决策过程。在本文中，我们报告了一个扩展的实验研究，提出了一个可解释的自标记灰盒分类器，使用黑盒子来估计缺失的类标签和白盒子来解释最终的预测。两种不同的方法来修改自标记过程进行了探讨：第一个基于黑盒的信心，后者的基础上从粗糙集理论的措施。扩展实验研究的结果支持我们的分类器的透明性和简单性的手段的可解释性，同时获得优越的预测率相比，在文献中报道的最先进的自标记分类器。
2020-07-20 cs.LG stat.ML
Interpretable Neural Networks based classifiers for categorical inputs
École Polytechnique Féderale de Lausanne (EPFL)（洛桑联邦理工学院）
由于神经网络在人类敏感应用中的广泛使用，其可解释性正在成为机器学习中越来越重要的主题。在这项工作中，我们介绍了一种简单的方法来解释的输出功能的神经网络分类器，作为输入的分类变量。通过利用一个神经网络分类器和一个物理能量模型之间的映射，我们表明，在这些情况下，网络的每一层，特别是logits层，可以扩展为一个项的总和，占每个输入模式的分类的贡献。例如，在第一阶，扩展仅考虑输入特征和输出之间的线性关系，而在第二阶，还考虑了输入特征之间的成对依赖关系。每个模式的贡献的分析，经过适当的规范变换，在两种情况下，该方法的有效性可以理解。
2021-02-05 cs.LG stat.ML
Metabolomic Biomarker Discovery for ADHD Diagnosis Using Interpretable Machine Learning
Digital Technology Research Center, National Research Council Canada（加拿大国家研究理事会数字技术研究中心）；Biomedical Science and Hematology Departments, College of Medicine and Health Sciences, Sultan Qaboos University（苏丹奥曼穆萨特大学医学院与健康科学学院生物医学科学与血液科）
本研究利用可解释机器学习结合代谢组学，发现14种代谢物标志物，用于ADHD的客观诊断，揭示多巴胺能神经传递和氨基酸代谢机制。
2026-02-24 cs.LG
Efficient Learning of Interpretable Classification Rules
National University of Singapore（新加坡国立大学）
机器学习在医疗、法律和交通等各种安全关键领域的应用中已经变得无所不在。在这些领域，机器学习提供的高风险决策要求研究人员设计可解释的模型，其中预测是人类可以理解的。在可解释的机器学习中，基于规则的分类器在通过包括输入特征的一组规则来表示决策边界方面特别有效。基于规则的分类器的可解释性通常与规则的大小有关，其中较小的规则被认为更具可解释性。为了学习这样的分类器，暴力直接方法是考虑一个优化问题，该问题试图学习具有接近最大准确度的最小分类规则。由于其组合性质，该优化问题在计算上是棘手的，因此，该问题在大型数据集中不可扩展。为此，在本文中，我们研究的准确性，可解释性和可扩展性的学习规则为基础的分类之间的三角关系。本文的贡献是一个可解释的学习框架IMLI，这是基于最大可满足性（MaxSAT）的综合分类规则表达的命题逻辑。尽管MaxSAT解决方案在过去十年中取得了进展，但基于MaxSAT的简单解决方案无法扩展。因此，我们将一个有效的增量学习技术内的MaxSAT配方，通过集成小批量学习和迭代规则学习。在我们的实验中，IMLI在预测准确性、可解释性和可扩展性之间实现了最佳平衡。作为一个应用程序，我们部署IMLI在学习流行的可解释的分类器，如决策列表和决策集。
2022-08-30 cs.AI cs.LG
MCPNet: An Interpretable Classifier via Multi-Level Concept Prototypes
National Yang Ming Chiao Tung University（国立阳明交通大学）；NVIDIA Research（英伟达研究院）
提出内在可解释模型MCPNet，利用CKA损失和能量加权PCA机制自主跨多级特征图学习概念原型，并通过CCD损失对齐原型分布进行分类，在保持准确率的同时提供全面多级解释并提升少样本泛化能力。
2024-04-23 cs.CV cs.LG
Interpretable and Fair Mechanisms for Abstaining Classifiers
University of Antwerp（安特卫普大学）；Scuola Normale Superiore（比萨高等师范学校）
针对弃权分类器仅为多数群体减少错误导致群体性能差异增大且现有方法缺乏可解释性的问题，本文提出IFAC算法，基于不确定性和不公平性拒绝预测，减少非拒绝数据的群体差异，通过规则公平性检查和情境测试实现透明流程，助力人类决策。
2025-04-14 cs.AI cs.LG
Spatial Action Unit Cues for Interpretable Deep Facial Expression Recognition
ÉTS（ÉTS（蒙特利尔工程学院））；Concordia Univ.（康考迪亚大学）；Montreal Behavioural Medicine Centre（蒙特利尔行为医学中心）
本文提出一种将空间动作单元线索显式纳入深度分类器训练的新策略，通过约束空间层特征与AU热图相关，在不降低分类性能的前提下提升面部表情识别模型的可解释性。
2024-10-01 cs.CV cs.LG
Exploring Neural Ordinary Differential Equations as Interpretable Healthcare classifiers
Columbia University（哥伦比亚大学）
针对深度学习黑盒决策在医疗等领域引发的信任问题，本研究提出基于神经常微分方程（NODEs）的可解释文本分类架构，兼顾深度学习的预测能力与模型透明度。
2025-03-05 cs.AI cs.LG
Deformable ProtoPNet: An Interpretable Image Classifier Using Deformable Prototypes
University of Maine（缅因大学）；Duke University（杜克大学）
本文提出Deformable ProtoPNet，通过引入空间灵活的可变形原型部件来捕捉姿态变化和上下文，在保持基于案例推理可解释性的同时提升了图像分类准确性和解释丰富性。
2024-05-02 cs.AI cs.CV cs.LG
Causal Generative Explainers using Counterfactual Inference: A Case Study on the Morpho-MNIST Dataset
Dalhousie University（达尔豪斯大学）
本文利用因果生成学习与反事实推断，提出针对图像分类器的可解释方法，包括像素级影响分析、基于蒙特卡洛的属性重要性估计及反事实解释优化，并在 Morpho-MNIST 上验证其可解释性优于 OmnixAI。
2024-01-21 cs.LG
Large scale modeling of antimicrobial resistance with interpretable classifiers
抗生素耐药性是一个重要的公共卫生问题，在世界范围内的医学实践中具有影响。从基因组序列中准确预测耐药表型，通过确定哪些抗生素可能在特定临床病例中有效，在促进更好地使用抗菌药物方面显示出巨大的希望。在医疗保健领域，这将允许为特定个体设计治疗计划，可能会为细菌感染患者带来更好的临床结果。在这项工作中，我们介绍了Drouin等人最近的工作。（2016）使用集合覆盖机器学习高度可解释的抗生素耐药性模型，并通过将其方法大规模应用于整个PATRIC数据库来补充它。我们报告了36个新数据集的预测结果，并介绍了Kover AMR平台，这是一个新的基于网络的工具，可以对生成的模型进行可视化和解释。
2016-12-03 cs.LG q-bio.GN stat.ML
Interpretable classifiers using rules and Bayesian analysis: Building a better stroke prediction model
Massachusetts Institute of Technology（麻省理工学院）；University of Washington（华盛顿大学）；Columbia University（哥伦比亚大学）
我们的目标是生成不仅准确，而且可由人类专家解释的预测模型。我们的模型是决策列表，其中包括一系列的如果...然后...语句（例如，如果是高血压，则是中风），其将高维、多变量特征空间离散化为一系列简单、易于解释的决策语句。我们引入了一个生成模型称为贝叶斯规则列表，产生一个后验分布可能的决策列表。它采用了一种新的先验结构，以鼓励稀疏。我们的实验表明，贝叶斯规则列表的预测精度与当前机器学习中的顶级预测算法相当。我们的方法是由个性化医疗的最新发展，并可用于产生高度准确和可解释的医疗评分系统的动机。我们通过产生CHADS $_2$评分的替代方案来证明这一点，该评分在临床实践中被积极用于估计房颤患者的卒中风险。我们的模型与CHADS $_2$一样可解释，但更准确。
2015-11-05 cs.LG stat.AP stat.ML
From Physics-Based Models to Predictive Digital Twins via Interpretable Machine Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Oden Institute for Computational Engineering and Sciences（奥登计算工程与科学研究所）
这项工作开发了一种方法，用于从代表各种资产状态的基于物理的模型库中创建数据驱动的数字孪生。使用可解释的机器学习更新数字孪生。具体来说，我们使用最优树-最近开发的可扩展的机器学习方法-训练一个可解释的数据驱动的分类器。分类器的训练数据使用由基于物理的模型库求解的模拟场景离线生成。这些数据可以使用实验数据或其他历史数据进一步扩充。在操作中，分类器使用来自资产的观测数据来推断模型库中的哪些基于物理的模型是更新的数字孪生的最佳候选。该方法通过为12英尺翼展的无人机开发结构数字孪生来演示。这个数字孪生模型是从一系列结构状态下车辆的降阶模型库中构建的。数据驱动的数字孪生会根据结构损坏或退化动态更新，并使飞机能够相应地重新规划安全任务。在这种情况下，我们研究的最佳树分类器的性能，并展示了如何解释它们的可解释性，使稀疏传感器测量的结构评估，并通知最佳传感器的位置。
2020-04-28 cs.CE cs.LG
Interpretable Rule Discovery Through Bilevel Optimization of Split-Rules of Nonlinear Decision Trees for Classification Problems
Michigan State University（密歇根州立大学）
对于涉及设计，控制，其他实际目的的监督分类问题，用户不仅有兴趣找到一个高精度的分类器，但他们也要求得到的分类器是容易解释的。虽然分类器的可解释性的定义可以因情况而异，但在这里，通过人类可解释的分类器，我们将其限制为用简单的数学术语表示。作为一种新的方法，我们表示一个简单的数学规则，使用非线性决策树（NLDT）的组合分类器。树的每个条件（非终端）节点表示涉及特征的非线性数学规则（分裂规则），以便将给定条件节点中的数据集划分为两个不重叠的子集。这种划分旨在最小化结果子节点的不纯性。通过限制每个条件节点上的分裂规则结构和决策树的深度，保证了分类器的可解释性。在一个给定的条件节点的非线性分裂规则是使用进化的双层优化算法，而上层集中在到达一个可解释的结构的分裂规则，较低的水平实现最合适的权重（系数）的规则的各个组成部分，以最大限度地减少净杂质的两个子节点。所提出的算法的性能证明了一些控制测试问题，现有的基准问题，和工业问题。两个到500个特征问题的结果是令人鼓舞的，并开辟了进一步的范围，应用所提出的方法，更具有挑战性和复杂的分类任务。
2020-08-02 cs.LG cs.NE stat.ML
Learning Qualitatively Diverse and Interpretable Rules for Classification
Harvard University（哈佛大学）
人们越来越有兴趣开发精确的模型，也可以解释给人类。不幸的是，如果某些数据集存在多个不同但准确的模型，当前的机器学习方法不太可能找到它们：标准技术可能会恢复一个组合它们的复杂模型。在这项工作中，我们介绍了一种方法来识别一个数据集的不同但准确的模型的最大集合。我们的经验表明，在数据支持多个准确的分类器的情况下，我们倾向于恢复更简单，更可解释的分类器，而不是更复杂的。
2018-07-19 cs.LG stat.ML
Learning Variational Word Masks to Improve the Interpretability of Neural Text Classifiers
University of Virginia（弗吉尼亚大学）
为了构建一个可解释的神经文本分类器，大多数先前的工作都集中在设计内在可解释的模型或找到忠实的解释。提高模型可解释性的新工作刚刚开始，许多现有的方法需要先验信息或人工注释作为训练中的额外输入。为了解决这一限制，我们提出了变分词掩码（VMASK）方法来自动学习特定于任务的重要词，并减少与分类无关的信息，从而最终提高模型预测的可解释性。在七个基准文本分类数据集上使用三个神经文本分类器（CNN，LSTM和BERT）对所提出的方法进行了评估。实验表明，VMASK在提高模型预测精度和可解释性方面是有效的。
2020-11-19 cs.CL cs.LG
Interpretable Deep Learning Classifier by Detection of Prototypical Parts on Kidney Stones Images
Tecnologico de Monterrey（蒙特雷理工学院）；CHU Nancy（南锡大学中心医院）；Université de Lorraine（洛林大学）
确定肾结石的类型可以让泌尿科医生确定其形成原因，改善适当治疗的早期处方，以减少未来的复发。然而，目前，相关的离体诊断（称为形态构成分析，MCA）是耗时的、昂贵的，并且需要大量的经验，因为它需要高度依赖于操作者的视觉分析组件。最近，已经开发了用于体内内窥镜结石识别的机器学习方法。浅层方法已被证明是可靠的和可解释的，但表现出低准确性，而基于深度学习的方法产生高准确性，但无法解释。然而，高风险决策需要可理解的计算机辅助诊断（CAD），以根据合理的证据提出行动方案，而不仅仅是规定一个。在这里，我们研究的手段，学习部分原型（PP），使可解释的模型。我们的建议提出了一个肾结石斑块图像的分类，并提供了类似的方式上使用的MCA方法的解释。
2022-06-02 cs.AI cs.CV cs.LG
A Robust Prototype-Based Network with Interpretable RBF Classifier Foundations
针对深度原型网络（PBNs）的可解释性缺陷，提出组件分类（CBC）扩展模型，证明其鲁棒性并推导优化损失，实证显示该模型在基准上精度先进，解决可解释性问题且浅层变体优于其他浅层PBN。
2025-04-17 cs.AI cs.CV cs.LG
Interpretable Machine Learning Classifiers for Brain Tumour Survival Prediction
Centre for Addiction and Mental Health（成瘾与心理健康中心）；University of Edinburgh（爱丁堡大学）；Royal Infirmary of Edinburgh（爱丁堡皇家医院）
由于肿瘤行为和治疗反应的异质性，预测诊断为脑肿瘤的患者的生存率具有挑战性。更好的预后估计将支持治疗计划和患者支持。机器学习的进步为临床预测模型的发展提供了信息，但它们与临床实践的整合几乎不存在。其中一个原因是模型缺乏可解释性。在本文中，我们使用一个新的脑肿瘤数据集比较两个可解释的规则列表模型对流行的机器学习方法的脑肿瘤生存预测。所有模型都使用标准性能指标进行定量评估。还对规则列表的可解释性和临床实用性进行了定性评估。黑盒机器学习模型的可解释性评估使用两个事后解释技术，石灰和SHAP。我们的结果表明，黑盒模型仅略微优于规则列表。我们证明了规则列表算法产生了与临床专业知识相一致的简单决策列表。相比之下，事后可解释性方法应用于黑箱模型可能会产生不可靠的解释本地模型的预测。模型的可解释性对于理解预测性能的差异和整合到临床实践中至关重要。
2021-06-17 cs.AI cs.LG
Simulating Biases for Interpretable Fairness in Offline and Online Classifiers
Faculdade de Engenharia da Universidade do Porto（葡萄牙波尔图大学工程学院）；Laboratory for Artificial Intelligence and Computer Science (LIACC)（人工智能与计算机科学实验室）
本文提出一个具有可控偏见注入的合成数据集生成框架，基于智能体模型模拟贷款申请中的系统性偏见，并采用二阶 Shapley 值技术解释缓解措施对分类器特征利用的影响，在离线和在线学习环境中验证了其有效性。
2025-07-14 cs.LG stat.ML
Convolutional Dynamic Alignment Networks for Interpretable Classifications
MPI for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文提出卷积动态对齐网络CoDA-Nets，通过动态对齐单元实现输入依赖的线性变换，在保持与ResNet、VGG相当分类性能的同时，提供高质量、可线性分解的内在可解释性。
2024-01-15 cs.LG
A Robust Interpretable Deep Learning Classifier for Heart Anomaly Detection Without Segmentation
Queensland University of Technology（昆士兰科技大学）；M3DICINE Pty Ltd（M3DICINE私人有限公司）
传统上，异常心音分类被框定为三阶段过程。第一阶段涉及分割心音图以检测基本心音;之后提取特征并进行分类。该领域的一些研究人员认为分割步骤是一个不必要的计算负担，而其他人则将其作为特征提取的优先步骤。当比较在分析之前分割心音的研究与忽略这一步骤的研究所达到的准确度时，是否在特征提取之前分割心音的问题仍然是开放的。在这项研究中，我们明确地检查心音分割的重要性，作为一个事先步骤的心音分类，然后寻求应用所获得的见解，提出一个强大的分类器异常心音检测。此外，认识到医疗领域对可解释的人工智能（AI）模型的迫切需求，我们还揭示了分类器使用模型解释技术学习的隐藏表示。实验结果表明，分割在异常心音分类中起着至关重要的作用。我们的新分类器也被证明是鲁棒的，稳定的，最重要的是，可解释的，在广泛使用的PhysioNet数据集上的准确率几乎为100%。
2020-09-29 cs.LG cs.SD eess.AS
Interpretable Diabetic Retinopathy Diagnosis based on Biomarker Activation Map
提出基于生成对抗学习的BAM框架，通过两个U形生成器构建差异图，突出分类器利用的DR病理特征，实现可解释的自动诊断。
2023-06-26 cs.CV cs.LG eess.IV
Tree Space Prototypes: Another Look at Making Tree Ensembles Interpretable
Cornell University（康奈尔大学）
决策树的集合在许多问题上表现良好，但不可解释。在现有的方法，专注于解释功能和预测之间的关系的可解释性相比，我们提出了一种替代方法来解释树集成分类器的表面代表点为每个类-原型。我们为梯度提升树模型引入了新的距离，并提出了具有理论保证的新的自适应原型选择方法，可以灵活地在每个类中选择不同数量的原型。我们在随机森林和梯度提升树上展示了我们的方法，表明当用作最近原型分类器时，原型可以表现得与原始树集成一样好，甚至更好。在一项用户研究中，人类在使用原型时比使用Shapley值（一种流行的特征归因方法）时更善于预测树集成分类器的输出。因此，原型提出了一个可行的替代功能为基础的解释树合奏。
2020-08-25 cs.LG stat.ML
Memory Wrap: a Data-Efficient and Interpretable Extension to Image Classification Models
Sapienza University of Rome（罗马第一大学）；Sony AI（索尼人工智能）
本文提出 Memory Wrap，一种通过内容注意力机制利用训练样本记忆的即插即用扩展，在提升图像分类模型数据效率的同时提供基于示例和反事实的可解释性。
2021-06-04 cs.LG
Generating Interpretable Counterfactual Explanations By Implicit Minimisation of Epistemic and Aleatoric Uncertainties
University of Oxford（牛津大学）；Accenture Labs（埃森哲实验室）
反事实解释（CE）是一种实用的工具，用于演示为什么机器学习分类器会做出特定的决策。为了使CE有用，重要的是它们易于用户解释。用于生成可解释的CE的现有方法依赖于辅助生成模型，其可能不适合于复杂数据集，并且引起工程开销。我们介绍了一种简单而快速的方法，用于在白盒设置中生成可解释的CE，而无需辅助模型，通过使用分类器的预测不确定性。我们的实验表明，我们提出的算法产生更多的可解释的CE，根据IM1分数，比现有的方法。此外，我们的方法使我们能够估计CE的不确定性，这可能是重要的安全关键型应用程序，如在医疗领域。
2021-03-16 cs.LG stat.AP
Mimic: An adaptive algorithm for multivariate time series classification
Washington State University（华盛顿州立大学）
时间序列数据是有价值的，但往往是不可理解的。在金融、医疗保健和其他关键应用程序中获得对时间序列分类器的信任可能依赖于创建可解释的模型。研究人员以前被迫在缺乏预测能力的可解释方法和缺乏透明度的深度学习方法之间做出决定。在本文中，我们提出了一种新的模仿算法，保留了最强分类器的预测精度，同时引入可解释性。Mimic反映了现有多变量时间序列分类器的学习方法，同时产生一个视觉表示，增强了用户对学习模型的理解。在26个时间序列数据集上的实验支持了Mimic视觉上和准确地模仿各种时间序列分类器的能力。
2021-11-08 cs.AI cs.LG
Concise and interpretable multi-label rule sets
Aalto University（阿尔托大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
多标签分类正变得越来越普遍，但并没有太多的注意已经支付给解释性。在本文中，我们开发了一个多标签分类器，可以表示为一组简洁的简单的“如果，然后”规则，因此，它提供了更好的解释性相比，黑盒模型。值得注意的是，我们的方法是能够找到一个小的相关模式，导致准确的多标签分类，而现有的基于规则的分类是短视的，浪费在搜索规则，需要大量的规则，以达到高精度。特别是，我们制定的问题，选择多标签的规则，以最大限度地提高目标函数，它不仅考虑到歧视能力的标签，但也多样性。考虑多样性有助于避免冗余，从而控制解决方案集中的规则数量。为了解决上述最大化问题，我们提出了一个2-近似算法，它依赖于一种新的技术，以采样高质量的规则。除了我们的理论分析，我们提供了一个彻底的实验评估，这表明，我们的方法提供了一个权衡之间的预测性能和可解释性，这是无与伦比的在以前的工作。
2022-11-07 cs.LG
Or's of And's for Interpretable Classification, with Application to Context-Aware Recommender Systems
Massachussetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）；Ford Motor Company（福特汽车公司）
我们提出了一个机器学习算法，用于建立分类器，由少量的析取连词（或的和的）。这种形式的分类器的一个例子如下：如果X满足（x1 = 'blue' AND x3 = 'middle'）OR（x1 = 'blue' AND x2 = '<15'）OR（x1 = 'yellow'），那么我们预测Y=1，否则预测Y=0。一个属性-值对被称为文字，文字的连接被称为模式。这种形式的模型的优点是人类专家可以解释，因为它们产生了一组简明描述特定类的条件。我们提出了两个概率模型，形成一个模式集，一个贝塔二项式先验，和其他泊松先验。在这两种情况下，都有用户可以设置的先验参数，以鼓励模型具有所需的大小和形状，以符合特定领域的可解释性定义。我们提供了两个可扩展的MAP推理方法：模式级搜索，其中涉及关联规则挖掘，和文字级搜索。我们显示更强的先验减少计算。我们应用贝叶斯Or的和（BOA）模型来预测用户行为方面的车载上下文感知个性化推荐系统。
2015-04-28 cs.LG
Seeing and hearing what has not been said; A multimodal client behavior classifier in Motivational Interviewing with interpretable fusion
CNRS（法国国家科学研究中心）；Sorbonne University（索邦大学）；Bordeaux University（波尔多大学）
针对动机访谈中来访者话语的MISC分类问题，提出融合文本、韵律、面部与身体特征的多模态可解释分类器，并基于AnnoMI标注识别关键模态。
2023-09-27 cs.AI cs.CL cs.LG
Tell me why: Visual foundation models as self-explainable classifiers
University of Geneva（日内瓦大学）；Geneva University Hospitals（日内瓦大学医院）；National University of Singapore（新加坡国立大学）
本研究提出ProtoFM，通过冻结视觉基础模型并训练轻量原型头部，实现高效且忠实自解释的分类，性能与可解释性均优于现有模型。
2025-02-26 cs.AI cs.CV cs.LG
Counterfactual Image Generation for adversarially robust and interpretable Classifiers
IBM Research（IBM研究院）；ETH Zürich（苏黎世联邦理工学院）
针对神经图像分类器可解释性差与易受对抗攻击的问题，提出基于图像翻译GAN的统一框架，生成兼具可解释性与对抗增强作用的反事实样本，在分割与鲁棒性任务上均取得良好效果，还可利用判别器输出衡量预测不确定性。
2023-10-01 cs.CV cs.LG eess.IV
A novel method for extracting interpretable knowledge from a spiking neural classifier with time-varying synaptic weights
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research, Agency for Science, Technology and Research（科技研究局资讯通信研究院）；Indian Institute of Science（印度科学学院）
本文提出了一种新的方法，在MC-SEFRON分类器的信息解释。为了开发一种方法来提取存储在训练好的分类器中的知识，首先，将先前开发的二进制类SEFRON分类器扩展到处理多类问题。MC-SEFRON使用总体编码方案将实值输入数据编码为尖峰模式。MC-SEFRON使用与SEFRON相同的监督学习规则进行训练。在训练之后，所提出的方法通过将时域中的加权突触后电位映射到特征域作为特征强度函数（FSF）来提取存储在分类器中的给定类的知识。对应于每个输出类的一组FSF表示从分类器提取的知识。这种知识编码方法的推导，以保持在时域和特征域的分类之间的一致性。FSF的正确性定量测量直接使用FSF分类任务。对于给定的输入，每个FSF在输入值处被采样以获得对应的特征强度值（FSV）。然后，在分类期间使用针对每个类获得的聚合FSV来确定输出类标签。FSV还用于在分类任务期间解释预测。利用10个UCI数据集和MNIST数据集，证明了FSF的知识提取方法、解释和可靠性。研究结果表明，对于UCI数据集和MNIST数据集，直接使用FSF的分类精度与MC-SEFRON的分类精度的平均差异仅为0.9%和0.1%左右。这清楚地表明，由FSF表示的知识具有可接受的可靠性，并且使用分类器的知识的分类的可解释性已被证明是合理的。
2019-02-28 cs.LG cs.NE stat.ML
Finding Patterns in Ambiguity: Interpretable Stress Testing in the Decision~Boundary
针对深度学习黑盒模型决策过程难理解的问题，提出从决策边界选取原型并结合模型后解释算法的方法，经2D可视化和GradientSHAP验证可捕捉低置信度决策特征，助力可靠ML系统的负责任开发。
2024-08-12 cs.CV cs.LG
Explaining the Predictions of Any Image Classifier via Decision Trees
Lenovo Research（联想研究院）；University of Chinese Academy of Sciences（中国科学院大学）
尽管深度学习模型对人工智能（AI）的重大进展做出了突出贡献，但大多数仍然是黑箱，其推理过程和预测结果的可解释性非常弱。可解释性不仅是人工智能与社会之间的门户，也是检测模型缺陷和数据偏差的强大工具。局部可解释模型不可知解释（LIME）是最近的一种方法，它使用可解释模型来形成对单个预测结果的局部解释。LIME的当前实现采用线性回归作为其可解释函数。然而，由于受到限制并且通常过度简化关系，线性模型在特征和预测结果之间存在非线性关联和相互作用的情况下失败。本文实现了一种基于决策树的LIME方法，该方法使用决策树模型来形成局部忠实于原始模型的可解释表示。Tree-LIME方法可以捕获数据中特征之间的非线性相互作用，并创建合理的解释。各种实验表明，Tree-LIME对多个黑盒模型的解释在可理解性、保真度和效率方面可以实现更可靠的性能。
2020-02-10 cs.AI cs.LG stat.ML
How Simple Can It Get? From Interpretable Equations to Readable Rules for Financial Decision Making
University of Amsterdam（阿姆斯特丹大学）
针对金融领域可解释分类器可读性差的问题，本文提出从单方程可解释分类器逐步简化为可读规则的方法，经四组金融数据集验证，该方法可在损失较小的情况下生成有效规则，且部分损失可从原始模型预判。
2026-08-11 cs.AI cs.LG
Wrapped Classifier with Dummy Teacher for training physics-based classifier at unlabeled radar data
ISTP SB RAS（俄罗斯科学院西伯利亚分院日地物理研究所）
本文介绍了2021年EKB和MAGW ISTP SB RAS相干散射雷达（工作频率8- 20 MHz）接收信号的自动分类方法。该方法适用于实验数据的实时分类结果的自动物理解释。我们称这个算法为Wrapped Classifier with Dummy Teacher。该方法在未标记的数据集上进行训练，并基于使用聚类结果训练最佳的基于物理的分类。该方法接近于最优嵌入搜索，其中嵌入被解释为软分类的概率向量。该方法允许找到最佳的分类算法，基于物理上可解释的参数的接收到的数据，无论是在基于物理的数值模拟和实验测量。用于标记未标记数据集的Dummy Teacher聚类器是高斯混合聚类算法。对于算法功能，我们扩展了雷达获得的参数，增加了使用射线跟踪和IRI-2012和IGRF电离层和地球磁场模型模拟无线电波传播期间计算的参数。对于Dummy Teacher的聚类，我们使用可用参数的整个数据集（测量和模拟参数）。对于Wrapped Classifier的分类，我们只使用物理解释良好的参数。因此，我们训练了分类网络，并在现有数据中从物理角度找到了11个可解释的类别。其他五个发现的类从物理的角度来看是不可解释的，这表明考虑到无线电波传播的重要性，正确的分类。
2022-01-15 cs.LG physics.data-an physics.geo-ph
Robust and Interpretable Medical Image Classifiers via Concept Bottleneck Models
UC San Diego（加州大学圣地亚哥分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；VA San Diego Healthcare System（VA圣地亚哥医疗系统）
针对深度学习医学图像分类模型存在的虚假相关性导致泛化差、黑盒缺乏可解释性的问题，提出基于自然语言概念的新范式，通过GPT-4获取临床概念、视觉-语言模型转换特征，在8个数据集上验证了鲁棒性与可解释性优势。
2023-10-04 cs.CL cs.CV cs.LG
Interpretable Time Series Classification using All-Subsequence Learning and Symbolic Representations in Time and Frequency Domains
Insight Centre for Data Analytics（洞察数据分析中心）；University College Dublin（都柏林大学学院）
时间序列分类文献在过去十年中迅速扩展，每年都有许多新的分类方法出版。研究的重点大多集中在提高分类器的准确率和效率上，而其可解释性却受到一定程度的忽视。分类器的可解释性已成为许多应用领域的关键约束，2018年5月GDPR欧盟立法引入的“解释权”可能会进一步强调可解释的学习算法的重要性。在这项工作中，我们分析了最先进的时间序列分类，并提出了新的算法，旨在保持分类器的准确性和效率，但保持可解释性作为一个关键的设计约束。我们提出了新的时间序列分类算法，通过实现以下三个关键思想来推进最新技术水平：（1）符号近似的多分辨率：我们组合使用不同参数获得的符号表示;（2）多域表示：我们在时间上组合符号近似（例如，SAX）和频率（例如，SFA）结构域;（3）巨大的符号词空间的有效导航：我们采用名为SEQL的符号序列分类器，使其与多个域表示（例如，SAX-SEQL，SFA-SEQL），并使用其贪婪的特征选择策略来有效地过滤每个表示的最佳特征。我们发现，多分辨率多域线性分类器SAX-SFA-SEQL实现了与最先进的COTE集成和最近的深度学习方法（FCN）相似的准确性，但使用COTE或FCN所需时间的一小部分。我们讨论了我们提出的算法的准确性，效率和可解释性。为了进一步分析我们的分类器的可解释性方面，我们提出了一个生态基准的案例研究。
2018-08-12 cs.LG stat.ML
Coding LLMs Can Be Harnessed to Learn Interpretable Models from Data
Carnegie Mellon University（卡内基梅隆大学）
本文提出一种调控机制，通过提示编码类LLM生成规则集的下一条规则，在表格和文本数据上学习可解释模型，表现优于现有方法，还引入了新的编码基准。
2026-10-14 cs.AI cs.LG
Rule-Mining based classification: a benchmark study
University Paris Descartes（巴黎笛卡尔大学）；Institut Hypercube（Hypercube研究所）
本研究提出了一个详尽的稳定/可重复的规则挖掘算法结合到一个分类器，以产生准确和可解释的模型。我们的方法首先提取规则（即，一个关于少量输入特征的值的条件的结合）与我们的穷举规则挖掘算法，然后基于称为“局部特征”的最相关的规则构造新的特征空间，最后，通过在新的局部特征空间上训练标准分类器来构建局部预测模型。这个局部特征空间是很容易解释的，通过提供一个人类可以理解的解释下明确的规则形式。此外，我们的本地预测方法是强大的全球经典的逻辑回归（LR），支持向量机（SVM）和规则为基础的方法，如随机森林（RF）和梯度提升树（GBT）。
2017-06-30 cs.LG
Visualisation and knowledge discovery from interpretable models
Bernoulli Institute, University of Groningen（格罗宁根大学伯努利研究所）；School of Computer Science, University of Birmingham（伯明翰大学计算机学院）
越来越多影响人类生活的部门正在使用机器学习（ML）工具。因此，了解其工作机制并评估其决策公平性的需求变得至关重要，从而迎来了可解释AI（XAI）时代。在这篇文章中，我们介绍了一些本质上可解释的模型，除了从数据集中提取知识和关于问题之外，这些模型还能够处理缺失值。这些模型还能够可视化分类器和决策边界：它们是学习矢量量化的基于角度的变体。我们已经在一个合成数据集和一个真实世界的数据集（来自UCI存储库的心脏病数据集）上演示了该算法。新开发的分类器有助于研究UCI数据集作为多类问题的复杂性。开发的分类器的性能与文献中报道的数据集，具有额外的可解释性的值，当数据集被视为一个二进制类的问题。
2020-05-08 cs.AI cs.CV cs.LG
A Time-Aware Bag-of-Receptive-Fields for Interpretable Irregular Time Series Classification
University of Pisa（比萨大学）；ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）
本研究扩展BORF至不规则时间序列，提出时间加权归一化方案，保持线性复杂度，在PYRREGULAR数据集上达到竞争性能并提供可解释性。
2026-10-01 cs.AI cs.LG
Measuring the Novelty of Natural Language Text Using the Conjunctive Clauses of a Tsetlin Machine Text Classifier
University of Agder（阿格德尔大学）
大多数有监督的文本分类方法都假设一个封闭的世界，在训练时，所有的类都存在于数据中。这种假设可能会导致在操作过程中出现不可预测的行为，无论何时出现新的、以前看不见的类。尽管基于深度学习的方法最近已被用于新颖性检测，但由于其黑箱性质，它们的解释具有挑战性。本文讨论了\emph{interpretable}开放世界文本分类，其中训练的分类器必须处理新的类在操作过程中。为此，我们扩展了最近推出的Tsetlin机（TM）与新颖的评分机制。该机制使用TM的合取子句来衡量文本与训练数据所覆盖的类匹配的程度。我们证明，条款提供了一个简洁的可解释的描述已知的主题，我们的评分机制，使人们有可能辨别新的主题从已知的。从经验上讲，我们基于TM的方法在五个数据集中的三个数据集上优于其他七个新颖性检测方案，并且在其余数据集上表现第二和第三好，并且具有可解释的基于命题逻辑的表示的额外好处。
2020-11-17 cs.AI cs.CL cs.LG
Signal Processing in the Retina: Interpretable Graph Classifier to Predict Ganglion Cell Responses
York University（约克大学）
本文提出一种可解释的基于图的分类器，通过学习半正定度量矩阵定义节点间马氏距离以构建图，预测视网膜神经节细胞对视觉刺激的放电响应，并提供特征可解释性。
2024-01-03 cs.LG eess.IV q-bio.NC
Development of Interpretable Machine Learning Models to Detect Arrhythmia based on ECG Data
Universität Heidelberg（海德堡大学）
心电图（ECG）信号的分析可能是耗时的，因为它是由心脏病专家手动执行的。因此，越来越多地提出通过机器学习（ML）分类的自动化，这将允许ML模型学习心跳的特征并检测异常。缺乏可解释性阻碍了深度学习在医疗保健中的应用。通过这些模型的可解释性，我们将了解机器学习算法如何做出决策，以及分类遵循什么模式。本文基于最先进的模型构建了卷积神经网络（CNN）和长短期记忆（LSTM）分类器，并将它们的性能和可解释性与浅层分类器进行了比较。在这里，利用全局和局部可解释性方法来理解整个数据集上因变量和自变量之间的相互作用，并分别检查每个样本中的模型决策。部分依赖图、Shapley加法分解、置换特征重要性和梯度加权类激活图（Grad-Cam）是在分类ECG节律的时间序列ML模型上实现的四种可解释性技术。特别是，我们利用梯度凸轮，这是一个本地的可解释性技术，并检查其可解释性是否在每个类内正确和错误分类的ECG搏动之间的变化。此外，使用K折交叉验证和Leave Groups Out技术对分类器进行评估，并且我们使用非参数统计检验来检查差异是否显著。研究发现，Grad-CAM是解释所提出的CNN和LSTM模型预测的最有效的可解释性技术。我们的结论是，所有高性能分类器在进行预测时都会考虑ECG节律的QRS波群。
2022-05-07 cs.AI cs.LG
Background Knowledge Injection for Interpretable Sequence Classification
Insight Centre for Data Analytics, University College Dublin（都柏林大学学院洞察数据分析中心）；Accenture Labs（埃森哲实验室）；Inria（法国国家信息与自动化研究所）
序列分类是构建模型的监督学习任务，该模型预测不可见的符号序列的类标签。虽然准确性至关重要，但在某些情况下，可解释性是必须的。不幸的是，这种权衡往往很难实现，因为我们缺乏独立于人类的可解释性指标。我们介绍了一种新的序列学习算法，它结合了（i）线性分类器-已知在预测能力和可解释性之间取得良好的平衡，以及（ii）背景知识嵌入。我们扩展了经典的子序列特征空间与组的符号，这是由背景知识注入通过字或图形嵌入，并使用这个新的特征空间来学习线性分类器。我们还提出了一个新的措施来评估一组符号特征的可解释性的基础上的符号嵌入。从可穿戴设备和氨基酸序列分类的人类活动识别实验表明，我们的分类方法保留了预测能力，同时提供了更多可解释的模型。
2020-06-25 cs.LG stat.ML
Interpretable, Multidimensional, Multimodal Anomaly Detection with Negative Sampling for Detection of Device Failure
Google（谷歌）
复杂的设备每天都在连接，并急切地生成大量的多维状态测量。这些设备通常基于外部条件（白天/夜晚、占用/空闲等）以不同的模式操作，并且为了防止系统完全或部分中断，我们希望在这些设备开始在正常模式之外操作时尽可能早地识别。不幸的是，使用规则或监督机器学习来预测故障通常是不切实际或不可能的，因为故障模式太复杂，设备太新，无法在特定环境中充分表征，或者环境变化使设备处于不可预测的状态。我们提出了一种无监督的异常检测方法，该方法从观察到的阳性样本中创建阴性样本，并训练分类器来区分阳性和阴性样本。使用收缩原理，我们解释了为什么这样的分类器应该建立适当的正常和异常区域之间的决策边界，并显示如何集成的异常可以属性异常的异常状态向量内的特定变量。我们已经证明，使用随机森林或神经网络分类器的负采样比隔离森林，一类SVM和深度SVDD产生更高的AUC分数，针对（a）维度范围在2和128之间的合成数据集，具有1，2和3个模式，以及有和没有噪声维度;（b）四个标准基准数据集;以及（c）来自真实气候控制装置的多维多模态数据集。最后，我们描述了如何使用神经网络分类器进行负采样，并在145个Google办公楼的15，000多个气候控制和电表设备中成功地大规模部署，以实时预测故障。
2020-07-12 cs.LG eess.SP
Methods and Models for Interpretable Linear Classification
我们提出了一个整数规划框架，以建立准确和可解释的离散线性分类模型。与现有的方法不同，我们的框架旨在为从业者提供他们所需的控制和灵活性，以便为所选领域定制准确和可解释的模型。为此，我们的框架可以通过最小化0- 1分类损失来生成完全优化准确性的模型，并通过合并一系列离散约束和惩罚函数来解决可解释性的多个方面。我们使用我们的框架来生成难以用现有方法创建的模型，例如评分系统和M-of-N规则表。此外，我们提出了专门设计的优化方法，以提高我们的框架的可扩展性，通过分解和数据减少。我们表明，离散线性分类器可以达到任何其他线性分类器的训练精度，并提供一个奥卡姆剃刀型参数，为什么使用小的离散系数可以提供更好的推广。我们通过数值实验和案例研究证明了我们的框架的性能和灵活性，在该案例研究中，我们构建了一个高度定制的睡眠呼吸暂停诊断的临床工具。
2014-10-01 cs.LG stat.ME stat.ML
