Learning outside the Black-Box: The pursuit of interpretable models
University of Cambridge（剑桥大学）；University of California Los Angeles（加利福尼亚大学洛杉矶分校）；The Alan Turing Institute（艾伦·图灵研究所）
机器学习已经证明了它能够产生准确的模型，但是在机器学习社区之外部署这些模型受到解释这些模型的困难的阻碍。本文提出了一种算法，产生一个连续的全球任何给定的连续黑盒函数的解释。我们的算法采用投影寻踪的变化，其中脊函数被选择为Meijer G-函数，而不是通常的多项式样条。由于Meijer G-函数的参数是可微的，我们可以通过梯度下降来调整表示的参数;因此，我们的算法是有效的。使用五个熟悉的数据集从UCI存储库和两个熟悉的机器学习算法，我们证明了我们的算法产生的全球性的解释，都是高度准确和简约（涉及少量的条款）。我们的解释允许容易理解的功能和功能的相互作用的相对重要性。我们的解释算法代表了一个飞跃，从以前的国家的艺术。
2020-11-17 cs.AI cs.LG
In Pursuit of Interpretable, Fair and Accurate Machine Learning for Criminal Recidivism Prediction
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The University of Washington（华盛顿大学）；Duke University（杜克大学）
目的：我们使用机器学习（ML）模型研究可解释的累犯预测，并分析预测能力，稀疏性和公平性方面的性能。与以前的工作不同，这项研究训练了可解释的模型，输出概率而不是二进制预测，并使用定量公平定义来评估模型。本研究还考察了模型是否可以在地理位置上进行推广。方法：我们在佛罗里达州和肯塔基州的两个不同的犯罪累犯数据集上生成了黑盒和可解释的ML模型。我们将这些模型的预测性能和公平性与目前司法系统中用于预测审前累犯的两种方法进行了比较：Arnold PSA和COMPAS。我们评估了所有模型在两个时间跨度内预测六种不同类型犯罪的预测性能。结果：几个可解释的ML模型可以预测累犯以及黑盒ML模型，比COMPAS或Arnold PSA更准确。这些模型在实践中可能很有用。与Arnold PSA类似，这些可解释的模型中的一些可以写成一个简单的表格。其他人可以使用一组可视化来显示。我们的地理分析表明，ML模型应该针对不同的位置进行单独训练，并随着时间的推移进行更新。我们还提出了一个公平性分析的可解释的模型。结论：在预测准确性和公平性方面，可解释的机器学习模型可以与不可解释的方法和当前使用的风险评估量表一样好。机器学习模型在针对不同位置单独训练并保持最新时可能更准确。
2022-03-11 cs.LG stat.AP stat.ML
Variational Information Pursuit with Large Language and Multimodal Models for Interpretable Predictions
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Pennsylvania（宾夕法尼亚大学）
本研究针对变分信息追踪（V-IP）依赖人工密集概念标注、仅适用于小规模任务的局限，结合基础模型提出FM+V-IP框架，通过LLM生成可解释概念集、多模态模型做语义标注，无需概念过滤即可用更少概念达到有竞争力的可解释预测性能。
2023-08-24 cs.LG stat.ML
Isometry pursuit
Amazon（亚马逊）；Department of Statistics University of Washington（华盛顿大学统计系）
提出等距追踪算法，通过新颖的归一化方法和多任务基追踪识别宽矩阵中的正交列子矩阵，用于从可解释字典中发现等距嵌入。
2026-05-27 cs.AI cs.IR cs.LG
Hierarchical Concept Embedding & Pursuit for Interpretable Image Classification
University of Pennsylvania（宾夕法尼亚大学）
本文提出HCEP框架，通过在潜在空间中诱导概念嵌入的层次结构，利用层次稀疏编码恢复图像中的概念，提升分类可解释性与精度。
2026-03-30 cs.CV cs.LG
Variational Interpretable Learning from Multi-view Data
The Pennsylvania State University（宾夕法尼亚州立大学）；Duke University（杜克大学）
典型相关分析（CCA）的主要思想是将不同的视图映射到一个具有最大相关性的公共潜在空间。我们提出了一种用于多视图学习的深度可解释的变分典型相关分析（DICCA）。所开发的模型通过使用深度生成网络将现有的线性CCA潜变量模型扩展到非线性模型。DICCA的目的是解开多视图数据的共享和特定于视图的变化。为了进一步使模型更具可解释性，我们在潜在权重上放置了一个稀疏诱导先验，并使用由特定于视图的生成器组成的结构化变分自编码器。在真实世界数据集上的实证结果表明，我们的方法在各个领域都具有竞争力。
2022-03-01 cs.LG stat.ML
Inducing Interpretable Representations with Variational Autoencoders
University of Oxford（牛津大学）；Northeastern University（东北大学）；Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
我们开发了一个框架，将结构化的图形模型的变分自编码器（VAE）的\emph{encoders}，使我们能够通过近似变分推断诱导可解释的表示。这使得我们既可以在给定图形模型的结构约束下执行推理（例如分类），又可以使用深度生成模型来处理混乱的高维域，在这些域中通常很难对所有变化进行建模。在这个框架中的学习是端到端进行的，具有变分目标，适用于无监督和半监督方案。
2016-11-22 cs.CV cs.LG stat.ML
IntroVAC: Introspective Variational Classifiers for Learning Interpretable Latent Subspaces
University of Padova（帕多瓦大学）
学习复杂数据的有用表示多年来一直是广泛研究的主题。随着深度神经网络的普及，变分自编码器获得了大量关注，因为它们基于编码器/解码器架构提供了数据分布的显式模型，该架构能够生成图像并在低维子空间中对其进行编码。然而，潜在的空间是不容易解释和生成能力显示出一些限制，因为图像通常看起来模糊，缺乏细节。在本文中，我们提出了内省变分分类器（IntroVAC），该模型通过利用来自附加标签的信息来学习可解释的潜在子空间，并通过对抗训练策略来提高图像质量。我们表明，IntroVAC能够学习潜在空间中有意义的方向，从而实现对图像属性的细粒度操作。我们在CelebA数据集上验证了我们的方法。
2020-09-14 cs.CV cs.LG stat.ML
Domain-Indexing Variational Bayes: Interpretable Domain Index for Domain Adaptation
Massachusetts Institute of Technology（麻省理工学院）；Rutgers University（罗格斯大学）；Hong Kong University of Science and Technology（香港科技大学）
针对域适应中域索引难以获取的问题，提出从概率视角定义域索引的对抗变分贝叶斯框架，可推断可解释最优域索引，在合成与真实数据上性能优于现有域适应方法。
2023-06-10 cs.AI cs.LG
Physics-Integrated Variational Autoencoders for Robust and Interpretable Generative Modeling
University of Applied Sciences and Arts Western Switzerland (HES-SO)（瑞士西部应用科学与艺术大学（HES-SO））
将物理模型集成到机器学习模型中，对于学习具有改进的可解释性和外推能力的鲁棒模型具有相当大的希望。在这项工作中，我们专注于将不完整的物理模型整合到深度生成模型中。特别是，我们介绍了一个架构的变分自编码器（VAE），其中的一部分的潜在空间是接地的物理。一个关键的技术挑战是在不完整的物理和可训练的组件（例如神经网络）之间取得平衡，以确保以有意义的方式使用物理部分。为此，我们提出了一种正则化学习方法，该方法控制可训练组件的效果，并保留基于物理的潜在变量的语义。我们不仅在一组合成和真实世界的数据集上展示了生成性能的改进，而且我们还展示了我们学习的鲁棒模型，这些模型可以以一种有意义的方式一致地外推到训练分布之外。此外，我们表明，我们可以控制生成过程中的一个可解释的方式。
2021-10-26 cs.LG stat.ML
Variational Autoencoder-Based Vehicle Trajectory Prediction with an Interpretable Latent Space
Technische Hochschule Ingolstadt（英戈尔施塔特应用技术大学）；AUDI AG（奥迪股份公司）
本文介绍了描述性变分自编码器（DVAE），一个无监督和端到端的可训练神经网络预测车辆轨迹，提供部分可解释性。新方法是基于常见的变分自编码器的架构和目标。通过在自动编码器的解码器部分中引入专家知识，编码器学习提取潜在参数，这些参数提供人类术语中可理解的含义。这样一个可解释的潜在空间，使专家定义的规则集的验证。DVAE的评估是使用公开的高速公路交通场景的高D数据集进行的。与具有相同复杂度的传统变分自编码器相比，所提出的模型提供了类似的预测精度，但具有可解释的潜在空间的巨大优势。对于关键的决策制定和评估预测的可信度，这个属性是非常可取的。
2021-06-24 cs.LG
Explaining a black-box using Deep Variational Information Bottleneck Approach
Carnegie Mellon University（卡内基梅隆大学）；Petuum Inc.（Petuum公司）；Arizona State University（亚利桑那州立大学）
可解释的机器学习近年来受到了广泛的关注。在解释黑箱决策系统时，为了简明扼要地提供大量信息，简明和全面是必要的。然而，现有的可解释的机器学习方法未能同时考虑准确性和全面性，导致冗余解释。我们提出了变信息瓶颈的解释，VIBI，一个系统不可知的解释方法，提供了一个简短而全面的解释。VIBI采用信息理论原理，信息瓶颈原理，作为寻找这种解释的标准。对于每一个实例，VIBI选择的关键特征是最大限度地压缩了输入（准确性），并提供了关于黑盒系统对该输入所做决定的信息（全面性）。我们在三个数据集上评估了VIBI，并在通过人工和定量指标评估的可解释性和保真度方面与最先进的可解释机器学习方法进行了比较
2019-10-03 cs.LG stat.ML
VICE: Variational Interpretable Concept Embeddings
Technische Universität Berlin（柏林工业大学）；Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）；Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）；National Institute of Mental Health（国家精神卫生研究所）；Naval Postgraduate School（海军研究生院）
认知科学的一个中心目标是发展对象概念的心理表征的数字模型。本文介绍了变分可解释的概念嵌入（VICE），一个近似贝叶斯方法嵌入对象的概念在向量空间中使用的数据收集从人类在一个三重奇一出任务。VICE使用变分推理来获得对象概念的稀疏非负表示，并对嵌入值进行不确定性估计。这些估计值用于自动选择最能解释数据的维度。我们推导出一个PAC学习界的VICE，可用于估计泛化性能或确定足够的样本量的实验设计。VICE在预测人类行为的三重一出任务中，可以与它的前身SPoSE相媲美或优于它。此外，VICE的对象表示在随机初始化中更具可重复性和一致性，突出了使用VICE从人类行为中获得可解释嵌入的独特优势。
2022-10-06 cs.LG stat.AP stat.ML
Nonparametric Inference for Auto-Encoding Variational Bayes
University of Bristol（布里斯托大学）；University of Bath（巴斯大学）
我们想学习低维和高度可解释的潜在表征。具有这些特征的模型是高斯过程潜变量模型。GP-LVM的优点和缺点与变分自动编码器是互补的，前者提供了可解释的低维潜在表示，而后者能够处理大量数据并可以使用非高斯似然。我们对这篇论文的灵感是将这两种方法结合起来，并从中获益。为了做到这一点，我们将介绍一种新的近似推理方案的启发GP-LVM和VAE。我们的实验表明，近似允许VAE的生成瓶颈（Z）的容量是任意大的，而不会失去高度可解释的表示，允许重建质量不受Z的限制，同时作为一个低维空间可以用来执行祖先采样，以及一种手段来推理嵌入的数据。
2017-12-18 cs.AI cs.LG stat.ML
Supervised Vector Quantized Variational Autoencoder for Learning Interpretable Global Representations
Department of Biomedical Informatics, University of Pittsburgh（匹兹堡大学生物医学信息学系）
学习数据的可解释表示仍然是深度学习的核心挑战。在训练深度生成模型时，观察到的数据通常与某些分类标签相关联，并且与学习重新生成数据和模拟新数据并行，学习每类数据的可解释表示也是获取知识的过程。在这里，我们提出了一种新的生成模型，称为监督矢量量化变分自编码器（S-VQ-VAE），它结合了监督和无监督学习的力量，以获得一个独特的，可解释的全局表示为每一类数据。与传统的生成模型相比，该模型具有三个主要优点：第一，它是一个集成模型，可以同时学习单个数据点的特征表示和每类数据的全局表示;第二，嵌入代码的全局表示的学习由监督信息指导，它清楚地定义了每个代码的解释;第三，全局表示捕捉了不同类别的关键特征，这些特征揭示了不同数据组的统计结构的相似性和差异性。我们评估了S-VQ-VAE在机器学习基准数据集MNIST数据集和基于集成网络的细胞特征库（LINCS）的基因表达数据上的效用。我们证明了S-VQ-VAE能够学习受同一类干扰因子（PCL）干扰的样本的全局遗传特征，并进一步揭示了PCL之间的机制相关性。这些知识对于促进癌症等复杂疾病的新药开发至关重要。
2019-09-29 cs.LG stat.ML
Interpretable Anomaly Detection in Cellular Networks by Learning Concepts in Variational Autoencoders
Ericsson Services GmbH（爱立信服务有限公司）；Ostwestfalen-Lippe University of Applied Sciences（东威斯特法伦-利普应用技术大学）
本文提出一种基于变分自编码器（VAEs）的蜂窝网络异常检测方法，通过学习关键性能指标（KPI）潜在空间的可解释表示并利用K-means质心增强表示学习，实现了基于重构损失和Z分数的快速、自主且可解释的异常检测。
2023-06-28 cs.AI cs.LG cs.NI
Interpretable Spectral Variational AutoEncoder (ISVAE) for time series clustering
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Instituto de Investigación Sanitaria Gregorio Marañón（格雷戈里奥·马拉尼翁卫生研究所）；Evidence Based Behaviour (eB2)（循证行为（eB2））；Oxford-Man Institute of Quantitative Finance, University of Oxford（牛津大学牛津-曼氏定量金融研究所）
本研究提出ISVAE模型，通过在VAE开端引入可解释的滤波器组（FB）瓶颈，迫使模型关注输入信号的关键信息，学习可解释且可聚类的低维编码${f_0}$，并利用定制解码器处理复杂数据，在真实数据集上取得优异聚类效果。
2023-10-18 cs.LG stat.ML
Assessing the Impact of Blood Pressure on Cardiac Function Using Interpretable Biomarkers and Variational Autoencoders
King's College London（伦敦国王学院）；St Thomas' Hospital NHS Foundation Trust（圣托马斯医院NHS基金会信托）；Imperial College London（帝国理工学院）
尽可能长时间地保持良好的心脏功能是全球医疗保健系统的主要关注点，人们对更多地了解不同风险因素对心脏健康的影响非常感兴趣。本研究的目的是分析收缩压（SBP）对心脏功能的影响，同时在英国生物样本库人群的大型队列中使用已知的临床生物标志物保留模型的可解释性。我们提出了一种新的框架，该框架将基于深度学习的心脏电影MR数据中可解释的临床生物标志物的估计与变分自编码器（VAE）相结合。VAE架构整合了潜在空间中的回归损失，这使得能够学习心脏健康与SBP的进展。来自英国生物银行的3,600名受试者的结果表明，所提出的模型使我们能够深入了解心脏功能随SBP增加而恶化的情况，确定这一过程中涉及的关键可解释因素，最后利用该模型了解心脏功能的积极和不利适应模式。
2019-08-13 cs.LG eess.SP stat.ML
Scalable and Interpretable Scientific Discovery via Sparse Variational Gaussian Process Kolmogorov-Arnold Networks (SVGP KAN)
UCLA（加州大学洛杉矶分校）
SVGP-KAN 通过稀疏变分推断和 KAN 结构，实现可扩展且可解释的概率 KAN，适用于大规模科学数据集，并能识别相关输入和功能关系。
2025-11-29 cs.LG stat.ML
Forecasting remaining useful life: Interpretable deep learning approach via variational Bayesian inferences
ETH Zurich（苏黎世联邦理工学院）
预测机械、基础设施或其他设备的剩余使用寿命可以促进抢先维护决策，从而通过及时维修或更换来防止故障。这允许通过考虑预期的故障时间来提供更好的决策支持，从而有望降低成本。在这里，可以通过将概率密度函数拟合到过去的寿命，然后利用（有条件的）预期剩余使用寿命作为预测，来得出共同的基线。这种方法在实践中得到广泛使用，因为它具有很高的解释力。机器学习有望提供一种更准确的替代方案，其中预测通过传感器数据将退化过程和环境变量纳入其中。然而，机器学习在很大程度上起着黑箱方法的作用，因此其预测丧失了大部分所需的可解释性。作为我们的主要贡献，我们提出了一种结构效应神经网络来预测剩余使用寿命，它结合了两种方法的有利特性：其关键创新在于它提供了高度的问责制和深度学习的灵活性。通过变分贝叶斯推断的参数估计。根据航空发动机的实际故障时间，对不同的方法进行了比较。这表明了我们的方法的性能和优越的可解释性，而我们最后讨论的决策支持的影响。
2019-07-19 cs.LG stat.ML
Provable concept learning for interpretable predictions using variational autoencoders
ETH Zürich（苏黎世联邦理工学院）；Max-Planck-Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
在安全关键应用中，当没有可解释的解释时，从业者不愿意信任神经网络。许多提供这种解释的尝试围绕基于像素的属性或使用先前已知的概念。在本文中，我们的目的是提供可证明的识别\emph{high-level, previously unknown ground-truth concepts}的解释。为此，我们提出了一个概率建模框架，以获得（C）概念（L）收入和（P）预测（CLAP）-一个基于VAE的分类器，使用视觉上可解释的概念作为预测一个简单的分类器。假设地面实况概念的生成模型，我们证明CLAP能够识别它们，同时达到最佳的分类精度。我们在合成数据集上的实验验证了CLAP在合成数据集上识别出不同的地面实况概念，并在医学胸部X射线数据集上产生了有希望的结果。
2022-07-22 cs.LG stat.ME
Interpretable representation learning of quantum data enabled by probabilistic variational autoencoders
University of Innsbruck（因斯布鲁克大学）
本文提出通过概率变分自编码器学习量子数据的可解释表示，利用解码器和定制损失函数提升对量子系统的理解能力。
2025-12-17 cond-mat.stat-mech cs.LG quant-ph
Interpretable Embeddings From Molecular Simulations Using Gaussian Mixture Variational Autoencoders
Max Planck Institute for Polymer Research（马克斯·普朗克聚合物研究所）；Koc University（科奇大学）
从分子模拟产生的大量数据中提取洞察力需要识别少量的集体变量，其相应的低维自由能景观保留了底层系统的基本特征。数据驱动技术提供了一个系统的路线来构建这一景观，而不需要对相关驱动力进行广泛的先验直觉。特别是，自动编码器是降维的强大工具，因为它们自然会造成信息瓶颈，从而实现基本特征的低维嵌入。虽然变分自编码器通过假设单峰高斯先验来确保嵌入的连续性，但这与通常由有意义的集体变量的识别产生的多流域自由能景观不一致。在这项工作中，我们采用高斯混合变分自动编码器（GMVAE），鼓励嵌入内的亚稳态的分离，将这种物理直觉到先验。GMVAE在一个统一的框架内执行降维和聚类，并且能够根据对数据进行分类所需的高斯数来识别输入数据的固有维度。我们说明了我们的方法上的两个玩具模型，丙氨酸二肽，和一个具有挑战性的无序肽系综，证明了增强的聚类效果的GMVAE之前相比，标准的VAE。由此产生的嵌入似乎是有前途的表示，用于构建马尔可夫状态模型，突出的可转移性的降维从静力平衡性能的动态。
2019-12-22 cs.LG physics.chem-ph stat.ML
Disentangling Latent Factors of Variational Auto-Encoder with Whitening
Handong Global University（韩东国际大学）
在深度生成模型成功应用于图像生成任务后，学习数据的解纠缠潜变量已成为深度生成模型研究的关键部分。已经提出了许多模型来通过修改它们的目标函数或模型架构来学习潜在变量的可解释和因子化表示。为了解开潜在变量，一些模型显示出较低的重建图像质量，而另一些模型增加了难以训练的模型复杂度。在本文中，我们提出了一个简单的去纠缠方法的基础上，传统的白化过程。该方法适用于变分自动编码器（VAE）的潜变量，虽然它可以应用于任何生成模型的潜变量。在实验中，我们将所提出的方法应用到简单的VAE模型和实验结果证实，我们的方法发现更多的解释因素，从潜在的空间，而保持相同的重建误差与传统的VAE的错误。
2019-07-05 cs.LG stat.ML
Interpretable Prediction of Lymph Node Metastasis in Rectal Cancer MRI Using Variational Autoencoders
University of Leeds（利兹大学）；Leeds Teaching Hospitals NHS Trust（利兹教学医院国家健康服务信托）
针对直肠癌淋巴结转移分期诊断准确性有限的问题，提出使用变分自编码器（VAE）替代大型预训练CNN作为特征编码器，构建了具有解耦结构化潜在空间的VAE-MLP模型，在168名患者MRI数据集上取得SOTA性能，提升了预测的可解释性。
2025-07-15 cs.AI cs.CV cs.LG
WSEBP: A Novel Width-depth Synchronous Extension-based Basis Pursuit Algorithm for Multi-Layer Convolutional Sparse Coding
ShanghaiTech University（上海科技大学）
多层卷积稀疏编码（ML-CSC）中的追踪算法可以解释卷积神经网络（CNN）。然而，许多当前最先进的（SOTA）追踪算法需要多次迭代来优化ML-CSC的解决方案，由于计算成本高和大量资源用于获得非常微小的性能增益，这限制了它们在更深CNN中的应用。在本研究中，我们针对追踪演算法中的第0次迭代，在每一层中引入一个有效的初始化策略，以改善多层-连续供应链的解。具体来说，我们首先提出了一种新的宽度深度同步扩展基追踪（WSEBP）算法，解决了ML-CSC问题，没有限制的迭代次数相比，SOTA算法，并最大限度地提高了性能的有效初始化在每一层。然后，我们提出了一个简单而统一的ML-CSC-based分类网络（ML-CSC-Net），它包括一个基于ML-CSC的特征编码器和一个全连接层，以验证性能的WSEBP图像分类任务。实验结果表明，我们提出的WSEBP优于SOTA算法的准确性和消耗的资源。此外，集成在CNN中的WSEBP可以提高更深层次CNN的性能，并使其可解释。最后，以VGG为例，我们提出了WSEBP-VGG 13来增强VGG 13的性能，在四个公共数据集上取得了有竞争力的结果，在Cifar-10数据集上分别为87.79%和86.83%，在Cifar-100数据集上分别为58.01%和54.60%，在COVID-19数据集上分别为91.52%和89.58%，在Crack数据集上分别为99.8…
2022-03-30 cs.CV cs.LG
Physically Interpretable Representation Learning with Gaussian Mixture Variational AutoEncoder (GM-VAE)
Institute for Computational and Mathematical Engineering, Stanford University（计算与数学工程研究所，斯坦福大学）；Department of Mechanical Engineering, Stanford University（机械工程系，斯坦福大学）；National Renewable Energy Laboratory（国家可再生能源实验室）；Ann and H.J. Smead Department of Aerospace Engineering Sciences, University of Colorado, Boulder（安与H.J.斯迈德航空航天工程科学系，科罗拉多大学，博尔德）
GM-VAE通过结合EM启发式训练和谱可解释性度量，实现对高维科学数据的物理可解释性表示学习，有效提升湍流和反应流动系统的解释能力。
2025-11-26 cs.LG
Classification of White Blood Cell Leukemia with Low Number of Interpretable and Explainable Features
Center for Public Health Genomics（公共卫生基因组学中心）；Department of Biomedical Engineering University of Virginia（弗吉尼亚大学生物医学工程系）；University of Virginia（弗吉尼亚大学）
白细胞（WBC）白血病通过基于图像的分类检测。卷积神经网络用于学习将细胞图像分类为恶性或健康所需的特征。然而，这种类型的模型需要学习大量的参数，并且难以解释和解释。可解释人工智能（XAI）试图通过提供模型如何做出决策的见解来缓解这个问题。因此，我们提出了一个XAI模型，它只使用24个可解释和可解释的功能，并通过超过它们约4.38%的其他方法是非常有竞争力的。此外，我们的方法提供了洞察哪些变量是最重要的细胞分类。这一见解提供了证据，表明当实验室以不同方式对待WBC时，各种指标的重要性会发生实质性变化。理解分类的重要特征在医学成像诊断中至关重要，并且通过扩展，理解在科学研究中构建的AI模型。
2022-01-28 cs.CV cs.LG eess.IV
Learning Disentangled Representations with Quantum Variational Autoencoders
Yale University（耶鲁大学）
该研究探讨量子变分自编码器能否学习解纠缠的潜在因素，通过理论分析和在MNIST变体等数据集上的实验，证明单个量子比特可作为有意义的可解释潜在因素，为量子表示学习奠定基础。
2026-10-07 cs.ET cs.LG quant-ph
Learning Variational Word Masks to Improve the Interpretability of Neural Text Classifiers
University of Virginia（弗吉尼亚大学）
为了构建一个可解释的神经文本分类器，大多数先前的工作都集中在设计内在可解释的模型或找到忠实的解释。提高模型可解释性的新工作刚刚开始，许多现有的方法需要先验信息或人工注释作为训练中的额外输入。为了解决这一限制，我们提出了变分词掩码（VMASK）方法来自动学习特定于任务的重要词，并减少与分类无关的信息，从而最终提高模型预测的可解释性。在七个基准文本分类数据集上使用三个神经文本分类器（CNN，LSTM和BERT）对所提出的方法进行了评估。实验表明，VMASK在提高模型预测精度和可解释性方面是有效的。
2020-11-19 cs.CL cs.LG
Attri-VAE: attribute-based interpretable representations of medical images with variational autoencoders
Universitat Pompeu Fabra（庞培法布拉大学）；Vicomtech Foundation（Vicomtech基金会）；ICREA（加泰罗尼亚研究与高等教育学院）
深度学习（DL）方法，其中可解释性本质上被认为是模型的一部分，需要更好地理解临床和基于成像的属性与DL结果的关系，从而促进它们在医疗决策背后的推理中的使用。使用变分自编码器（VAE）构建的潜在空间表示不能确保对数据属性的单独控制。文献中已经提出了基于属性的方法，用于基准数据中的经典计算机视觉任务。在本文中，我们提出了一种VAE方法，属性VAE，其中包括一个属性正则化项，将临床和医学成像属性与生成的潜在空间中的不同正则化维度相关联，从而能够更好地解释属性。此外，生成的注意力地图解释了正则化潜在空间维度中的属性编码。使用属性VAE方法，我们分析了健康和心肌梗死患者的临床，心脏形态学和放射组学属性。该模型提供了一个很好的权衡重建保真度，解纠缠，和可解释性，优于国家的最先进的VAE方法根据几个定量指标。由此产生的潜在空间允许在两个不同输入样本之间的轨迹中或沿着特定属性维度生成真实的合成数据，以更好地解释不同心脏状况之间的变化。
2022-12-12 cs.CV cs.LG eess.IV
Generating an Explainable ECG Beat Space With Variational Auto-Encoders
Ghent university（根特大学）；imec（imec 微电子研究中心）；IDLab（IDLab 实验室）
心电图信号在医学中无处不在。分析这些数据的一个重要方面是识别和分类心跳类型，这通常是通过自动算法完成的。神经网络和深度学习的进步导致了高分类准确性。然而，由于这些方法的黑箱性质，这些模型最终应用于临床实践是有限的。在这项工作中，我们探索使用基于线性密集网络的变分自动编码器来学习时间序列数据中人类可解释的节拍嵌入。我们证明，使用这种方法，可以产生一个可解释的和可解释的心电图节拍空间，设置的特征基础节拍。
2019-11-12 cs.LG eess.SP stat.ML
Data-efficient and Interpretable Inverse Materials Design using a Disentangled Variational Autoencoder
Institute for Experiential AI, Northeastern University（东北大学体验式人工智能研究所）；The Roux Institute, Northeastern University（东北大学鲁克斯研究所）
本文提出了一种基于解耦变分自编码器的半监督学习方法，用于高效且可解释的逆材料设计，通过解耦潜在变量与目标属性提升模型鲁棒性与可解释性。
2026-02-10 cond-mat.mtrl-sci cs.LG
Head Pursuit: Probing Attention Specialization in Multimodal Transformers
Area Science Park（面积科学公园）；Sapienza University of Rome（罗马萨皮恩扎大学）；Institute of Science and Technology（科学与技术研究所）
本研究通过分析多模态转换器中注意力头的专业化，揭示了模型内部可控的结构，并展示了通过编辑少量头部以增强或抑制特定概念的可行性。
2026-01-14 cs.CL cs.CV cs.LG
Heterogeneous Variational Inference for Markov Degradation Hazard Models: Discretized Mixture with Interpretable Clusters
Digital Business Department, Yachiyo Engineering Co., Ltd.（大崎工程有限公司数字商务部）
本文提出一种结合精细状态离散化、特征工程和可解释模型选择的框架，用于解决马尔可夫退化危险模型中的关键瓶颈问题，验证了变分推断在稳定性、收敛性和计算效率上的优势。
2026-04-27 cs.LG
Interpretable Sentence Representation with Variational Autoencoders and Attention
Université Sorbonne Paris-Nord（索邦巴黎北大学）；Laboratoire d’Informatique de Paris-Nord（巴黎北信息学实验室）；Sorbonne Paris Cité（巴黎索邦西岱大学）；Université Paris Sorbonne（巴黎索邦大学）；Université Paris-Saclay（巴黎萨克雷大学）；Sorbonne Université（索邦大学）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
针对NLP中无标注数据下表示学习可解释性不足的问题，本文优化半监督VAE结构，并提出ADVAE和QKVAE两种模型，可无监督分离句法、语义信息，性能媲美有监督模型，提升了语言建模架构的可解释性。
2023-05-04 cs.CL cs.LG
Interpretable EEG Microstate Discovery via Variational Deep Embedding: A Systematic Architecture Search with Multi-Quadrant Evaluation
School of Computer Science and Information Technology（计算机科学与信息技术学院）；University College Cork（科尔克大学）；Artificial Intelligence and Cognitive Load Research Lab（人工智能与认知负荷研究实验室）；Insight RI Research Centre for Data Analytics（洞察RI数据分析研究中心）
本文提出Conv-VaDE模型，通过联合学习拓扑重建和概率软聚类，提升EEG微状态的可解释性与稳定性，通过系统性架构搜索发现深度L=4和小潜变量维度的配置最优。
2026-05-13 cs.LG q-bio.NC
Hub-VAE: Unsupervised Hub-based Regularization of Variational Autoencoders
George Mason University（乔治梅森大学）
基于示例的方法依赖于信息数据点或原型来指导学习算法的优化。这些数据有助于可解释的模型设计和预测。特别感兴趣的是样本在学习无监督深度表示中的效用。在本文中，我们利用枢纽，出现在高维空间中的频繁邻居，作为范例来正则化变分自编码器，并学习无监督的下游任务的判别嵌入。我们提出了一个无监督的，数据驱动的正则化的潜在空间与基于枢纽的先验和基于枢纽的对比损失的混合。实验评估表明，我们的算法实现了卓越的聚类分离性的嵌入空间，准确的数据重建和生成，相比基线和国家的最先进的技术。
2022-11-18 cs.AI cs.LG
InfoVAEGAN : learning joint interpretable representations by information maximization and maximum likelihood
University of York（约克大学）
学习解纠缠和可解释的表示是在流形上实现全面数据表示的重要一步。在本文中，我们提出了一种新的表示学习算法，它结合了变分自编码器（VAE）的推理能力和生成对抗网络（GAN）的泛化能力。所提出的模型称为InfoVAEGAN，由三个网络组成：编码器，生成器和鉴别器。InfoVAEGAN旨在通过使用两个不同的无数据对数似然函数对从生成器分布中采样的变量进行无监督地联合学习离散和连续可解释表示。我们提出了一个两阶段的算法，分别从发电机训练优化推理网络。此外，我们通过最大化现有潜变量与通过生成和推理过程创建的潜变量之间的互信息来加强可解释表示的学习。
2021-07-09 cs.AI cs.CV cs.LG
Causal Abstraction in Model Interpretability: A Compact Survey
School of Mathematical Sciences, Peking University（北京大学数学科学学院）
本文综述因果抽象在模型可解释性中的作用，梳理其理论基础、实际应用及对解释复杂模型因果机制的意义。
2024-10-26 cs.AI cs.CL cs.LG
Variational Mutual Information Maximization Framework for VAE Latent Codes with Continuous and Discrete Priors
Korea Advanced Institute of Science and Technology（韩国科学技术院）
学习数据的可解释和解纠缠表示是机器学习研究中的一个关键主题。变分自编码器（Variational Autoencoder，VAE）是一种学习复杂数据的有向隐变量模型的可扩展方法。它采用了一个清晰和可解释的目标，可以很容易地优化。然而，这个目标并没有提供一个明确的措施，潜在的变量表示的质量，这可能会导致他们的质量差。我们提出了变分互信息最大化框架VAE来解决这个问题。与其他方法相比，它提供了一个明确的目标，最大限度地降低潜在代码和观察之间的互信息。该目标作为一个正则化，迫使VAE不忽略潜在变量，并允许一个选择它的特定组件是最翔实的观察。最重要的是，所提出的框架提供了一种方法来评估固定VAE模型的潜在代码和观察之间的互信息。我们已经进行了我们的实验VAE模型与高斯和联合高斯和离散的潜变量。我们的结果表明，所提出的方法加强了潜在代码和观察之间的关系，并改进了学习的表示。
2020-06-02 cs.IT cs.LG math.IT
Attribute-based Regularization of Latent Spaces for Variational Auto-Encoders
Center for Music Technology, Georgia Institute of Technology（佐治亚理工学院音乐技术中心）
使用深度生成模型对数据属性进行选择性操作是一个活跃的研究领域。在本文中，我们提出了一种新的方法来构造变分自动编码器（VAE）的潜在空间，以显式地编码不同的连续值属性。这是通过使用属性正则化损失来实现的，该属性正则化损失强制属性值与属性将被编码的维度的潜在代码之间的单调关系。因此，在训练后，模型可以通过简单地改变相应正则化维度的潜在代码来操纵属性。从几个定量和定性的实验结果表明，所提出的方法导致解开和可解释的潜在空间，可用于有效地操纵广泛的数据属性跨越图像和符号音乐域。
2020-07-29 cs.LG stat.ML
Variational Temporal Deep Generative Model for Radar HRRP Target Recognition
Xidian University（西安电子科技大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们基于高分辨率距离像（HRRP）开发了一种用于雷达自动目标识别（RATR）的循环伽马置信网络（rGBN），该网络表征了HRRP距离单元之间的时间依赖性。所提出的rGBN采用一个层次的Γ分布来建立其时间深度生成模型。对于可扩展的训练和快速的样本外预测，我们提出了一个随机梯度马尔可夫链蒙特卡罗（MCMC）和一个经常性的变分推断模型的混合执行后验推理。为了利用标签信息来提取更具鉴别力的潜在表示，我们进一步提出了监督rGBN来联合建模HRRP样本及其相应的标签。在合成和实测HRRP数据上的实验结果表明，该模型计算效率高，具有良好的分类精度和泛化能力，并提供了高度可解释的多随机层潜在结构。
2020-09-28 cs.LG stat.ML
Variational Mode-Driven Graph Convolutional Network for Spatiotemporal Traffic Forecasting
Lahore University of Management Sciences（拉合尔管理科学大学）
本文提出VMGCN框架，先用VMD将非平稳时空交通数据分解为可解释模式，再通过注意力增强GCN学习模式内与模式间依赖，在LargeST上实现短期和长期预测精度提升。
2025-07-21 cs.LG
Streaming Variational Monte Carlo
Stony Brook University（石溪大学）
针对流式非线性状态空间模型中状态与动力学联合推断难题，提出结合变分推断和序贯蒙特卡洛的在线贝叶斯滤波框架，并用稀疏高斯过程建模潜在动力学，实现恒定时间复杂度。
2021-11-08 cs.LG stat.ML
Self-Interpretable Time Series Prediction with Counterfactual Explanations
Rutgers University（罗格斯大学）
本文提出自解释模型CounTS，通过变分贝叶斯深度学习实现时间序列的反事实解释，在保持预测精度的同时生成更优的可操作解释。
2023-06-22 cs.LG
Epitomic Variational Graph Autoencoder
Technical University of Munich（慕尼黑工业大学）；Mercateo AG（Mercateo公司）
变分自编码器（VAE）是一种广泛使用的生成模型，用于学习潜在表示。Burda等人在他们的开创性论文中表明，VAE的学习能力受到过度修剪的限制。这是一种现象，其中大量潜变量未能捕获关于输入数据的任何信息，并且对应的隐藏单元变得不活动。这对学习多样化和可解释的潜在表征产生了不利影响。变分图自动编码器（VGAE）扩展了VAE的图结构数据，它继承了过度修剪问题。在本文中，我们采用了基于模型的方法，并提出了epitomic VGAE（EVGAE），一个生成的变分框架的图数据集，成功地减轻了过度修剪问题，也提高了VGAE的生成能力。我们认为EVGAE由多个稀疏的VGAE模型组成，称为epitomes，这是一组共享潜在空间的潜在变量。这种方法有助于增加活动单元，因为摘要竞争学习更好的图形数据表示。我们通过三个基准数据集上的实验验证了我们的说法。实验结果表明，EVGAE比VGAE具有更好的生成能力。在引文网络中，EVGAE的链接预测性能优于VGAE.
2020-08-07 cs.LG stat.ML
Selecting Interpretability Techniques for Healthcare Machine Learning models
University of Antioquia UdeA（安蒂奥基亚大学）；Universidad de Antioquia UdeA（安蒂奥基亚大学）；University of Antioquia（安蒂奥基亚大学）；Hospital Alma Máter de Antioquia（安蒂奥基亚母校医院）；Arcada University of Applied Sciences（阿卡达应用科学大学）
本文基于PDR框架界定可解释机器学习及事后、基于模型两类方法，并综述八种适用于医疗决策场景的可解释性算法。
2024-06-14 cs.LG
Fusing multimodal neuroimaging data with a variational autoencoder
Tri-institutional Center for Translational Research in Neuroimaging and Data Science (TReNDS), Georgia State, Georgia Tech, Emory（三机构神经影像与数据科学转化研究中心（TReNDS），佐治亚州立大学、佐治亚理工学院、埃默里大学）；Faculty of Electrical Engineering, Mathematics & Computer Science, TU Delft（代尔夫特理工大学电气工程、数学与计算机科学学院）；Lambert High School（兰伯特高中）
神经影像学研究通常涉及多种数据模态的收集。这些模态包含关于大脑的共享和相互排斥的信息。本工作旨在寻找一种可扩展的和可解释的方法来融合多种神经成像模态的信息，使用变分自编码器（VAE）。为了提供一个初步的评估，这项工作评估的表示，学习使用精神分裂症分类任务。在表示上训练的支持向量机实现分类器的接收器操作特性（ROC-AUC）的曲线下面积为0.8610。
2021-05-03 cs.LG eess.SP
Quantifying Credit Portfolio sensitivity to asset correlations with interpretable generative neural networks
Intesa Sanpaolo S.P.A.（意大利联合圣保罗银行）
本研究提出用变分自编码器（VAE）生成合成相关矩阵，以量化信用组合VaR对资产相关性的敏感性，并利用可解释的潜在空间捕捉影响多样化的关键因素。
2023-11-14 cs.CE cs.LG q-fin.RM
Learning Interpretable Representations of Entanglement in Quantum Optics Experiments using Deep Generative Models
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）；Max Planck Institute for the Science of Light（马克斯·普朗克光科学研究所）
量子物理实验产生了一些有趣的现象，如干涉或纠缠，这是许多未来量子技术的核心特性。量子实验的设置结构与其纠缠特性之间的复杂关系对于量子光学的基础研究至关重要，但很难直观地理解。我们提出了一个量子光学实验的深度生成模型，其中变分自编码器在量子光学实验设置的数据集上进行训练。在一系列的计算实验中，我们研究了我们的量子光学变分自动编码器（QOVAE）的学习表示及其对量子光学世界的内部理解。我们证明了QOVAE学习量子光学实验的可解释表示以及实验结构和纠缠之间的关系。我们表明，QOVAE能够产生新的实验高度纠缠量子态与特定的分布，匹配其训练数据。QOVAE可以学习产生特定的纠缠态，并有效地搜索产生高度纠缠量子态的实验空间。重要的是，我们能够解释QOVAE如何构造其潜在空间，发现我们可以用量子物理学解释的奇怪模式。结果展示了我们如何在复杂的科学领域中使用和理解深度生成模型的内部表示。QOVAE和我们的研究成果可以立即应用于其他物理系统。
2022-06-16 cs.LG quant-ph
Disentangling Interpretable Generative Parameters of Random and Real-World Graphs
University College London（伦敦大学学院）；Microsoft Research Cambridge（微软剑桥研究院）
虽然存在各种各样的可解释的图形生成程序，匹配观察到的图形拓扑结构与这些程序和选择其参数仍然是一个悬而未决的问题。设计生成模型，密切再现现实世界的图形需要领域知识和耗时的模拟。虽然现有的深度学习方法依赖于较少的手动建模，但它们几乎没有提供可解释性。这项工作的方法图生成（解码）的逆图压缩（编码）。我们表明，在一个以解纠缠为重点的深度自动编码框架中，特别是Beta-变分自编码器（Beta-VAE），生成过程及其参数的选择自然出现在潜在空间中。我们的模型能够学习解纠缠的，可解释的潜变量，这些潜变量代表程序生成的随机图和真实世界的图的生成参数。解纠缠的程度是使用互信息间隙（Mutual Information Gap，简称ISI）来定量测量的。当在ER随机图上训练我们的Beta-VAE模型时，它的潜变量与ER随机图参数n和p有一个接近一对一的映射。我们部署该模型来分析图拓扑和节点属性之间的相关性，测量它们的相互依赖性，而无需手工挑选拓扑属性。
2019-11-06 cs.LG cs.SI nlin.CD
Information Constraints on Auto-Encoding Variational Bayes
University of California, Berkeley（加州大学伯克利分校）；Ragon Institute of MGH, MIT and Harvard（麻省总医院、麻省理工学院与哈佛大学拉根研究所）；Chan-Zuckerberg Biohub（陈·扎克伯格生物中心）
用神经网络对生成模型的近似后验进行参数化已成为近年来机器学习研究的一个共同主题。这种方法虽然具有吸引人的灵活性，但却难以施加或评估有条件独立等结构性限制。我们提出了一个框架，学习表示依赖于自动编码变分贝叶斯和其搜索空间是通过基于内核的独立性措施的约束。特别是，我们的方法采用了$d$变量希尔伯特-施密特独立性准则（dHSIC），以强制执行的潜在表示和任意滋扰因素之间的独立性。我们展示了如何将这种方法应用于一系列问题，包括学习不变表示和学习可解释表示的问题。我们还提出了一个完整的应用程序，单细胞RNA测序（scRNA-seq）。在这种情况下，生物信号以复杂的方式与测序误差和采样效应混合。我们表明，我们的方法在这一领域的最先进的表现。
2018-11-29 cs.LG q-bio.GN stat.ML
Generative Latent Alignment for Interpretable Radar Based Occupancy Detection in Ambient Assisted Living
本文提出GLA框架，结合变分自编码器和CLIP文本编码器，通过潜在空间对齐实现雷达占用检测的可解释性，通过Grad-CAM可视化决策区域，并验证雷达特定锚点对解释效果的重要性。
2026-01-27 cs.LG eess.SP
