Interpretable, similarity-driven multi-view embeddings from high-dimensional biomedical data
University of Virginia(弗吉尼亚大学)
相似性驱动的多视图线性重建(SiMLR)是一种利用模态间关系将大型科学数据集转换为更小,更强大和可解释的低维空间的算法。SiMLR贡献了一种新的目标函数,用于识别联合信号,基于稀疏矩阵表示先前的模态内关系的正则化,以及允许应用于大数据矩阵的联合减少的实现,每个矩阵可能具有数百万个条目。我们证明了SiMLR在模拟数据,多组学癌症生存预测数据集和多模态神经成像数据集的监督学习问题上优于密切相关的方法。总之,该结果集合表明,SiMLR可以与默认参数一起应用于来自不同模态的联合信号估值,并且可以在各种应用领域中产生实际有用的结果。
2021-01-21 cs.LG stat.ML
Human-interpretable model explainability on high-dimensional data
Faculty
可解释性在机器学习中的重要性不断增长,因为神经网络架构及其建模的数据都变得越来越复杂。当模型的输入特征变得高维时,会出现独特的挑战:一方面,原则性的模型不可知方法的可解释性变得过于计算昂贵;另一方面,更有效的可解释性算法缺乏对一般用户的自然解释。在这项工作中,我们介绍了一个框架,人类可解释的高维数据,由两个模块组成。首先,我们应用一个语义上有意义的潜在表示,既减少了原始数据的维度,并确保其人类可解释性。这些潜在特征可以被学习,例如,明确地作为解纠缠表示或隐含地通过图像到图像的转换,或者它们可以基于用户选择的任何可计算量。其次,我们适应Shapley范式的模型不可知的可解释性操作这些潜在的功能。这导致了可解释的模型解释,理论上控制和计算上易于处理。我们基准测试我们的方法对合成数据,并证明其有效性的几个图像分类任务。
2021-12-20 cs.AI cs.LG stat.ML
Interpretable, multi-dimensional Evaluation Framework for Causal Discovery from observational i.i.d. Data
Humboldt University Berlin(柏林洪堡大学);Bucharest University of Economic Studies(布加勒斯特经济研究大学)
针对观测数据非线性因果发现缺乏统一评估框架的问题,提出可解释的六维评估指标DOS,并通过大规模模拟研究评估七类结构学习算法,发现摊销因果发现性能接近最优。
2024-12-16 cs.LG stat.ML
Interpretable Neural Approximation of Stochastic Reaction Dynamics with Guaranteed Reliability
Department of Biosystems Science and Engineering, ETH Zurich(1 生物系统科学与工程系,苏黎世联邦理工学院)
DeepSKA通过结合可解释性、可靠性保证和高效计算,为随机反应动力学提供了一种新的神经近似方法。
2025-12-06 cs.LG math.PR q-bio.MN
GT-PCA: Effective and Interpretable Dimensionality Reduction with General Transform-Invariant Principal Component Analysis
Darmstadt University of Applied Sciences(达姆施塔特应用科学大学);Hessian Center for Artificial Intelligence (hessian.AI)(黑森人工智能中心)
针对PCA对图像旋转、平移等变换鲁棒性不足、自编码器类不变降维方法不可解释的问题,提出兼具有效性与可解释性的GT-PCA方法,通过神经网络高效估计成分,在合成与真实数据实验中性能显著优于现有方法。
2024-01-28 cs.LG stat.ME stat.ML
Interpretable Discriminative Dimensionality Reduction and Feature Selection on the Manifold
Center of Cognitive Interactive Technology (CITEC)(认知交互技术中心(CITEC));Bielefeld University(比勒费尔德大学)
流形上的抽象性约简(DR)包括将数据从隐式关系空间投影到向量空间的有效方法。无论在这方面的成就,这些算法遭受缺乏解释的投影尺寸。因此,通常很难解释嵌入维度背后的物理意义。在这项研究中,我们提出了可解释的内核DR算法(I-KDR)作为一种新的算法,它将数据从特征空间映射到一个低维空间,在这个空间中,类更加紧凑,重叠更少。此外,该算法根据数据样本的局部贡献创建维度,这使得更容易通过类标签来解释它们。此外,我们有效地融合DR与特征选择任务,以选择原始空间中与判别目标最相关的特征。基于经验证据,I-KDR提供了更好的嵌入维度的解释,以及更高的判别性能相比,国家的最先进的和流行的DR算法在嵌入空间。
2019-09-19 cs.LG stat.ML
BézierGAN: Automatic Generation of Smooth Curves from Interpretable Low-Dimensional Parameters
University of Maryland(马里兰大学)
许多现实世界的物体都是由光滑曲线设计的,特别是在航空航天和船舶领域,其中空气动力学形状(例如,翼型)和流体动力学形状(例如,设计(设计)。为了方便这些对象的设计过程,我们提出了一个基于深度学习的生成模型,可以合成平滑曲线。该模型将低维潜在表示映射到从有理Bézier曲线采样的离散点序列。我们展示了我们的方法在完成合成和现实世界的生成任务的性能。结果表明,该方法能够生成多样、真实的曲线,同时保持潜在空间中形状变化的一致性,有利于潜在空间设计优化或设计空间探索。
2021-01-05 cs.AI cs.CG cs.LG
GapTV: Accurate and Interpretable Low-Dimensional Regression and Classification
我们考虑的问题,估计一个回归函数在常见的情况下,功能的数量很小,模型的可解释性是一个高优先级,简单的线性或添加剂模型无法提供足够的性能。为了解决这个问题,我们提出了GapTV,一种在概念上与CART和最近的CRISP算法相关的方法,一种用于可解释的非线性回归的最先进的替代方法。GapTV将特征空间划分为常数值块,并通过凸优化例程联合拟合所有块的值。我们的方法是完全数据自适应的,因为它包含了高度鲁棒的例程,用于自动调整所有超参数。我们将我们的方法与CART和CRISP进行比较,并证明GapTV在准确性和可解释性之间找到了更好的权衡。
2017-02-23 stat.ML
Interpretable Deep Neural Networks for Dimensional and Categorical Emotion Recognition in-the-wild
Imperial College London(帝国理工学院)
情绪在人们的生活中起着重要的作用。理解和识别不仅在人际交往中起着重要作用,而且在人机交互、汽车安全和医学研究等方面有着广阔的应用前景。本课题的研究重点是扩展情感识别数据库,并训练具有情感类别表征和情感唤醒表征的CNN + RNN情感识别神经网络。通过同时训练两种表示来构建组合模型。对这三种模型进行了比较分析。研究了两种情绪表征之间的内在联系和神经网络的可解释性。研究结果表明,分类情绪识别性能可以受益于组合模型的训练。情绪类别与效价-唤醒值的映射可以解释这一现象。
2019-12-13 cs.CV cs.LG stat.ML
Interpretable Low-Dimensional Regression via Data-Adaptive Smoothing
我们考虑的问题,估计一个回归函数在常见的情况下,功能的数量很小,模型的可解释性是一个高优先级,简单的线性或添加剂模型无法提供足够的性能。为了解决这个问题,我们提出了最大方差全变差去噪(MVTV),一种在概念上与CART和最近的CRISP算法相关的方法,一种用于可解释的非线性回归的最先进的替代方法。MVTV将特征空间划分为恒定值的块,并通过凸优化例程联合拟合所有块的值。我们的方法是完全数据自适应的,因为它包含了高度鲁棒的例程,用于自动调整所有超参数。我们通过复杂性-准确性权衡度量和人类研究将我们的方法与CART和CRISP进行比较,证明MVTV是一种更强大和可解释的方法。
2017-08-06 stat.ML
SOM-VAE: Interpretable Discrete Representation Learning on Time Series
ETH Zürich(苏黎世联邦理工学院);University College London(伦敦大学学院)
高维时间序列在很多领域都很常见。由于人类的认知并没有被优化到在高维空间中很好地工作,这些领域可以从可解释的低维表示中受益。然而,大多数时间序列数据的表示学习算法很难解释。这是由于从数据特征到表示的显着属性的非直观映射以及随时间的非平滑性。为了解决这个问题,我们提出了一个新的表示学习框架,该框架基于可解释离散降维和深度生成建模的思想。这个框架使我们能够学习时间序列的离散表示,从而产生具有卓越聚类性能的平滑和可解释的嵌入。我们引入了一种新的方法来克服离散表示学习中的不可微性,并提出了一个基于梯度的版本的传统自组织映射算法,比原来的性能更好。此外,为了允许我们的方法的概率解释,我们在表示空间中集成了马尔可夫模型。该模型揭示了时间转换结构,进一步提高了聚类性能,并提供了额外的解释性见解以及不确定性的自然表示。我们评估我们的模型在静态(时尚)MNIST数据的聚类性能和可解释性,线性插值(时尚)MNIST图像的时间序列,具有两个宏观状态的混沌Lorenz吸引子系统,以及具有挑战性的现实世界的医疗时间序列应用程序的eICU数据集。我们学到的表示与竞争对手的方法相比毫不逊色,并促进了现实世界数据的下游任务。
2019-01-04 cs.LG stat.ML
Interpretable Off-Policy Learning via Hyperbox Search
ETH Zurich(苏黎世联邦理工学院);LMU(慕尼黑大学)
本文提出一种基于超盒搜索的可解释离线策略学习算法,策略以析取范式表示,结合列生成与分支定界优化,在模拟与真实临床数据中表现出低regret与高可解释性。
2023-06-26 cs.LG stat.ML
Preterm Birth Prediction: Deriving Stable and Interpretable Rules from High Dimensional Data
早产发生率高达10 - 15%,令人震惊。早产儿有较高的婴儿死亡率、发育迟缓和长期残疾的风险。预测早产是困难的,即使是最有经验的临床医生。迄今为止,设计最完善的临床研究的敏感性为18.2 - 24.2%,特异性为28.6 - 33.3%。我们采取了不同的方法,利用正常的医院业务数据库。我们的目标是双重的:(i)推导出一个易于使用、可解释的预测规则,并量化不确定性;(ii)构建准确的早产预测分类器。我们的方法是使用稳定性感知技术自动生成并从数百个(如果不是数千个)可能的预测器中进行选择。从15,814名女性的大型数据库中得出,我们的简化预测规则只有10个项目,灵敏度为62.3%,特异性为81.5%。
2016-07-28 stat.ML
Interpretable Deep Neural Networks for Facial Expression and Dimensional Emotion Recognition in-the-wild
Imperial College London(帝国理工学院)
在这个项目中,我们创建了一个数据库,其中包含两种用于情感识别领域的注释:动作单元和效价唤醒,以尝试比只有一个模型获得更好的结果。该方法的独创性也基于用于执行情感预测的架构类型:分类生成对抗网络。由于其生成网络,这种双网络可以基于新数据集的图片生成图像,并由于其判别网络决定图像是假还是真,以及由于其分类性质而有助于预测动作单位和价唤醒的注释。GANs仅在动作单元模型上训练,然后仅在价唤醒模型上训练,然后在动作单元模型和价唤醒模型上训练,以测试不同的参数并了解它们的影响。GANs的生成和判别方面已经取得了有趣的结果。
2019-12-13 cs.CV cs.LG stat.ML
Data-driven discovery of interpretable causal relations for deep learning material laws with uncertainty propagation
Johns Hopkins University(约翰斯·霍普金斯大学);Columbia University(哥伦比亚大学)
本文提出了一个计算框架,产生合奏预测力学模型与不确定性量化(UQ)。首先,我们开发了一个因果发现算法,通过有向无环图(DAG)来推断在每个代表性体积元素(RVE)模拟过程中测量的时间历史数据之间的因果关系。利用从多个RVE模拟估计的多组合理的因果关系,预测在导出的因果图中传播,同时使用配备有dropout层的深度神经网络作为用于不确定性量化的贝叶斯近似。我们选择了两个有代表性的数值例子(摩擦界面的牵引分离定律,颗粒集合体的弹塑性模型)来检验所提出的因果发现方法在土木工程应用中常见的材料定律预测的准确性和鲁棒性。
2021-05-20 cs.LG stat.ML
High Dimensional Data Enrichment: Interpretable, Fast, and Data-Efficient
Mathematical Biosciences Institute(数学生物学研究所);The Ohio State University(俄亥俄州立大学);UC Riverside(加州大学河滨分校);University of Minnesota(明尼苏达大学)
针对高维多任务学习中的 Data Enrichment/Sharing 问题,提出一种由凸函数刻画结构的公共与个体参数估计器,给出了非渐近误差界并设计了具有几何收敛率的迭代算法,首次提供了全面的统计与计算分析。
2023-06-30 cs.LG stat.ML
Function Preserving Projection for Scalable Exploration of High-Dimensional Data
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
我们提出了功能保持投影(FPP),一个可扩展的线性投影技术发现可解释的关系,在高维数据。传统的降维方法旨在最大限度地保留数据集的全局和/或局部几何结构。然而,在实践中,人们通常更感兴趣的是确定如何通过数据来解释一个或多个用户选择的响应函数。为了直观地将响应与数据联系起来,FPP构建了优化的2D线性嵌入,以揭示响应函数的可解释但潜在的非线性模式。更具体地说,FPP旨在(i)产生人类可解释的嵌入;(ii)捕获非线性关系;(iii)允许同时使用多个响应函数;以及(iv)扩展到数百万个样本。在真实世界的数据集上使用FPP,人们可以获得关于大规模数据中高维关系的全新见解,这是使用现有降维方法无法实现的。
2019-09-25 cs.LG cs.NE stat.ML
High Dimensional Forecasting via Interpretable Vector Autoregression
向量自回归(VAR)是对多元时间序列建模的基本工具。然而,随着组件系列数量的增加,VAR模型变得过度参数化。几位作者已经通过引入正则化方法解决了这个问题,例如VAR估计中的套索。传统的方法解决overparameterization通过选择一个低的滞后顺序,基于短期依赖的假设,假设一个通用的滞后顺序适用于所有组件。这种方法限制了各组成部分之间的关系,并妨碍了预测业绩。基于套索的方法在高维情况下工作得更好,但没有纳入滞后顺序选择的概念。我们提出了一类新的分层滞后结构(HLag),嵌入滞后选择的概念到凸正则化。关键的建模工具是一个嵌套组的组套索,它保证了滞后系数的稀疏模式符合VAR的有序结构。HLag框架提供了三种结构,允许不同级别的灵活性。模拟研究表明,在预测和滞后顺序选择比以前的方法,和宏观经济的应用程序进一步突出预测的改进,以及HLag的方便,可解释的输出性能提高。
2020-09-07 stat.CO stat.ME stat.ML
Using interpretable boosting algorithms for modeling environmental and agricultural data
University of the Bundeswehr Munich(慕尼黑联邦国防军大学);Ludwig Maximilian University Munich(慕尼黑大学)
本研究提出基于岭正则化广义线性模型的可解释两步提升算法,可处理高维环境农业数据的分组结构与交互作用,经智利和突尼斯农民财务脆弱性预测验证,该方法有效,且自然资产是核心预测变量。
2023-05-04 cs.LG stat.AP stat.ML
Concept Tree: High-Level Representation of Variables for More Interpretable Surrogate Decision Trees
AXA(安盛集团);OECD(经济合作与发展组织);Sorbonne Universite(索邦大学);CNRS(法国国家科学研究中心);Polish Academy of Science(波兰科学院)
在高维表格数据集上训练的黑盒预测器的可解释的代理人在相关变量存在的情况下很难生成可理解的解释。我们提出了一个模型不可知的可解释的代理,提供全球和本地的黑盒分类器的解释,以解决这个问题。我们引入的概念,直观的变量,要么是由一个领域的专家定义或自动发现使用相关系数分组的想法。概念被嵌入到一个代理决策树,以提高其可理解性。第一个实验FRED-MD,一个宏观经济数据库,134个变量,显示在人类的可解释性的改善,而准确性和保真度的代理模型被保留。
2019-06-04 cs.LG stat.ML
BaGGLS: A Bayesian Shrinkage Framework for Interpretable Modeling of Interactions in High-Dimensional Biological Data
University of Potsdam(波茨坦大学);National University of Singapore(新加坡国立大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对高维生物数据交互建模中可解释性与性能难以兼顾的问题,提出贝叶斯收缩框架BaGGLS,通过适配交互结构的先验与高效变分推断,实现更优的交互检测性能与更快的运算速度,可用于挖掘生物相关交互模式。
2025-11-19 q-bio.GN stat.ME stat.ML
Learning Interpretable Concept-Based Models with Human Feedback
John A. Paulson School of Engineering and Applied Sciences(约翰·A·保尔森工程与应用科学学院);Harvard University(哈佛大学)
机器学习模型首先根据人类可理解的概念学习领域的表示,然后使用它来进行预测,已经提出了促进解释和与在高维数据上训练的模型的交互。然而,这些方法有重要的局限性:它们定义概念的方式不是固有的可解释的,它们假设概念标签要么存在于单个实例中,要么可以很容易地从用户那里获得。这些限制对于高维表格特征尤其严重。我们提出了一种方法来学习一组透明的概念定义在高维表格数据,依赖于用户标记的概念功能,而不是个别的实例。我们的方法产生的概念既符合用户对概念含义的直观感觉,又便于通过透明的机器学习模型预测下游标签。这确保了完整的模型是透明和直观的,并且在给定此约束的情况下尽可能具有预测性。我们用模拟用户反馈来证明真实预测问题,包括临床领域的问题,这种直接反馈在学习与地面事实概念定义相一致的解决方案方面比依赖于标记实例或其他现有交互机制的替代透明方法更有效,同时保持类似的预测性能。
2020-12-04 cs.HC cs.LG stat.ML
Solving Interpretable Kernel Dimension Reduction
核降维(KDR)算法通过优化能够捕获非线性关系的核依赖度量来找到原始数据的低维表示。标准策略是首先使用核将数据映射到高维特征空间,然后投影到低维空间。虽然KDR方法可以通过保留核矩阵的最主要特征向量来轻松求解,但其特征不再容易解释。可解释KDR(Interpretable KDR,IKDR)的不同之处在于,它将核特征映射投影到子空间\textit{before}上,因此,投影矩阵可以指示原始特征如何线性组合以形成新特征。不幸的是,IKDR目标需要一个非凸流形优化,这是很难解决的,不能再解决的特征分解。最近,一个有效的迭代谱(特征分解)方法(ISM)已经提出了这个目标的上下文中的替代聚类。然而,ISM仅为高斯核提供理论保证。这极大地限制了ISM的使用,因为任何使用ISM的核方法现在都被限制在单个核中。这项工作扩展了ISM的理论保证,整个家庭的内核,从而使ISM解决任何核方法相同的目标。在确定这个家庭,我们证明了家庭内的每个内核有一个代理$Φ$矩阵和最佳的投影是由其最占主导地位的特征向量。有了这个扩展,我们建立了广泛的IKDR应用程序在不同的学习范式可以解决ISM。为了支持可重现的结果,源代码在\url{https://github.com/chieh-neu/ISM_supervised_DR}上公开。
2019-09-25 cs.LG stat.ML
Learning identifiable and interpretable latent models of high-dimensional neural activity using pi-VAE
Columbia University(哥伦比亚大学);UT Austin(德克萨斯大学奥斯汀分校)
同时记录大脑中数百个神经元的活动的能力对开发适当的统计技术来分析这些数据提出了越来越高的要求。最近,已经提出了深度生成模型来拟合神经群体响应。虽然这些方法是灵活的和表达性的,但缺点是它们可能难以解释和识别。为了解决这个问题,我们提出了一种方法,它集成了潜在模型和传统神经编码模型的关键成分。我们的方法,pi-VAE,灵感来自可识别的变分自动编码器的最新进展,我们适应,使适当的神经科学应用。具体来说,我们建议构建神经活动的潜变量模型,同时建模的潜变量和任务变量(非神经变量,如感官,运动,和其他外部可观察到的状态)之间的关系。将任务变量纳入模型中,不仅更具约束性,而且在可解释性和可识别性方面也有质的改进。我们使用合成数据验证pi-VAE,并将其应用于分析大鼠海马和猕猴运动皮层的神经生理数据集。我们证明了pi-VAE不仅更好地拟合数据,而且还提供了对神经代码结构的意想不到的新见解。
2020-11-09 cs.LG q-bio.NC stat.ML
Doubly High-Dimensional Contextual Bandits: An Interpretable Model for Joint Assortment-Pricing
University of Notre Dame(圣母大学);Massachusetts Institute of Technology(麻省理工学院);University of Pennsylvania(宾夕法尼亚大学)
本文提出一种基于上下文老虎机的联合选品-定价模型,利用近低秩表示矩阵应对双重高维问题,并证明其遗憾上界,仿真和真实案例均显示该方法在收入和利润上显著优于现有方法。
2023-09-14 cs.AI cs.LG stat.AP
Understanding microbiome dynamics via interpretable graph representation learning
Freie Universität Berlin(柏林自由大学);Zuse Institute Berlin(柏林祖斯研究所)
微生物组构成的大规模扰动,无论是作为驱动因素还是结果,都与人体生理的健康和功能密切相关。然而,由于微生物之间存在大量复杂的相互作用,了解健康和患病个体的微生物组特征的差异可能很复杂。我们建议将这些相互作用建模为一个时间演化图,其节点是微生物,边缘是它们之间的相互作用。出于分析这种复杂相互作用的需要,我们开发了一种方法,该方法学习时间演化图的低维表示,并保持高维空间中发生的动态。通过我们的实验,我们证明了我们可以提取对模型影响最大的图特征,如节点或边的集群,以学习低维表示。这些信息对于识别与临床疾病密切相关的微生物及其相互作用至关重要。我们在合成和真实世界的微生物组数据集上进行实验。
2022-09-07 cs.LG math.DS q-bio.QM
Interpretable Embeddings From Molecular Simulations Using Gaussian Mixture Variational Autoencoders
Max Planck Institute for Polymer Research(马克斯·普朗克聚合物研究所);Koc University(科奇大学)
从分子模拟产生的大量数据中提取洞察力需要识别少量的集体变量,其相应的低维自由能景观保留了底层系统的基本特征。数据驱动技术提供了一个系统的路线来构建这一景观,而不需要对相关驱动力进行广泛的先验直觉。特别是,自动编码器是降维的强大工具,因为它们自然会造成信息瓶颈,从而实现基本特征的低维嵌入。虽然变分自编码器通过假设单峰高斯先验来确保嵌入的连续性,但这与通常由有意义的集体变量的识别产生的多流域自由能景观不一致。在这项工作中,我们采用高斯混合变分自动编码器(GMVAE),鼓励嵌入内的亚稳态的分离,将这种物理直觉到先验。GMVAE在一个统一的框架内执行降维和聚类,并且能够根据对数据进行分类所需的高斯数来识别输入数据的固有维度。我们说明了我们的方法上的两个玩具模型,丙氨酸二肽,和一个具有挑战性的无序肽系综,证明了增强的聚类效果的GMVAE之前相比,标准的VAE。由此产生的嵌入似乎是有前途的表示,用于构建马尔可夫状态模型,突出的可转移性的降维从静力平衡性能的动态。
2019-12-22 cs.LG physics.chem-ph stat.ML
An Interpretable and Stable Framework for Sparse Principal Component Analysis
本文提出SP-SPCA方法,通过引入均衡参数灵活控制稀疏性和解释方差,提升高维数据建模的稳定性与可解释性。
2026-03-14 cs.LG stat.ML
Interpretable Machine Learning for Spatial Science: A Lie-Algebraic Kernel for Rotationally Anisotropic Gaussian Processes
University of York(约克大学);University of York Department of Mathematics(约克大学数学系);York(约克);United Kingdom(英国)
本文提出一种可解释的旋转各向异性高斯过程核,通过三个主长度尺度和显式SO(3)旋转参数化三维SPD协方差度量,通过马尔可夫链蒙特卡洛进行贝叶斯推断,验证了其在各向异性数据中的有效性。
2026-05-11 cs.LG stat.ML
Interpretable Safety Validation for Autonomous Vehicles
自动驾驶的一个开放性问题是如何在仿真中验证自动驾驶车辆的安全性。自动化测试程序可以发现自主系统的故障,但这些故障可能由于其高维性而难以解释,并且可能不太可能以至于不重要。这项工作描述了一种方法,用于找到自治系统的可解释的故障。故障由人可以理解的信号时序逻辑表达式描述,并且被优化以产生具有高可能性的故障。我们的方法证明了自动驾驶汽车的安全验证的背景下,无保护的左转和人行横道与行人。与基线重要性采样方法相比,我们的方法发现了更多的故障,具有更高的可能性,同时保持可解释性。
2020-06-26 cs.LG cs.RO stat.ML
Learning Interpretable Characteristic Kernels via Decision Forests
Johns Hopkins University(约翰斯·霍普金斯大学);University of Delaware(特拉华大学)
本文提出 KMERF 方法,通过随机森林的叶节点邻近性诱导核,并证明其渐近特征性;实验表明该方法在高维双样本和独立性检验中优于现有核方法,同时具备可解释性,打破了性能与可解释性之间的权衡。
2024-10-11 cs.LG stat.ML
IntroVAC: Introspective Variational Classifiers for Learning Interpretable Latent Subspaces
University of Padova(帕多瓦大学)
学习复杂数据的有用表示多年来一直是广泛研究的主题。随着深度神经网络的普及,变分自编码器获得了大量关注,因为它们基于编码器/解码器架构提供了数据分布的显式模型,该架构能够生成图像并在低维子空间中对其进行编码。然而,潜在的空间是不容易解释和生成能力显示出一些限制,因为图像通常看起来模糊,缺乏细节。在本文中,我们提出了内省变分分类器(IntroVAC),该模型通过利用来自附加标签的信息来学习可解释的潜在子空间,并通过对抗训练策略来提高图像质量。我们表明,IntroVAC能够学习潜在空间中有意义的方向,从而实现对图像属性的细粒度操作。我们在CelebA数据集上验证了我们的方法。
2020-09-14 cs.CV cs.LG stat.ML
Sparse Density Trees and Lists: An Interpretable Alternative to High-Dimensional Histograms
本文提出稀疏树和列表密度估计方法,作为高维直方图的可解释替代,通过贝叶斯先验控制复杂度,在稀疏性和准确性间取得平衡,并应用于犯罪分析。
2023-11-15 stat.ML
An Interpretable and Efficient Infinite-Order Vector Autoregressive Model for High-Dimensional Time Series
本文提出一种稀疏无限阶VAR模型,通过分离时间与截面结构并施加稀疏性假设,结合$\ell_1$正则化估计和BIC阶数选择,在高维时间序列中实现高效且可解释的VARMA型动态建模。
2024-02-24 stat.ME stat.ML
Interpretable learning of effective dynamics for multiscale systems
Inria(法国国家信息与自动化研究所);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);IRT SystemX(SystemX数字技术研究所);Harvard University(哈佛大学);ETH Zürich(苏黎世联邦理工学院)
提出iLED框架,基于Mori-Zwanzig与Koopman算子理论实现多尺度系统的可解释有效动力学学习,在保持与RNN相当精度的同时提供可解释性,并在三个基准系统上验证了其准确预测能力。
2023-09-11 cs.LG physics.comp-ph stat.ML
Visualization of Emergency Department Clinical Data for Interpretable Patient Phenotyping
Texas A&M University(德克萨斯农工大学);Yale School of Medicine(耶鲁医学院)
在电子健康记录(EHR)中包含的对收集的关于患者的临床数据的视觉总结可以在患者呈现给急诊科(ED)时实现精确且快速的分类。在适当分配资源和预测最终患者处置(通常是入院或出院)方面,分诊过程至关重要。EHR数据是高维和复杂的,但提供了发现和表征基础数据驱动的患者表型的机会。这些表型将使改善,个性化的治疗决策和解释。在这项工作中,我们专注于二维患者投影的挑战。低维嵌入提供了在高维中丢失的视觉可解释性。虽然线性降维技术,如主成分分析,经常用于实现这一目标,他们是不足以描述患者数据的方差。在这项工作中,我们采用了新描述的非线性嵌入技术,称为均匀流形近似和投影(UMAP)。UMAP试图在高维数据中捕获局部和全局结构。然后,我们使用高斯混合模型来识别嵌入数据中的聚类,并使用调整后的Rand指数(ARI)来建立这些聚类的发现的稳定性。这种技术被应用到五个常见的临床主要投诉从现实世界的ED EHR数据集,描述所发现的集群的紧急属性。我们观察临床相关的聚类属性,这表明使用非线性降维的EHR数据的视觉嵌入是一种很有前途的方法来揭示数据驱动的患者表型。在五个主要投诉中,我们发现2到6个聚类,随后的训练迭代之间的峰值平均成对ARI范围从0.35到0.74。
2019-07-05 cs.HC cs.LG stat.ML
Geometry-preserving and interpretable dimension reduction for compositional data
University of Michigan(密歇根大学);KAIST(韩国科学技术院)
针对高维成分数据的单形约束和零膨胀问题,提出一种保几何降维框架,将高维成分直接映射到低维单形,实现可解释的软合并与双可视化,并基于核方法估计中心成分子空间,证明估计与目标子空间不同维度下的一致性。
2026-06-01 math.ST stat.AP stat.ME
Interpretable random forest models through forward variable selection
随机森林是一种处理高维协变量的流行预测方法。然而,它往往成为不可行的解释所获得的高维和非参数模型。为了获得一个可解释的预测模型,我们开发了一个向前的变量选择方法,使用连续排序概率得分(CRPS)作为损失函数。我们的逐步程序导致一组最小的变量,通过在每一步对CRPS风险显著降低进行假设检验来优化CRPS风险。我们提供的数学动机,我们的方法证明,在人口意义上的方法达到最优集。此外,我们表明,测试是一致的,提供了一个分位数函数的随机森林估计是一致的。在模拟研究中,我们比较了我们的方法与现有的变量选择方法的性能,不同的样本量和协变量的不同相关强度。我们的方法被观察到具有低得多的假阳性率。我们还展示了我们的方法在荷兰的每日最高温度预报的统计后处理的应用。我们的方法选择了大约10%的协变量,同时保留了相同的预测能力。
2020-05-11 stat.ME stat.ML
SG-PALM: a Fast Physically Interpretable Tensor Graphical Model
University of Michigan(密歇根大学)
我们提出了一个新的图形模型推理过程,称为SG-PALM,用于学习高维张量变量数据的条件依赖结构。与大多数其他张量图形模型不同,该模型是可解释的,并且在计算上可扩展到高维。物理可解释性来自SG-PALM所基于的Sylvester生成(SG)模型:该模型对于任何作为泊松型偏微分方程解的观测过程都是精确的。可扩展性来自SG-PALM在训练期间使用的快速近端交替线性化最小化(PALM)程序。我们建立SG-PALM线性收敛(即,几何收敛速度)到其目标函数的全局最优。我们证明了SG-PALM的可扩展性和准确性的一个重要的,但具有挑战性的气候预测问题:时空预测太阳耀斑的多模态成像数据。
2021-05-26 cs.LG stat.AP stat.CO
Non-Negative Stiefel Approximating Flow: Orthogonalish Matrix Optimization for Interpretable Embeddings
Department of Radiology and Medical Imaging(放射科与医学影像学系);University of Virginia(弗吉尼亚大学)
本文提出非负Stiefel逼近流(NSA-Flow),通过结合稀疏矩阵分解、正交化与约束流形学习,在Stiefel流形附近以可调权重平衡重构保真度和逐列去相关,实现稀疏、稳定且可解释的表示学习,并在生物医学数据上验证其有效性与通用性。
2025-11-09 cs.CV cs.LG stat.ME
Normalizing Flow to Augmented Posterior: Conditional Density Estimation with Interpretable Dimension Reduction for High Dimensional Data
本文提出增广后验条件密度估计方法 AP-CDE,通过归一化流将高维响应映射到由有监督降维分量和高斯噪声分量组成的隐空间,在图像数据中实现可解释的条件密度估计。
2025-07-06 stat.AP stat.ME stat.ML
Interpretable Neural Networks for Panel Data Analysis in Economics
Princeton University(普林斯顿大学);Penn State University(宾州州立大学)
缺乏可解释性和透明度阻碍了经济学家在实证研究中使用神经网络等先进工具。在本文中,我们提出了一类可解释的神经网络模型,可以实现高的预测精度和可解释性。该模型可以被编写为正则化的可解释特征数量的简单函数,这些特征是神经网络中编码的可解释函数的结果。研究人员可以根据任务的性质设计不同形式的可解释功能。特别是,我们在神经网络中编码了一类名为持续变化过滤器的可解释函数来研究时间序列横截面数据。我们应用该模型预测个人的每月就业状况使用高维行政数据。我们在测试集中实现了94.5%的准确率,这与表现最好的传统机器学习方法相当。此外,模型的可解释性使我们能够理解预测的机制:个人的就业状况与她是否支付不同类型的保险密切相关。我们的工作是克服神经网络黑箱问题的有益一步,并为经济学家研究管理和专有大数据提供了新的工具。
2020-11-29 cs.AI cs.LG econ.EM