Convolutional Spectral Kernel Learning
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
近年来，非平稳谱核由于其在揭示长程相关性和输入依赖性方面的强大特征表示能力而受到广泛关注。然而，非平稳谱核仍然是浅层模型，因此它们在学习分层特征和局部相互依赖性方面存在不足。在本文中，为了获得分层和局部知识，我们基于逆傅立叶变换构建了一个可解释的卷积谱核网络（\texttt{CSKN}），其中我们将深度架构和卷积滤波器引入非平稳谱核表示。此外，基于Rademacher复杂度，我们推导了泛化误差界，并引入了两个正则化器来提高性能。结合正则化器和随机初始化的最新进展，我们最终完成了\texttt{CSKN}的学习框架。在真实数据集上的大量实验结果验证了学习框架的有效性，并与我们的理论研究结果相吻合。
2020-02-28 cs.LG stat.ML
Scalable and Interpretable One-class SVMs with Deep Learning and Random Fourier features
Queen’s University Belfast（贝尔法斯特女王大学）
单类支持向量机（OC-SVM）一直是最有效的异常检测方法之一，在研究和工业应用中得到广泛的应用。OC-SVM的最大问题是由于优化复杂性而无法处理大型和高维数据集。这些问题可以通过降维技术来缓解，例如流形学习或自动编码器。然而，以前的工作往往把表示学习和异常预测分开。在本文中，我们提出了基于自动编码器的一类支持向量机（AE-1 SVM），它将OC-SVM与随机傅立叶特征近似径向基核，通过将其与表示学习架构相结合，将其带入深度学习环境，并联合利用随机梯度下降来获得端到端训练。有趣的是，这也开辟了使用基于梯度的属性方法来解释异常检测的决策的可能性，由于输入空间和核空间之间的隐式映射，这一直是具有挑战性的。据我们所知，这是第一个研究深度学习在异常检测中的可解释性的工作。我们在广泛的无监督异常检测任务中评估了我们的方法，其中我们的端到端训练架构的性能明显优于使用单独训练的先前工作。
2018-10-14 cs.LG stat.ML
Learning High Order Feature Interactions with Fine Control Kernels
EPFL（洛桑联邦理工学院）
我们提供了一种学习稀疏统计模型的方法，该模型使用底层原子特征集之间所有可能的乘法相互作用作为特征。虽然由此产生的优化问题是指数级的，我们的方法导致的算法，往往可以解决这些问题，准确地或提供近似的解决方案的基础上结合高度相关的功能。我们还介绍了一个算法范例，精细控制内核框架，如此命名，因为它是基于Fenchel对偶，是让人想起内核方法。它的理论是为大型稀疏学习问题量身定制的，它导致了有效的交互特征筛选规则。这些规则的灵感来自于市场篮子分析的Apriori算法-这也属于精细控制核的范围，并且可以应用于多个学习问题，包括Lasso和稀疏矩阵估计。生物医学数据集上的实验证明了我们的方法在推导算法中的有效性，这些算法有效地产生了交互模型，这些模型达到了最先进的精度并且是可解释的。
2020-02-09 cs.LG stat.ML
How to improve the interpretability of kernel learning
近年来，机器学习研究人员一直专注于构建灵活且可解释的预测模型的方法。然而，解释性评价，泛化性能和模型的解释性之间的关系，以及用于提高解释性的方法必须被考虑。本文提出了一种可解释性的量化指标，并证明了其合理性，分析了可解释性与泛化性能之间的平衡问题。分析了两种性能之和的概率上界。针对传统的有监督核机器学习问题，提出了一种通用的学习框架来解决两种性能之间的平衡问题。在此框架下，推导出了全局最优解的条件.将该学习框架应用于最小二乘支持向量机，并通过实验进行了评价。
2019-10-05 cs.LG stat.ML
Solving Support Vector Machines in Reproducing Kernel Banach Spaces with Positive Definite Functions
本文在再生核巴拿赫空间中利用半内积的正交性和傅里叶变换技术，显式求解支持向量机，并通过正定函数表示最优解，系数由不动点迭代计算。
2013-04-23 cs.NA math.NA math.OC
Low-dimensional Interpretable Kernels with Conic Discriminant Functions for Classification
Eskişehir Teknik Üniversitesi（埃斯基谢希尔技术大学）；Erasmus University Rotterdam（鹿特丹伊拉斯姆斯大学）
核通常被开发和用作隐式映射函数，由于其高维特征空间表示，显示出令人印象深刻的预测能力。在这项研究中，我们逐步构建了一系列简单的特征映射，导致可解释的低维内核的集合。在每一步中，我们都保留了原始特征，并确保输入数据的维数增加非常低，这样得到的判别函数仍然是可解释的，并且可以快速训练。尽管我们坚持可解释性，我们获得高精度的结果，即使没有深入的超参数调整。将我们的结果与基准数据集上的几个知名内核进行比较表明，所提出的内核在预测精度方面具有竞争力，而训练时间显着低于最先进的内核实现。
2020-07-17 cs.LG stat.ML
Data-Efficient Kernel Methods for Learning Differential Equations and Their Solution Operators: Algorithms and Error Analysis
California Institute of Technology（加州理工学院）；University of Washington（华盛顿大学）
提出一种数据高效的基于核的框架用于学习微分方程及其解映射，具备严格理论误差界，在准确率上较现有算法提升一至两个数量级且计算复杂度与鲁棒性显著改善。
2026-11-04 cs.LG cs.NA math.NA
Interpretable Multiple-Kernel Prototype Learning for Discriminative Representation and Feature Selection
Center of Cognitive Interactive Technology (CITEC)（认知交互技术中心（CITEC））；Bielefeld University（比勒费尔德大学）
基于原型的方法是领域专家和从业者特别感兴趣的，因为它们通过一小组代表来总结数据集。因此，在分类设置中，原型的可解释性与算法的预测准确性一样重要。然而，最先进的方法通过牺牲一个来支持另一个来在这些问题之间进行低效的权衡，特别是如果给定的数据具有基于内核的表示。在本文中，我们提出了一种新的可解释的多核原型学习（IMKPL）在特征空间中构建高度可解释的原型，这也是有效的数据的判别表示。我们的方法侧重于在特征空间中的类的局部歧视和塑造的原型的基础上凝聚类均匀的数据邻域。此外，IMKPL在特征空间中学习组合嵌入，更好地实现了上述目标。当基本核与数据维度一致时，这种嵌入导致有区别的特征选择。我们评估IMKPL的几个基准从不同的领域，这表明其优越性的相关国家的最先进的方法，无论是可解释性和歧视性表示。
2019-11-10 cs.LG stat.ML
Feature Understanding and Sparsity Enhancement via 2-Layered kernel machines (2L-FUSE)
本文提出基于两层核机器学习形状矩阵以增强回归稀疏性，通过特征分解识别关键方向，在合成及地磁暴数据上实现不损性能的最小特征集。
2025-09-09 astro-ph.SR cs.NA math.NA
Neural Tangent Kernels for Complex Genetic Risk Prediction: Bridging Deep Learning and Kernel Methods in Genomics
针对遗传风险预测需兼顾非线性关系捕捉、可解释性与计算效率的需求，提出融合核方法与深度学习的NTK框架，经模拟和ADNI数据验证，其预测准确率优于传统方法，且具备可解释性与计算优势。
2025-10-01 stat.AP
Random forests and kernel methods
随机森林是一种集成方法，它将树作为基本学习者，并通过平均来组合它们的预测。随机森林以其良好的实际性能而闻名，特别是在高维环境中。在理论方面，一些研究强调了随机森林和内核方法之间潜在的富有成效的联系。在本文中，我们详细研究了这种联系。特别是，我们表明，通过稍微修改它们的定义，随机森林可以重写为内核方法（称为基于随机森林的内核KerRF），这是更可解释和更容易分析。给出了几种随机森林模型的KeRF估计的显式表达式及其相合率的上界。我们还表明经验，KerRF估计相比随机森林估计。
2015-09-17 math.ST stat.TH
Interpretable Machine Learning for Spatial Science: A Lie-Algebraic Kernel for Rotationally Anisotropic Gaussian Processes
University of York（约克大学）；University of York Department of Mathematics（约克大学数学系）；York（约克）；United Kingdom（英国）
本文提出一种可解释的旋转各向异性高斯过程核，通过三个主长度尺度和显式SO(3)旋转参数化三维SPD协方差度量，通过马尔可夫链蒙特卡洛进行贝叶斯推断，验证了其在各向异性数据中的有效性。
2026-05-11 cs.LG stat.ML
Interpretable Neural Architecture Search via Bayesian Optimisation with Weisfeiler-Lehman Kernels
University of Oxford（牛津大学）
目前的神经结构搜索（NAS）策略只关注于找到一个单一的，好的，架构。它们几乎无法解释为什么特定的网络表现良好，或者如果我们想要进一步改进，我们应该如何修改架构。我们提出了一个贝叶斯优化（BO）的NAS方法，结合Weisfeiler-Lehman图形内核与高斯过程代理。我们的方法优化的架构，在一个高度的数据效率的方式：它是能够捕获的拓扑结构的架构，并可扩展到大型图形，从而使高维和图形的搜索空间服从BO。更重要的是，我们的方法通过发现有用的网络特征及其对网络性能的相应影响来提供可解释性。事实上，我们的经验表明，我们的代理模型是能够识别有用的图案，可以指导新架构的生成。我们最后表明，我们的方法优于现有的NAS方法，以实现最先进的封闭和开放域搜索空间。
2021-02-19 cs.LG stat.ML
Bayesian neural networks with interpretable priors from Mercer kernels
School of Mechanical Engineering, Purdue University（机械工程学院，普渡大学）
本文提出了一种新的贝叶斯神经网络先验，称为Mercer先验，通过从协方差核的Mercer表示直接定义网络参数的先验，使BNN样本近似于指定的高斯过程，从而在保持可扩展性的同时提升模型的可解释性。
2026-03-06 cs.LG stat.ML
Semiparametric Efficient Test for Interpretable Distributional Treatment Effects
Gatsby Computational Neuroscience Unit, University College London（Gatsby计算神经科学单位，伦敦大学学院）
本文提出DR-ME，首个半参数高效有限位置检验，用于检测可解释的分布治疗效应差异，通过局部测试和样本分割实现高功效和低误差。
2026-05-08 cs.LG stat.ML
The fast committor machine: Interpretable prediction with kernels
Colorado State University（科罗拉多州立大学）；Drexel University（德雷塞尔大学）；University of California San Diego（加州大学圣迭戈分校）
针对随机系统中承诺函数的近似问题，提出基于核的快速承诺函数机（FCM）算法，采用随机线性代数确定系数实现线性时间复杂度，实验显示其在精度、速度和可解释性上均优于同参数量神经网络。
2024-08-10 cs.LG cs.NA math.NA
TIME: A Transparent, Interpretable, Model-Adaptive and Explainable Neural Network for Dynamic Physical Processes
Oden Institute for Computational Engineering and Sciences（奥登计算工程与科学研究所）；Department of Computer Science（计算机科学系）；School of Information（信息学院）；University of Texas, Austin（得克萨斯大学奥斯汀分校）
偏微分方程是物理过程的无限维编码表示。然而，吸收多个观测数据对耦合表示提出了重大挑战。我们提出了一个完全卷积的架构，捕获域的不变结构来重建可观察系统。所提出的架构是显着的低重量相比，其他网络的此类问题。我们的目的是学习耦合动态过程解释为偏离真正的内核代表孤立的模型自适应过程。实验分析表明，我们的架构是强大的和透明的捕获过程内核和系统异常。我们还表明，高权重表示不仅是冗余的，而且会影响网络的可解释性。我们的设计是由领域知识指导的，孤立的过程表示作为验证的基础事实。这些使我们能够识别冗余内核及其在激活图中的表现，以指导更好的设计，这些设计与传统的深度网络不同，既可解释又可解释。
2020-03-06 cs.LG stat.ML
Interpretable Bayesian Tensor Network Kernel Machines with Automatic Rank and Feature Selection
Delft Center for Systems and Control（德雷夫特系统与控制中心）；Delft University of Technology（德雷夫特理工大学）
提出贝叶斯张量网络核机框架，通过诱导稀疏的分层先验自动推断张量秩和特征维度，在无额外计算成本下实现不确定性量化与特征选择，提升模型可解释性。
2025-07-15 cs.LG stat.ML
Multifidelity Gaussian process regression for solving nonlinear partial differential equations
Institut de Mathématiques de Toulouse, Université de Toulouse, INSA（图卢兹数学研究所，图卢兹大学，法国国家科学与工程研究院）
本文提出基于共克里格的核学习方法，利用多保真度模拟信息求解非线性偏微分方程，通过构建可微非平稳核和高保真度核解决PDE问题。
2026-05-11 cs.LG stat.ML
Survival Kernets: Scalable and Interpretable Deep Kernel Survival Analysis with an Accuracy Guarantee
本文提出 survival kernet 深度核生存模型，通过扩展 kernel netting 压缩、树集成热启动和神经架构搜索加速实现可扩展、可解释及最优误差保证，并在多数据集上验证竞争力。
2025-02-16 cs.LG stat.ML
An interpretable multiple kernel learning approach for the discovery of integrative cancer subtypes
Saarland Informatics Campus（萨尔信息学园区）；University of Tübingen（图宾根大学）
由于癌症的复杂性，聚类算法已被用于解开观察到的异质性，并确定可以特异性治疗的癌症亚型。虽然基于核的聚类方法允许使用多于一个的输入矩阵，这在考虑像癌症这样的多维疾病时是一个重要因素，但是聚类结果仍然难以评估，并且在许多情况下，不清楚哪条信息对最终结果产生了哪些影响。在本文中，我们提出了一种多核学习聚类的扩展，它可以根据对结果影响最大的特征来表征每个已识别的患者聚类。为此，我们将特征聚类与多核降维相结合，并引入FIPPA，这是一个衡量特征聚类对患者聚类影响的分数。结果如下：我们将该方法应用于由四种不同数据类型描述的不同癌症类型，目的是识别综合患者亚型并了解哪些特征对其识别最重要。我们的结果表明，我们的方法不仅具有根据标准测量的最先进的性能（例如，生存分析），但是，基于高影响特征，它也对亚型的分子基础产生了有意义的解释。这可能为验证潜在的癌症亚型提供重要的一步，并能够制定关于个体患者群体的新假设。对于其他疾病表型，类似的分析是可能的。
2018-11-20 cs.LG stat.AP stat.ML
Kernel Mode Decomposition and programmable/interpretable regression networks
Caltech（加州理工学院）
模式分解是一个典型的模式识别问题，可以从数值近似、统计推断和深度学习的（先验的）角度来解决。通过这些综合视角进行的分析是否可以作为罗塞塔石碑，用于破译深度学习中起作用的机制？出于这个问题，我们引入可编程和可解释的回归网络模式识别和地址模式分解作为一个原型问题。这些网络的编程是通过组装基本模块、分解和重组内核和数据来实现的。这些基本步骤在抽象层次上重复，并从最佳恢复、博弈论和高斯过程回归（GPR）的等效角度进行解释。原型模式/核分解模块根据对和$v:=v_1+\cdots+v_m$的观察来产生公共Hilbert空间的Hilbert子空间的积的元素$(v_1,v_2,\ldots,v_m)$的最佳逼近$(w_1,w_2,\cdots,w_m)$。原型模式/内核重组模块基于每个恢复的模式$w_i$和数据$v$之间的对齐来执行恢复的模式$w_i$的部分求和。我们说明了所提出的框架，通过编程回归网络逼近模式$v_i= a_i(t)y_i\big(θ_i(t)\big)$的（可能有噪声的）信号$\sum_i v_i$时的幅度$a_i$，瞬时相位$θ_i$和周期波形$y_i$可能都是未知的，并显示近机精度恢复下的规律性和分离的假设瞬时幅度$a_i$和频率$\dotθ_i$。其中一些网络的结构与卷积神经网络有着有趣的相似之处，同时具有可解释性，可编程性和理论分析性。
2020-08-05 cs.LG cs.NA math.NA
Interpretable deep Gaussian processes with moments
Rutgers University Newark（罗格斯大学纽瓦克分校）
深度高斯过程（DGP）将深度神经网络（DNN）的表达能力与高斯过程（GP）的量化不确定性相结合。表达能力和难以处理的推理都来自于组合函数的非高斯分布。我们提出了可解释的DGP的基础上近似DGP作为一个GP通过计算精确的时刻，另外确定一些DGP分布的重尾性质。因此，我们的方法承认解释为指定的激活函数和作为一个变分近似DGP的神经网络。我们确定了DGP的表达性参数，并从DGP组合中发现了非局部和非平稳的相关性。我们提供了一般配方推导出有效的内核DGP的两个，三个，或无限多层，由同质或异质内核。结果说明了我们的有效内核的表现力，通过样本的先验和推理的模拟和真实数据，并通过分析的形式，展示了解释性的优势，并绘制跨内核的关系和等价性。
2019-12-03 cond-mat.dis-nn cs.LG stat.ML
A Kernel Loss for Solving the Bellman Equation
UT Austin（德克萨斯大学奥斯汀分校）；Google Research（谷歌研究院）
价值函数学习在许多最先进的并行学习算法中起着核心作用。许多流行的算法，如Q学习，并不优化任何目标函数，而是Bellman算子的某种变体的定点迭代，不一定是收缩。因此，正如在实践中可以观察到的那样，它们可能很容易失去收敛保证。在本文中，我们提出了一种新的损失函数，它可以使用标准的基于梯度的方法进行优化，而不会有发散的风险。其主要优点是，它的梯度可以很容易地近似使用采样过渡，避免了像残差梯度之前的算法所需要的双样本。我们的方法可以与一般的功能类，如神经网络，无论是对或关闭的政策数据相结合，并显示出可靠和有效的工作在几个基准。
2020-01-08 cs.LG stat.ML
Harmonizable mixture kernels with variational Fourier features
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所 HIIT）；Aalto University（阿尔托大学）
高斯过程的表达能力很大程度上取决于核的选择。在这项工作中，我们提出了新的协调混合内核（HMK），一个家庭的表现力，可解释的，非平稳的内核来自混合模型的广义谱表示。作为非平稳核的理论上合理的处理，HMK支持协调协方差，包括所有平稳和许多非平稳协方差的广泛的核子集。我们还提出了变分傅立叶特征，一个域间稀疏GP推理框架，提供了一组代表性的“诱导频率”。我们表明，调和混合内核插值局部模式之间，变分傅立叶特征提供了一个强大的内核学习框架的新的内核家庭。
2019-03-11 cs.LG stat.ML
Kernels of Mallows Models under the Hamming Distance for solving the Quadratic Assignment Problem
BCAM - Basque Center for Applied Mathematics（巴斯克应用数学中心）；University of the Basque Country UPV/EHU（巴斯克大学UPV/EHU）
二次分配问题（QAP）是一个著名的基于置换的组合优化问题，在工业和物流环境中有着实际的应用。由于这个NP难问题所代表的挑战，它已经吸引了优化社区几十年的注意力。因此，人们提出了大量算法来解决这个问题。其中，精确方法只能解决大小为$n<40$的实例。为了克服这个局限性，许多元启发式方法已被应用到QAP。在这项工作中，我们遵循这个方向，通过估计分布算法（EDAs）接近QAP。特别地，使用非参数的基于距离的指数概率模型。本文在分析QAP的特点和前人工作的基础上，将Hamming距离下的Mallows模型的核引入到EDAs中。进行的实验指出，所提出的算法在QAP的性能优于（i）适合于处理QAP的经典EDA，以及（ii）在文献中提出的特定的EDA处理置换问题。
2020-08-18 cs.LG stat.ML
FBSJNN: A Theoretically Interpretable and Efficiently Deep Learning method for Solving Partial Integro-Differential Equations
提出FBSJNN深度学习框架求解偏积分微分方程及带跳正倒向随机微分方程，用单网络结合泰勒展开同时逼近解与非局部积分，减少参数并提升效率，理论保证收敛，数值误差达10^{-3}量级。
2024-12-15 cs.NA math.NA stat.ML
Latent Space Exploration Using Generative Kernel PCA
KU Leuven（鲁汶大学）
核PCA是一种功能强大的特征提取器，最近在受限核机器（RKM）的上下文中进行了重新表述。这些RKM允许在类似于受限玻尔兹曼机的隐藏和可见单元方面表示内核PCA。这种联系导致了关于如何在生成过程中使用内核PCA的见解，称为生成内核PCA。在本文中，使用生成核PCA探索数据集的潜在空间。新的点可以通过在潜在空间中逐渐移动来生成，这允许对组件进行解释。首先，在三个数据集上显示了这种特征空间探索的示例，其中一个数据集导致ECG信号的可解释表示。之后，结合使用的工具与新颖性检测，在数据中的新模式周围的潜在空间进行了探索。这有助于解释为什么某些观点被认为是新颖的。
2021-05-28 cs.LG stat.ML
Gradient-Free Learning Based on the Kernel and the Range Space
Yonsei University（延世大学）；Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research（资讯通信研究院）；Beijing Institute of Technology（北京理工大学）
在这篇文章中，我们证明了通过操纵核和范围空间来求解线性方程组等价于求解最小二乘误差逼近问题。当系统可以用线性矩阵方程的形式表示时，这为无梯度学习搜索奠定了基础。当非线性激活函数可逆时，全连接多层前馈神经网络的学习问题可以很容易地适应这种新的学习框架。通过一系列的核和范围空间操作，证明了这样的网络学习归结为求解一组交叉耦合方程。通过随机初始化权重，可以解耦方程，并且网络解决方案对于小到中等维度的真实世界数据集显示出相对良好的学习能力。基于矩阵方程的结构信息，网络表示被发现依赖于数据样本的数量和输出维数。
2018-10-27 cs.LG stat.ML
Interpretable Feature Recommendation for Signal Analytics
Tata Consultancy Services（塔塔咨询服务公司）
本文提出了一种自动化的方法来解决信号数据分析问题的可解释的功能推荐。该方法已被测试，通过在域中的特征的解释被认为是非常重要的数据集上进行实验。所提出的方法是基于广泛的学习体系结构，并提供了建议的功能的解释手段。要注意的是，这样的解释不可用于像深度学习（诸如卷积神经网络）的特征学习方法或像主成分分析的特征变换方法。结果表明，功能推荐和解释技术是非常有效的问题，在性能和大幅减少的时间来开发一个解决方案。通过一个例子进一步展示了这种人在回路中的解释系统如何可以用作规定性系统。
2017-11-06 cs.LG stat.ML
Learning with Algebraic Invariances, and the Invariant Kernel Trick
University College London（伦敦大学学院）；Technische Universität Berlin（柏林工业大学）
在解决数据分析问题时，整合先验知识和/或结构不变性非常重要。本文提出了一个新的框架，将代数不变结构的内核。特别是，我们表明，代数属性，如符号对称性的数据，相位独立，缩放等，可以很容易地包括基本上执行内核技巧两次。我们证明了我们的理论在模拟选定的应用程序，如符号不变的谱聚类和欠定ICA的有用性。
2014-11-28 cs.LG math.ST stat.ML
Sparse Cholesky Factorization for Solving Nonlinear PDEs via Gaussian Processes
针对基于高斯过程的非线性PDE求解中稠密核矩阵计算复杂度高的问题，提出一种近线性复杂度的稀疏Cholesky分解算法，结合Vecchia近似实现快速求解，并在多类非线性PDE上验证了其近线性时空复杂度。
2024-03-09 cs.NA math.NA math.OC
