Manifold Adaptive Multiple Kernel K-Means for Clustering
Shanxi University（山西大学）
基于k-means的多核方法旨在整合一组核来提高核k-means聚类的性能。然而，我们观察到，大多数现有的多核k-means方法利用内核内的非线性关系，而多核空间之间的局部流形结构没有得到充分考虑。在本文中，我们采用流形自适应核，而不是原来的核，集成核的局部流形结构。因此，诱导的多重流形自适应核不仅反映了非线性关系，而且还反映了局部流形结构。然后，我们在多核k-means聚类框架内执行多核聚类。它已被验证，所提出的方法优于几个国家的最先进的基线方法对各种数据集。
2020-09-30 cs.LG stat.ML
MKLpy: a python-based framework for Multiple Kernel Learning
University of Padova（帕多瓦大学）
多核学习是一种从数据中学习核函数的新的强大范例。在本文中，我们介绍了MKLpy，一个基于Python的多核学习框架。该库为分类任务提供了多核学习算法，为不同的数据类型计算核函数的机制，以及评估策略。该库旨在最大限度地提高可用性并简化新解决方案的开发。
2020-07-20 cs.LG stat.ML
Hierarchical-Hyperplane Kernels for Actively Learning Gaussian Process Models of Nonstationary Systems
Bosch Center for Artificial Intelligence（博世人工智能中心）
学习复杂计算机模拟和物理机器的精确代理模型通常需要长期或昂贵的实验。此外，建模的物理依赖性表现出非线性和非平稳的行为。因此，用于产生代理模型的机器学习方法应当通过提供一种方案来解决这些问题，该方案例如通过使用主动学习来保持查询的数量较小，并且能够捕获系统的非线性和非平稳特性。非平稳性建模的一种方法是引入输入划分，这是一个已被证明在高斯过程的主动学习中具有优势的原则。然而，这些方法要么假设已知的分区，需要引入复杂的采样方案，要么依赖于非常简单的几何形状。在这项工作中，我们提出了一个简单但功能强大的内核家族，它包含一个分区：i）通过基于梯度的方法可以学习，ii）使用比以前更灵活的几何形状，同时仍然适用于低数据状态。因此，它为主动学习过程提供了良好的先验。我们在经验上证明了在各种主动学习任务上的出色表现。
2023-03-17 cs.AI cs.LG
Generalization Guarantees for a Binary Classification Framework for Two-Stage Multiple Kernel Learning
IIT Kanpur（印度理工学院坎普尔分校）
我们提出了两阶段多核学习的TS-MKL框架的泛化界。我们还提出了TS-MKL框架内的稀疏核学习公式的界限。
2013-02-02 cs.LG stat.ML
Design and Analysis of Robust Adaptive Filtering with the Hyperbolic Tangent Exponential Kernel M-Estimator Function for Active Noise Control
Department of Electrical Engineering, PUC-Rio（电气工程系，PUC-里约热内卢）
本文提出FXHEKM鲁棒自适应算法，用于脉冲噪声环境下的有源噪声控制，并通过统计分析和数值实验验证其在消除α稳定噪声方面优于竞争算法。
2025-08-18 cs.LG
S-Rocket: Selective Random Convolution Kernels for Time Series Classification
University of Toronto（多伦多大学）；Concordia University（康考迪亚大学）
随机卷积核变换（Rocket）是一种快速、高效、新颖的时间序列特征提取方法，它使用大量独立的随机初始化的不同配置的一维卷积核。每个时间序列的卷积运算的输出由部分正值（PPV）表示。来自所有内核的PPV的级联是岭回归分类器的输入特征向量。与典型的深度学习模型不同，内核没有经过训练，并且在内核或级联特征与分类器之间没有加权/可训练的连接。由于这些内核是随机生成的，因此这些内核的一部分可能对模型的性能没有积极贡献。因此，选择最重要的内核并修剪冗余和不太重要的内核对于降低计算复杂性和加速Rocket在边缘设备上的应用的推理是必要的。这些核的选择是一个组合优化问题。在本文中，我们提出了一个方案，选择这些内核，同时保持分类性能。首先，原始模型是满负荷预训练的。然后，初始化二元候选状态向量的群体，其中向量的每个元素表示内核的活动/非活动状态。基于种群的优化算法对种群进行进化，以找到最佳状态向量，该状态向量最小化活动内核的数量，同时最大化分类器的准确性。该激活函数是活动核的总数和具有活动核的预训练分类器的分类准确度的线性组合。最后，利用最佳状态向量中的所选核来训练具有所选核的岭回归分类器。
2022-09-20 cs.AI cs.LG
Stein Variational Gradient Descent with Multiple Kernel
University of Electronic Science and Technology of China（电子科技大学）；Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Lab（鹏城实验室）
Stein变分梯度下降（SVGD）及其变体在复杂分布的近似推理中表现出很好的成功。在实践中，我们注意到基于SVD的方法中使用的内核对经验性能具有决定性影响。径向基函数（RBF）内核与中值算法是一种常见的选择，在以前的方法，但不幸的是，这已被证明是次优的。受多核学习（MKL）范式的启发，我们对这个缺陷的解决方案是使用多个内核的组合来近似最佳内核，而不是可能限制性能和灵活性的单个内核。具体地说，我们首先扩展核斯坦离散（KSD）的多内核视图称为多核斯坦离散（MKSD），然后利用MKSD构建一个通用的算法多核SVGD（MK-SVGD）。此外，MKSVGD可以自动为每个内核分配权重，而无需任何其他参数，这意味着我们的方法不仅摆脱了最佳内核依赖，而且保持了计算效率。各种任务和模型上的实验表明，我们提出的方法始终匹配或优于竞争方法。
2022-03-23 cs.LG stat.ML
Active Deep Kernel Learning of Molecular Properties: Realizing Dynamic Structural Embeddings
Oak Ridge National Laboratory（橡树岭国家实验室）；Pacific Northwest National Lab（太平洋西北国家实验室）；University of Knoxville（诺克斯维尔大学）
本文提出一种基于 Deep Kernel Learning (DKL) 的主动学习方法，通过动态结构嵌入在 QM9 数据集上直接关联分子结构与性质，揭示关键分子特征及未探索区域，推进分子发现。
2025-07-16 cs.LG physics.chem-ph physics.comp-ph
Deep Weisfeiler-Lehman Assignment Kernels via Multiple Kernel Learning
TU Dortmund University（多特蒙德工业大学）
结构化数据的核通常通过将对象分解为它们的部分并将由基本核测量的所有部分对之间的相似性相加来获得。分配核是基于部分之间的最佳双射，并已被证明是建立卷积核的有效替代方案。我们将探讨如何将基本内核作为分类问题的一部分来学习。我们建立在理论上的有效分配内核来自层次结构上定义的部分。我们表明，这个层次结构的权重可以通过多核学习进行优化。我们应用这个结果来学习顶点相似性的Weisfeiler-Lehman最优分配核图分类。我们提出的第一个实验结果表明，该方法的可行性和有效性。
2019-08-19 cs.LG stat.ML
A Unifying View of Multiple Kernel Learning
University of California, Berkeley（加州大学伯克利分校）
最近对多核学习的研究已经导致了许多在正则化风险最小化中组合核的方法。所提出的方法包括不同的目标公式和不同的正则化策略。在本文中，我们提出了一个统一的通用多核学习的优化标准，并展示了如何将现有的配方作为特殊情况。我们还导出了该准则的对偶表示，它适用于一般的光滑优化算法。最后，我们评估多核学习在这个框架中分析使用拉德马赫复杂度的泛化误差和经验上的一组实验。
2010-05-04 cs.LG stat.ML
SimpleMKKM: Simple Multiple Kernel K-means
National University of Defense Technology（国防科技大学）；Edinburgh University（爱丁堡大学）；Hefei University of Technology（合肥工业大学）
我们提出了一个简单而有效的多核聚类算法，称为简单的多核k-means（SimpleMKKM）。它扩展了广泛使用的监督核对齐标准的多核聚类。我们的标准是由一个棘手的最小化最大化问题的核心系数和聚类划分矩阵。为了优化它，我们重新制定了一个光滑的最小化的问题，这可以有效地解决使用减少梯度下降算法。从理论上分析了SimpleMKKM的聚类泛化误差。在11个基准数据集上的综合实验表明，SimpleMKKM优于最先进的多核聚类替代方案。
2020-05-12 cs.LG stat.ML
Multiple Kernel $k$-Means Clustering by Selecting Representative Kernels
University of Science and Technology of China（中国科学技术大学）
为了对原始特征空间中不可线性分离的数据进行聚类，将$k$ -均值聚类扩展到内核版本。然而，核$k$ -均值聚类的性能在很大程度上取决于核函数的选择。为了缓解这个问题，多核学习已被引入到$k$均值聚类，以获得最佳的内核组合的聚类。尽管多核$k$ -均值聚类算法在各种场景下都取得了成功，但现有的工作很少根据核的多样性来更新组合系数，这导致所选核含有较高的冗余度，从而降低了聚类性能和效率。在本文中，我们提出了一个简单而有效的策略，选择一个不同的子集从预先指定的内核作为代表性的内核，然后将子集选择过程中的多个$k$均值聚类的框架。代表性核可以表示为有效组合权重。由于所得到的目标函数的非凸性，我们开发了一种交替最小化方法来优化所选择的核和集群成员的组合系数交替。我们评估所提出的方法在几个基准和现实世界的数据集。实验结果表明，我们的方法相比，国家的最先进的方法的竞争力。
2018-11-01 cs.LG stat.ML
Optimal Kernel Learning for Gaussian Process Models with High-Dimensional Input
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对高维输入下高斯过程回归计算成本高、精度低的问题，提出基于凸组合核函数和Fedorov-Wynn算法的最优核学习方法，结合效应遗传原则识别活跃变量，提升预测精度并简化系统理解。
2025-02-23 cs.LG stat.ME stat.ML
Efficient Chemical Space Exploration Using Active Learning Based on Marginalized Graph Kernel: an Application for Predicting the Thermodynamic Properties of Alkanes with Molecular Simulation
Shanghai Jiao Tong University（上海交通大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Purdue University（普渡大学）
提出了一种基于高斯过程回归和边缘化图核的探索性主动学习算法（GPR-MGK），以最小代价探索化学空间。采用高通量分子动力学模拟生成数据和图神经网络（GNN）进行预测，构建了一个用于热力学性质预测的主动学习分子模拟框架。具体而言，针对由4至19个碳原子组成的251，728个烷烃分子及其液体物理性质：密度，热容和汽化率，我们使用AL算法选择最具信息性的分子来表示化学空间。计算和实验测试集的验证表明，只有313（总的0.124\%）分子是足够的训练一个准确的GNN模型与$\rm R^2 > 0.99$的计算测试集和$\rm R^2 > 0.94$的实验测试集。我们强调了所提出的AL算法的两个优点：与高通量数据生成和可靠的不确定性量化的兼容性。
2022-09-01 cs.LG physics.chem-ph
A Deep Learning Approach To Multiple Kernel Fusion
Arizona State University（亚利桑那州立大学）；Lawrence Livermore National Labs（劳伦斯利弗莫尔国家实验室）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
核融合是一种流行而有效的方法，用于组合表征数据不同方面的多个特征。传统的多核学习（MKL）方法试图通过复杂的优化过程来学习用于组合内核的参数。在本文中，我们提出了一种替代方法，使用内核相似性为数据创建密集嵌入，并采用深度神经网络架构来融合嵌入。为了提高该网络的有效性，我们引入了核丢弃正则化策略，并使用了一组扩展的组合核。在真实世界的活动识别数据集上的实验结果表明，所提出的架构是有效的融合内核，并达到最先进的性能。
2016-12-28 cs.LG stat.ML
Enhancing Bayesian Optimization and Active Learning Through Kernel Diversity
University of Georgia（佐治亚大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本文提出KENDO框架，将集成高斯过程与分歧感知获取策略结合，实例化KENDO-BO和KENDO-AL，在单/多目标优化及主动学习任务上，兼具更优性能与更高计算效率。
2026-09-01 cs.AI cs.LG
A Geometric Algorithm for Scalable Multiple Kernel Learning
我们提出了一个几何公式的多核学习（MKL）问题。为此，我们重新解释学习核权重的问题，寻找一个核，最大限度地提高两个凸多面体之间的最小（核）距离。这种解释结合新的结构见解，从我们的几何公式，使我们能够减少MKL问题的一个简单的优化程序，产生可证明的收敛性以及质量保证。因此，我们的方法可以有效地扩展到比大多数现有方法可以处理的更大的数据集。对11个数据集的实证评估表明，我们的速度明显更快，甚至可以与统一的未加权内核组合相媲美。
2014-03-15 cs.LG stat.ML
Multiple Operator-valued Kernel Learning
INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE（法国国家信息与自动化研究所）
正定算子值核推广了众所周知的再生核的概念，并且自然地适用于多输出学习的情况。本文讨论了学习无限维算子值核的有限线性组合的问题，这些算子值核适合于将函数数据分析方法扩展到非线性环境。我们研究这个问题的情况下，核岭回归的功能性反应的LR-范数约束的组合系数。由此产生的优化问题比多标量值核学习的问题更复杂，因为算子值核提出了更多的技术和理论问题。我们提出了一个多算子值核学习算法的基础上解决一个系统的线性算子方程组，通过使用块coordinatedescent过程。我们的实验验证我们的方法在脑机接口的手指运动预测的背景下的功能回归任务。
2012-06-14 cs.LG stat.ML
A simple yet efficient algorithm for multiple kernel learning under elastic-net constraints
School of Computer Science and Electronic Engineering（计算机科学与电子工程学院）；University of Essex（埃塞克斯大学）；Colchester, CO4-3SQ, UK（英国科尔切斯特，CO4-3SQ）
本文提出了一种求解核权值受弹性网约束的多核学习问题的算法。该算法在时间和空间复杂度方面与现有方法相比非常有利，并且可以用不依赖于外部库（除了常规SVM求解器）的简单代码来实现。
2019-04-05 cs.LG stat.ML
Multi-Task Multiple Kernel Relationship Learning
Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种新的多任务多内核学习框架，有效地学习内核权重利用多个任务之间的关系。其思想是自动推断对应于给定基本内核的\textit{RKHS}空间中的该任务关系。该问题被公式化为一个正则化的方法称为\textit{Multi-Task Multiple Kernel Relationship Learning}（\textit{MK-MTRL}），该模型的任务关系矩阵的权重从任务特定的基础内核的潜在特征空间学习。与以前的工作不同，所提出的配方允许将先验知识同时学习几个相关的任务。我们提出了一种交替最小化算法来学习模型参数，核权重和任务关系矩阵。为了解决大规模的问题，我们进一步提出了一个两阶段的\textit{MK-MTRL}在线学习算法，并表明它显着减少了计算时间，也达到了性能相媲美的联合学习框架。基准数据集上的实验结果表明，所提出的配方优于几个国家的最先进的多任务学习方法。
2017-03-02 cs.LG stat.ML
$\ell_p$-Norm Multiple Kernel One-Class Fisher Null-Space
Centre for Vision, Speech and Signal Processing（视觉、语音与信号处理中心）；University of Surrey（萨里大学）
本文讨论了单类分类（OCC）的多核学习（MKL）问题。为此，基于Fisher零空间一类分类原理，我们提出了一种多核学习算法，其中考虑了核权重的一般$\ell_p$ -范数约束（$p\geq1$）。我们把建议的一类MKL任务作为一个最小-最大鞍点拉格朗日优化问题，并提出了一种有效的方法来解决它。建议的一类MKL方法的扩展也被认为是几个相关的一类MKL任务的学习，通过限制他们共享共同的内核权重。广泛的评估所提出的方法对一系列的数据集，从不同的应用领域证实了其优点对基线和其他几个算法。
2021-09-25 cs.LG stat.ML
A Binary Classification Framework for Two-Stage Multiple Kernel Learning
University of Maryland（马里兰大学）；NEC Laboratories America（美国电气和电子工程师协会实验室（美国））
随着内核方法的出现，自动化指定合适内核的任务变得越来越重要。在这种情况下，多核学习（MKL）的问题，找到一个组合的预先指定的基本内核，是适合手头的任务已经得到了研究人员的极大关注。在本文中，我们证明了多核学习可以被框架化为一个标准的二进制分类问题，并带有额外的约束，以确保学习的核的正定性。以这种方式构建MKL具有明显的优势，即它可以轻松地利用二进制分类中的广泛研究来开发性能更好，更具可扩展性的MKL算法，这些算法在概念上更简单，并且可以说更容易被从业者访问。来自不同领域的九个数据集上的实验表明，尽管其简单性，所提出的技术相比，目前领先的MKL方法。
2012-06-27 cs.LG stat.ML
Deep Multiple Kernel Learning
University of Pittsburgh（匹兹堡大学）
深度学习方法主要应用于大型人工神经网络。尽管这些大型网络具有最先进的性能，但通常不能很好地推广到样本量有限的数据集。在本文中，我们通过学习多层内核来采取不同的方法。我们在每层组合内核，然后对支持向量机留一误差的估计进行优化，而不是对双目标函数进行优化。我们在各种数据集上的实验表明，每一层都可以连续地提高性能，而只需要几个基本内核。
2013-10-11 cs.LG stat.ML
A Framework and Benchmark for Deep Batch Active Learning for Regression
University of Stuttgart（斯图加特大学）；NEC Laboratories Europe GmbH（NEC欧洲实验室有限公司）
提出深度批量主动学习回归框架，结合草图化神经正切核与聚类方法，在15个数据集基准上超越SOTA且开箱即用。
2023-08-01 cs.LG cs.NE stat.ML
Multiple Kernel Clustering via Local Regression Integration
本文提出多核局部回归聚类方法CMKLR，通过构建并聚合各候选核的局部回归稀疏系数来刻画流形结构并提升鲁棒性，在基准数据集上优于10种现有多核聚类方法。
2024-10-20 cs.LG
Localized Multiple Kernel Learning for Anomaly Detection: One-class Classification
Indian Institute of Technology Indore（印度理工学院印多尔分校）
多核学习在最近的过去已经得到了很好的探索，并且在多类分类和回归任务中表现出了很好的结果。在本文中，我们提出了一个多核学习方法的一类分类（OCC）的任务，并采用它的异常检测。最近，已经提出了基本的多核方法来解决OCC问题，这只是一个凸组合的不同内核具有相同的权重。本文提出了一种基于OCC的局部化多核异常检测学习方法（LMKAD），其中每个核的权重被局部分配。所提出的LMKAD方法使用门控函数来适应每个内核的权重。通过两步优化过程同时优化门函数和单类分类器的参数。我们提出了LMKAD在25个不同学科的基准数据集上的性能的实证结果。针对现有的多核异常检测（MKAD）算法和其他四个现有的基于核的一类分类器来评估这种性能，以展示我们的方法的可信度。我们的算法实现了显着更好的Gmean分数，同时使用更少的支持向量相比，MKAD。Friedman检验也被用来验证本文所述结果的统计显著性。
2018-07-17 cs.LG stat.ML
Multiple Locally Linear Kernel Machines
LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS（LIGM，巴黎高科桥梁学院，古斯塔夫·埃菲尔大学，法国国家科学研究中心）
该研究将多个局部线性分类器组合建模为 ℓ1 MKL 问题，并提出支持流式核的可扩展训练算法，在推理速度与分类精度之间取得平衡。
2024-01-17 cs.LG stat.ML
Self-weighted Multiple Kernel Learning for Graph-based Clustering and Semi-supervised Classification
University of Electronic Science and Technology of China（电子科技大学）；JD AI Research（京东人工智能研究院）
多核学习（MKL）方法通常被认为比单核方法性能更好。然而，一些实证研究表明，这并不总是正确的：多个内核的组合甚至可能产生比使用单个内核更差的性能。失败有两个可能的原因：（i）大多数现有的MKL方法假设最优内核是基本内核的线性组合，这可能不成立;以及（ii）由于噪声和粗心设计的算法，一些内核权重被不适当地分配。在本文中，我们提出了一种新的MKL框架，通过以下两个直观的假设：（i）每个内核是共识内核的扰动;（ii）接近共识内核的内核应该被分配一个大的权重。令人印象深刻的是，所提出的方法可以自动分配一个适当的权重，每个内核，而无需引入额外的参数，现有的方法。该框架被集成到一个统一的框架，基于图的聚类和半监督分类。我们在多个基准数据集上进行了实验，实验结果验证了该框架的优越性。
2018-06-20 cs.AI cs.CV cs.LG
Exploring Large Feature Spaces with Hierarchical Multiple Kernel Learning
INRIA（法国国家信息与自动化研究所）；Laboratoire d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院计算机实验室）；CNRS（法国国家科学研究中心）；ENS（巴黎高等师范学院）
对于监督学习和无监督学习，正定核允许使用大的且可能无限维的特征空间，其计算成本仅取决于观测的数量。这通常是通过欧几里德或希尔伯特范数对预测函数进行惩罚来完成的。在本文中，我们探讨了稀疏诱导范数，如l1-范数或块l1-范数的惩罚。我们假设，内核分解成一个大的总和，可以嵌入在一个有向无环图的个别基础内核，我们表明，它是可以通过一个分层的多内核学习框架，在多项式时间中选择内核的数量进行内核选择。这个框架自然适用于非线性变量选择;我们对合成数据集和UCI存储库数据集的广泛模拟表明，通过稀疏诱导范数有效地探索大特征空间可以带来最先进的预测性能。
2008-09-09 cs.LG stat.ML
Regularization for Multiple Kernel Learning via Sum-Product Networks
在本文中，我们有兴趣在多核学习（MKL）中构造一般的基于图的正则化器，给出了一种用于描述组合基核的方式的结构。在我们的方法中，这种结构由和积网络（SPN）表示。因此，我们提出了一种新的凸正则化方法MLK的基础上的路径依赖的核加权函数编码的整个SPN结构在我们的方法。在一定的条件下，从概率的角度来看，该函数可以被认为在与SPN中的产品节点相关联的权重上遵循多项分布。我们还分析了我们的正则化的凸性和我们的诱导分类器的复杂性，并进一步提出了一个有效的包装算法来优化我们的配方。在我们的实验中，我们将我们的方法应用于......
2014-02-13 cs.LG stat.ML
Active Imitation Learning for Thermal- and Kernel-Aware LFM Inference on 3D S-NUCA Many-Cores
University of Amsterdam, Netherlands（阿姆斯特丹大学）；Southeast University, China（东南大学）；University of Thessaly, Greece（塞萨洛尼基大学）
本文提出AILFM框架，通过主动模仿学习实现热感知调度，考虑核心性能异质性和LFM核行为，提升性能并保障热安全。
2026-04-13 cs.AR cs.LG
Kernel machines with two layers and multiple kernel learning
University of Pavia（帕维亚大学）
本文介绍了两层核机器的结构，推广了经典的核方法。新的学习方法提供了一个正式的多层计算架构和标准正则化方法中的核学习主题之间的联系。首先，给出了两层网络的表示定理，证明了在再生核希尔伯特空间（RKHS）中，当相应的函数求解适当的变分问题时，每层核的有限线性组合都是最优结构.这些架构所表达的输入输出映射被证明是等价于一个合适的单层内核机器，其中内核函数也是从数据中学习的。最近，所谓的多核学习方法在机器学习文献中引起了相当大的关注。在本文中，多核学习方法被证明是两层核机器的具体情况，其中第二层是线性的。最后介绍了一种简单有效的多核学习方法RLS2（regularized least squares with two layers），并分析了它在几个学习问题上的性能。一个开放源码的MATLAB工具箱，训练和验证RLS2模型与图形用户界面是可用的。
2010-01-15 cs.AI cs.LG
Sparse Multiple Kernel Learning with Geometric Convergence Rate
Michigan State University（密歇根州立大学）；GE Global Research（通用电气全球研究中心）
在本文中，我们研究了稀疏多核学习（MKL）的问题，其目标是有效地从一个大的池中学习固定的少量内核的组合，这可能导致具有小预测误差的内核分类器。我们开发了一个有效的算法的贪婪坐标下降算法的基础上，这是能够实现几何收敛速度在适当的条件下。收敛速度是通过测量函数梯度的大小由经验$\ell_2$规范，取决于经验数据分布。这与使用函数范数来测量梯度的大小的先前算法形成对比，所述梯度的大小独立于数据样本。我们还建立了一个泛化误差界的学习稀疏核分类器使用局部Rademacher复杂性的技术。
2013-02-01 cs.LG stat.ML
Bayesian Efficient Multiple Kernel Learning
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；Aalto University School of Science（阿尔托大学理工学院）
多核学习算法被提出来组合核以获得更好的相似性度量或整合来自不同数据源的特征表示。以往对这类方法的研究大多集中在计算效率问题上。然而，由于现有贝叶斯方法的高时间复杂度，使用现有贝叶斯方法组合许多内核仍然是不可行的。我们提出了一个完全共轭贝叶斯公式，并推导出一个确定性的变分近似，这使我们能够非常有效地结合数百或数千个内核。我们简要地解释了如何提出的方法可以扩展到多类学习和半监督学习。在基准数据集上使用大量内核的实验表明，我们的推理方法非常快，需要不到一分钟。在一个生物信息学和三个图像识别数据集上，我们的方法比以前报道的结果具有更好的泛化性能。
2012-06-27 cs.LG stat.ML
DK-GBMKKM: Dynamic Kernel-Space Granular-Ball Multiple Kernel $k$-Means Clustering
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Chongqing Open University（重庆开放大学）
针对多核k均值易受噪声边界样本影响、粒球与融合核几何不匹配的问题，提出DK-GBMKKM，通过核空间动态粒球交替优化提升聚类性能，在12个公开数据集上表现出色且代码开源。
2026-09-02 cs.LG
Large-Margin Multiple Kernel Learning for Discriminative Features Selection and Representation Learning
CITEC cluster of excellence（CITEC卓越集群）；Bielefeld University（比勒费尔德大学）
多核学习（MKL）算法结合不同的基本内核，以获得更有效的表示在特征空间。MKL专注于区分性任务，已成功地用于特征选择和发现数据的重要模态。在这样的应用中，每个基本内核表示数据的一个维度，或者从一个特定的描述符导出。因此，MKL为给定的内核找到一个最佳的加权方案，以提高分类精度。然而，这一领域的大多数工作只关注二进制分类问题，或者针对核空间中的类的线性分离，这对于许多现实问题来说是不现实的假设。在本文中，我们提出了一种新的多类MKL框架，通过增强特征空间中类的局部分离来改进现有技术。此外，通过使用稀疏项，我们的大间隔多核算法（LMMK）执行歧视性的特征选择，旨在采用一个小的子集的基本内核。基于我们对不同真实世界数据集的经验评估，与MKL中最先进的算法相比，LMMK提供了具有竞争力的分类准确性。此外，它还学习了一组稀疏的非零内核权重，这导致了更可解释的特征选择和表示学习。
2019-03-12 cs.LG stat.ML
Neural Path Features and Neural Path Kernel : Understanding the role of gates in deep learning
Indian Institute of Technology Palakkad（帕拉卡德印度理工学院）
整流线性单元（ReLU）激活也可以被认为是“门”，当它们分别为“开”（当预激活输入为正时）或“关”（当预激活输入为负时）时，通过或停止它们的预激活输入。具有ReLU激活的深度神经网络（DNN）有许多门，每个门的开/关状态在输入示例和网络权重之间变化。对于给定的输入示例，仅门的子集是“活动的”，即，并且连接到这些有源门的权重子网络负责产生输出。在随机初始化时，对应于给定输入示例的活动子网络是随机的。在训练过程中，随着权重的学习，主动子网络也会学习，并且可能包含非常有价值的信息。在本文中，我们分析了活跃子网络在深度学习中的作用。为此，我们将给定输入的门的开/关状态编码为一种新的“神经路径特征”（NPF），DNN的权重编码为一种新的“神经路径值”（NPV）。进一步，我们证明了网络的输出确实是NPF和NPV的内积。本文的主要结果表明，与NPF相关的“神经路径核”是表征DNN门中存储的信息的基本量。我们通过实验（在MNIST和CIFAR-10上）表明，在具有ReLU激活的标准DNN中，NPF是在训练过程中学习的，这种学习是泛化的关键。此外，NPF和NPV可以在两个独立的网络中学习，并且这种学习在实验中也具有很好的推广性。
2021-06-12 cs.LG stat.ML
Active Quantum Kernel Acquisition for Gaussian Process Regression
RIKEN iTHEMS（日本理化学研究所iTHEMS）；RIKEN AIP（日本理化学研究所Advanced Institute for Photonics and Electron Devices）；South China University of Technology（华南理工大学）
针对量子核估计的有限预算问题，提出基于下游任务敏感性的非均匀分配策略，通过三种闭合灵敏度公式指导Neyman分配，并加入均匀覆盖下限防止过集中，在UCI基准和量子核上实现10-21%的测试RMSE改进。
2026-07-08 cs.LG
Force-Aware Neural Tangent Kernels for Scalable and Robust Active Learning of MLIPs
InstaDeep；Department of Engineering, University of Cambridge（工程系，剑桥大学）
本文提出一种线性可扩展的主动学习框架，结合力感知神经切线核，有效提升MLIPs在大规模候选池中的鲁棒性和效率，验证了其在多个数据集上的优越性能。
2026-05-15 cs.LG
Non-Sparse Regularization for Multiple Kernel Learning
University of California（加利福尼亚大学）；Technische Universität Berlin（柏林工业大学）；Yahoo! Research（雅虎研究院）；Friedrich Miescher Laboratory（弗里德里希·米歇尔实验室）；Max Planck Society（马克斯·普朗克学会）；LIFE Biosystems GmbH（生命生物系统有限公司）
当特征的正确选择未知时，学习多个核的线性组合是一种有吸引力的策略。以前的多内核学习（MKL）方法促进稀疏内核组合，以支持可解释性和可扩展性。不幸的是，在实际应用中很少观察到这种1-范数MKL优于平凡基线。为了允许鲁棒的内核混合，我们推广MKL任意规范。我们对现有的几种MKL公式之间的联系提出了新的见解，并为任意范数（如p>1的p-范数）开发了两种有效的交错优化策略。根据经验，我们证明，与常用的包装方法相比，交错优化策略要快得多。通过理论分析和人工控制数据实验，验证了稀疏、非稀疏和$\ell_\infty$ -范数MKL在不同情况下的适用性。将p-范数MKL应用于计算生物学的三个现实问题的实验表明，非稀疏MKL实现了超越最先进水平的精度。
2010-10-26 cs.LG stat.ML
A Distributionally Robust Optimization Method for Adversarial Multiple Kernel Learning
Stanford University（斯坦福大学）
我们提出了一种新的数据驱动方法来学习具有随机特征的多个内核的混合物，该混合物对adverserial输入具有一定的鲁棒性。具体来说，我们考虑一个分布鲁棒优化的内核目标对齐相对于分布的训练样本在一个由Kullback-Leibler（KL）分歧定义的分布球。分布鲁棒优化问题可以被改写为一个最小-最大优化，其目标函数包括一个对数和项。我们提出了一种小批量有偏随机原始-对偶近似方法来求解极小极大优化问题。为了消除小批量算法的偏差，我们使用Gumbel扰动技术来估计对数和项。我们建立了理论保证所提出的多核学习方法的性能。特别地，我们证明了经验估计的相合性、渐近正态性、随机等度连续性和极小极大率。此外，基于Rademacher和高斯复杂性的概念，我们建立了比以前已知的边界更严格的分布鲁棒的泛化边界。更具体地说，我们利用矩阵浓度不等式来建立分布鲁棒的泛化边界。我们验证了我们的核学习方法的分类与核支持向量机的合成数据集上产生的采样多变量高斯分布的方差结构。我们还将我们的核学习方法应用于MNIST数据集，并评估其对不同对抗模型下输入图像扰动的鲁棒性。更具体地说，我们研究了所提出的内核模型选择技术对FGSM，PGM，C\&W和DDN对抗扰动的鲁棒性，并将其性能与替代的最先进的多内核学习范例进行比较。
2021-04-13 cs.LG stat.ML
Learning Hierarchical Feature Space Using CLAss-specific Subspace Multiple Kernel -- Metric Learning for Classification
过去十年来，分类的度量学习得到了深入研究。其思想是学习一个度量空间，该度量空间是从赋范向量空间中导出的，在该赋范向量空间上，来自不同类别的数据被很好地分离。因此，不同的分离度量导致度量学习模型中目标函数的各种设计。一个经典的度量是Mahalanobis距离，其中设计线性变换矩阵并将其应用于原始数据集以获得配备有欧几里德范数的新子空间。内核化版本也已经开发出来，随后是多内核学习模型。在本文中，我们认为度量学习是在相应的度量空间中识别关于高类可分性的最佳核函数。贡献是双重的：1）不需要像在大多数度量学习技术中那样的成对计算; 2）使用CLAs特定（多个）核度量学习（CLAS（M）K-ML）来实现更好的灵活性和更低的计算复杂性。所提出的技术可以被认为是任何核方法或核近似技术的预处理步骤。还提出了一个扩展的分层学习结构，以进一步提高分类性能，其中在每一层上，CLASMK计算的基础上选择的“边缘”子集和特征向量的构建，通过连接的功能，从所有以前的层。
2019-10-21 cs.LG stat.ML
Online Learning with Multiple Operator-valued Kernels
Aix-Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
我们考虑在在线学习环境中学习向量值函数f的问题。假设函数f位于算子值核的再生希尔伯特空间中。我们描述了两个在线学习f的算法，同时考虑到输出结构。第一个贡献是一个算法，ONORMA，扩展了标准的基于内核的在线学习算法NORMA从标量值到运算符值的设置。我们报告了一个累积误差界，同时适用于分类和回归。然后，我们定义了第二个算法，MONORMA，它解决了预先定义的输出结构在ONORMA顺序学习算子值内核的线性组合的限制。实验结果表明，本文提出的算法具有较好的性能，且计算量小.
2013-11-05 cs.LG stat.ML
Learning the kernel matrix via predictive low-rank approximations
University of Ljubljana（卢布尔雅那大学）
在大数据时代，多个数据源的有效和准确的低秩近似是必不可少的。基于核的学习算法在大数据集上的扩展受到全核矩阵的O（n^2）计算和存储复杂度的限制，这是大多数最近的核学习算法所要求的。我们提出了Mklaren算法来近似多个核矩阵学习回归模型，这是完全基于几何概念。该算法不需要访问完整的内核矩阵，但它占所有内核之间的相关性。它使用不完全Cholesky分解，其中枢轴选择基于组合低维特征空间中的最小角度回归。该算法具有线性复杂度的数据点和核的数量。当显式特征空间诱导的内核可以构建，从对偶到原始岭回归权重的映射用于模型解释。Mklaren算法在8个标准回归数据集上进行了测试。当使用多个内核进行学习时，它优于当代的内核矩阵近似方法。它可以识别相关的内核，在相同的迭代次数下，比其他多内核学习方法获得最高的解释方差。测试精度，相当于一个使用完整的内核矩阵，实现了在显着较低的近似秩。当样本数或内核数超过3000时，观察到两个数量级的运行时间差异。
2016-05-09 cs.LG stat.ML
Quantum Multiple Kernel Learning
QB Information Technologies (1QBit)（1QB信息技术公司（1QBit））；University of Calgary（卡尔加里大学）；Simon Fraser University（西蒙弗雷泽大学）
核方法在机器学习应用中起着重要的作用，因为它们的概念简单，在许多机器学习任务上性能优越。机器学习模型的表达性，指的是模型近似复杂函数的能力，对它在这些任务中的性能有着显著的影响。一种增强内核机器的表达能力的方法是组合多个单独的内核以获得更具表达力的组合内核。这种方法被称为多核学习（MKL）。在这项工作中，我们提出了一种MKL方法，我们称之为量子MKL，它结合了多个量子内核。我们的方法利用确定性量子计算与一个量子位（DQC 1）的权力，估计一组经典的棘手的个人量子内核的组合内核。组合核估计是在无需显式计算每个单独核的情况下实现的，同时仍然允许调整各个核以实现更好的表达性。我们对两个二进制分类问题的模拟-一个在合成数据集上进行，另一个在德国信用数据集上进行-证明了量子MKL方法优于单量子内核机器。
2020-11-19 cs.LG quant-ph
Supervised Multiple Kernel Learning approaches for multi-omics data integration
CNRS（法国国家科学研究中心）；Université de Toulouse（图卢兹大学）；Institut Pasteur（巴斯德研究所）
本文提出基于多种核融合策略的监督式MKL方法，并结合支持向量机与深度学习架构，证明其在多组学整合预测中可优于复杂的先进方法。
2024-12-03 cs.LG stat.AP stat.ML
Multiple Kernel Learning from Noisy Labels by Stochastic Programming
Michigan State University（密歇根州立大学）；Zhejiang University（浙江大学）；Yahoo Labs!（雅虎实验室）
我们研究了从噪声标签中学习多核的问题。这与以前大多数关于多核学习的研究相反，这些研究主要集中在开发有效的算法并假设完美标记的训练样本。直接将现有的多核学习算法应用于噪声标记的示例通常会由于不正确的类分配而导致次优性能。我们解决这个挑战，铸造多内核学习从嘈杂的标签到一个随机规划问题，并提出了一个极大极小公式。我们开发了一个有效的算法来解决相关的凸-凹优化问题的快速收敛速度$O(1/T)$，其中$T$是迭代次数。UCI数据集上的实证研究验证了所提出的框架的有效性和所提出的优化算法的效率。
2012-06-18 cs.LG
Fast Asymmetric Factorization for Large Scale Multiple Kernel Clustering
College of Computer Science, Sichuan University（四川大学计算机学院）；Institute of Big Data Science and Industry, Shanxi University（山西大学大数据科学与产业研究院）
针对大规模多核聚类面临的内存和时间瓶颈，提出高效多核概念分解（EMKCF），通过构建稀疏核矩阵和扩展正交概念分解，实现内存与时间效率的双重优化，并在基准数据集上验证了其优越性。
2024-05-26 cs.LG
Elastic-Net Multiple Kernel Learning: Combining Multiple Data Sources for Prediction
Centre for Artificial Intelligence, Department of Computer Science, University College London, UK（人工智能中心、计算机科学系、伦敦大学学院、英国）；Hawkes Institute, University College London, UK（霍克斯研究所、伦敦大学学院、英国）；Department of Computer Science, University College London, UK（计算机科学系、伦敦大学学院、英国）；GIGA - CRC Human Imaging, University of Liège, Belgium（GIGA- CRC 人类成像、列日大学、比利时）
本文提出了一种弹性网多核学习方法，通过结合多个数据源进行预测，提升了模型的可解释性和性能。
2025-12-12 cs.LG
Localized Multiple Kernel Learning---A Convex Approach
City University of Hong Kong（香港城市大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Microsoft Research（微软研究院）；Humboldt University of Berlin（柏林洪堡大学）
我们提出了一个本地化的方法来多核学习，可以制定为一个凸优化问题在给定的集群结构。为此，我们获得了泛化误差保证，并推导出一个优化算法的基础上Fenchel对偶表示。在计算生物学和计算机视觉等应用领域的真实数据集上的实验表明，凸局部化多核学习比全局和非凸局部多核学习具有更高的预测精度。
2016-10-13 cs.LG
Neural Generalization of Multiple Kernel Learning
Saarland University（萨尔大学）；Ferdowsi University of Mashhad（马什哈德菲尔多西大学）；Aalto University（阿尔托大学）
该研究将典型多核学习算法解释为线性激活的单层神经网络，提出带非线性激活的多层神经泛化多核学习框架NGMKL，提升了算法复杂度与识别准确率。
2023-05-04 cs.LG
Efficient Output Kernel Learning for Multiple Tasks
Saarland University（萨尔大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
多任务学习的范例是，人们可以通过联合学习任务来实现更好的泛化，从而利用任务之间的相似性，而不是独立学习它们。虽然以前任务之间的关系必须以输出内核的形式由用户定义，但最近的方法联合学习任务和输出内核。由于输出核是一个半正定矩阵，所得到的优化问题是不可扩展的任务的数量，因为在每一步中需要一个特征分解。\mbox{Using}半正定核的理论，我们在本文中表明，对于输出核上的某类正则化，可以放弃半正定的约束，因为它是自动满足放松的问题。这导致了一个无约束的对偶问题，可以有效地解决。多个多任务和多类数据集上的实验说明了我们的方法在计算效率和泛化性能方面的有效性。
2015-11-18 cs.LG stat.ML
A Randomized Mirror Descent Algorithm for Large Scale Multiple Kernel Learning
University of Alberta（阿尔伯塔大学）
我们考虑的问题，同时学习线性组合非常大量的内核，并学习一个很好的预测器的基础上学习内核。当要组合的核$d$的数量非常大时，其计算成本在$d$中线性缩放的多个核学习方法是难以处理的。我们提出了一个随机版本的镜像下降算法，以克服这个问题，目标是最小化组$p$ -范数惩罚经验风险。实现所需的指数加速的关键是低方差梯度估计的计算效率的建设。我们提出了基于重要性采样的估计，并发现理想的分布样本的坐标与相应的梯度的大小成比例的概率。我们展示了令人惊讶的结果，即在学习多项式核的系数的情况下，要组合的基本核的组合结构允许从该分布中采样的实施以$O(\log(d))$时间运行，使得该方法的总计算成本实现$ε$ -最优解为$O(\log(d)/ε^2)$，从而允许我们的方法操作非常大的值$d$。使用模拟和真实数据进行的实验证实，新算法在计算上比最先进的替代方案更有效。
2013-01-07 cs.LG stat.ML
A Note on Improved Loss Bounds for Multiple Kernel Learning
University College London（伦敦大学学院）；Laval University（拉瓦尔大学）
在本文中，我们纠正了一个上限，提出了~ \cite{hs-11}，通过多核学习的分类器的泛化误差。~ \cite{hs-11}中的界使用Rademacher复杂度，并且\emph{additive}依赖于核数的对数和分类器实现的裕度。但证明中也存在部分错误，本文对此进行了修正。不幸的是，最终的结果证明是一个风险界，它具有\emph{multiplicative}依赖于核数的对数和分类器实现的裕度。
2014-05-12 cs.LG
