On Kernel Method-Based Connectionist Models and Supervised Deep Learning Without Backpropagation
University of Florida（佛罗里达大学）
我们提出了一个新的家庭的连接模型的基础上内核机和考虑的问题，学习逐层的组成假设类，即，一个前馈的多层架构，在一个有监督的环境中。在模型方面，我们提出了一个原则性的方法来“内核化”（部分或完全）任何神经网络（NN）。通过这种方法，我们获得了任何给定NN的对应物，该NN由内核机器而不是神经元驱动。在学习方面，当在监督设置中学习前馈深度架构时，需要使用反向传播（BP）同时训练所有组件，因为隐藏层没有明确的目标（Rumelhart86）。我们认为不失一般性的两层的情况下，并提出了一个通用的框架，明确表征的隐藏层的目标是最佳的最小化网络的目标函数。然后，这种特征使得从输入层开始一次学习一层的纯贪婪训练方案成为可能。我们提供了一定的架构和目标函数下的抽象框架的实现。基于这些实现，我们提出了一个逐层训练算法的l层前馈网络的分类，其中l>=2可以是任意的。该算法可以给出一个直观的几何解释，使学习动态透明。实证结果提供补充我们的理论。我们表明，核化的网络，训练层的方式，相比之下，与经典的内核机器，以及其他连接模型训练的BP。我们还可视化了贪婪内核化模型的内部工作原理，以验证我们对逐层算法透明性的声明。
2019-08-22 cs.AI cs.LG stat.ML
Reproducing Kernel Hilbert Space, Mercer's Theorem, Eigenfunctions, Nyström Method, and Use of Kernels in Machine Learning: Tutorial and Survey
University of Waterloo（滑铁卢大学）
这是一篇关于内核、核方法和相关领域的教程和综述论文。我们首先回顾核函数分析和机器学习的历史。然后，Mercer核，Hilbert和Banach空间，再生核Hilbert空间（RKHS），Mercer定理及其证明，常用的核，核构造距离度量，重要的核类别（包括有界，整体正定，泛，平稳，和特征核），核中心化和归一化，和特征函数进行了详细的解释。然后，我们介绍了核在机器学习中的使用类型，包括核方法（如核支持向量机），半定规划核学习，Hilbert-Schmidt独立性准则，最大均值差异，核均值嵌入和核降维。我们还涵盖了核矩阵的秩和因子分解以及使用Nystr{<$}m方法对特征函数和核的近似。这篇论文可以用于各种科学领域，包括机器学习，降维，数学中的泛函分析和量子力学中的数学物理。
2021-06-15 cs.LG math.FA stat.ML
Learning Infinite-Layer Networks: Without the Kernel Trick
University of Princeton（普林斯顿大学）；Tel-Aviv University（特拉维夫大学）
无限层网络（ILN）最近被提出作为一种体系结构，它模仿神经网络，同时享有核方法的一些优点。ILN是在单个隐藏层内集成无限多个节点的网络。几位作者已经证明，学习ILN的问题可以简化为内核技巧，这意味着只要某个积分可以解析计算，它们就可以有效地学习。在这项工作中，我们给出了一个在线算法的ILN，它避免了核技巧假设。更普遍和独立的兴趣，我们表明，在一般情况下，可以利用内核的方法，即使内核不能有效地计算，但只能通过采样估计。我们为我们的算法提供了一个遗憾的分析，表明它匹配的样本复杂性的方法，可以访问内核值。因此，我们的方法是第一个证明内核技巧是不必要的，随机特征足以获得可比的性能。
2017-07-28 cs.LG
Notes on Kernel Methods in Machine Learning
Signal Processing and Recognition Group, Universidad Nacional de Colombia（信号处理与识别组，哥伦比亚国家大学）
本文给出机器学习核方法的自洽入门讲义，从Hilbert空间构建出发讲解核方法核心理论与经典应用，为相关进阶研究主题提供基础。
2025-11-18 cs.LG
An Online Stochastic Kernel Machine for Robust Signal Classification
U.S. Naval Research Laboratory（美国海军研究实验室）
我们提出了一种新的变化的在线内核机，其中我们利用基于共识的优化机制，以指导决策函数的演变从再生核希尔伯特空间，有效地模拟所观察到的平稳过程。
2019-12-16 cs.LG eess.SP stat.ML
Parameterized Quantum Circuits with Quantum Kernels for Machine Learning: A Hybrid Quantum-Classical Approach
IBM（国际商业机器公司）
量子机器学习（QML）是利用量子计算进行计算的机器学习算法。随着经典数据的普遍性和重要性，量子-经典混合方法被称为QML。参数化量子线路（PQC），特别是量子核PQC，通常用于QML的混合方法中。本文讨论了带量子核的PQC的几个重要方面，包括PQC、量子核、具有量子优势的量子核以及量子核的可训练性。我们得出结论，量子核与混合核方法，又名。量子核方法作为QML的混合方法提供了明显的优势。它们不仅适用于有噪声的中间尺度量子（NISQ）设备，还可用于解决所有类型的机器学习问题，包括回归、分类、聚类和降维。此外，除了量子效用之外，如果量子内核，即，量子特征编码是经典的难以处理的。
2022-10-17 cs.LG quant-ph
Layer-wise training of deep networks using kernel similarity
TCS Innovation Labs（TCS创新实验室）
深度学习已经在许多机器学习应用中显示出有希望的结果。由深度网络构建的分层特征表示可以实现数据的紧凑和精确编码。对训练后的深度网络的内核分析表明，使用更深的层，可以获得更简单、更准确的数据表示。在本文中，我们提出了一种用于监督分类任务的深度网络分层训练方法。每层的变换矩阵通过求解旨在更好的表示的优化来获得，其中后续层在由前一层产生的特征的顶部上构建其表示。我们将我们的方法的性能与使用反向传播训练的DNN进行了比较，后者具有与我们相同的架构。在真实图像数据集上的实验结果证明了该方法的有效性。我们还对层表示进行了内核分析，以验证更好的特征编码的说法。
2017-03-21 cs.LG
Do Kernel and Neural Embeddings Help in Training and Generalization?
Chalmers University of Technology（查尔姆斯理工大学）
神经网络的优化和泛化性能的最新研究结果表明，在一个简单的两层网络中，标签与相应的Gram矩阵的特征向量的对齐决定了训练过程中优化的收敛性。这样的分析也提供了上界的泛化误差。我们通过实验研究了这些结果对嵌入更深层次网络的影响。我们认为最后隐藏层之前的层产生输入数据的不同表示，然后将其馈送到两层模型。我们表明，这些表示提高优化和泛化。特别是，我们调查三个内核表示时，馈送到最后的隐藏层：高斯内核和它的近似随机傅立叶特征，内核设计模仿表示产生的神经网络，最后一个最佳内核设计对齐的数据与目标标签。由这些内核引起的近似表示被馈送到神经网络，并对最终模型的优化和泛化性能进行评估和比较。
2023-02-02 cs.AI cs.LG stat.ML
Mean-field Analysis on Two-layer Neural Networks from a Kernel Perspective
the University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文利用双时间尺度极限与核视角分析两层神经网络的平均场动力学，证明其全局收敛及离散误差，并揭示其可学习数据依赖核、优于固定核方法。
2024-04-07 cs.LG stat.ML
Communication-Efficient Parallel Block Minimization for Kernel Machines
University of California, Davis（加州大学戴维斯分校）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
核机器通常在各种任务上产生卓越的预测性能;然而，它们遭受严重的计算挑战。在本文中，我们展示了如何克服加速内核机器的重要挑战。特别是，我们开发了一个并行块最小化框架，用于解决核机器，包括核SVM和核逻辑回归。我们的框架通过形成Hessian矩阵的块对角近似来将问题划分为更小的子问题。然后近似并行地求解子问题。在此之后，通信有效的线搜索过程中开发，以确保在每次迭代的目标函数值的充分减少。我们证明了所提出的方法的全局线性收敛速度与广泛的一类子问题求解器，我们的分析涵盖强凸和一些非强凸函数。我们应用我们的算法来解决分布式系统上的大规模核SVM问题，并显示出显着的改善现有的并行求解器。例如，在具有50万个样本的covtype数据集上，我们的算法可以使用32台机器在20秒内获得96%准确度的近似解，而所有其他并行核SVM求解器需要超过2000秒才能获得95%准确度的解。此外，我们的算法可以扩展到非常大的数据集，例如具有800万个样本和2000万个特征的kdd代数数据集。
2016-08-05 cs.LG
A new trigonometric kernel function for support vector machine
Shiraz University of Technology（设拉子理工大学）；University of Lethbridge（莱斯布里奇大学）
In the last few years, various types of machine learning algorithms, such as Support Vector Machine (SVM), Support Vector Regression (SVR), and Non-negative Matrix Factorization (NMF) have been introduced. The kernel approach is an effective method for increasing the classification accuracy of machine learning algorithms. This paper introduces a family of one-parameter kernel functions for improving the accuracy of SVM classification. The proposed kernel function consists of a trigonometric term and differs from all existing kernel functions. We show this function is a positive definite kernel…
2022-12-15 cs.CV cs.LG cs.NE
On the Consistency of the Bootstrap Approach for Support Vector Machines and Related Kernel Based Methods
University of Bayreuth（拜罗伊特大学）
证明了基于一般凸光滑损失函数和基于一般核函数的支持向量机的自举逼近是一致的。这一结果对于用Bootstrap方法逼近未知的有限样本分布是有用的。
2013-01-29 cs.LG stat.ML
KernelDNA: Dynamic Kernel Sharing via Decoupled Naive Adapters
Institute of Artificial Intelligence and Robotics（人工智能与机器人研究所）
针对现有动态卷积存在参数开销大、推理速度慢、难以联合优化动态注意力与静态核的问题，提出轻量插件KernelDNA，通过解耦的朴素适配器实现跨层动态核共享，在不改变标准卷积结构的前提下取得了动态卷积中最优的精度-效率平衡。
2025-11-16 cs.AI cs.CV cs.LG
Towards automated kernel selection in machine learning systems: A SYCL case study
Codeplay Software Ltd.
计算核的自动调整是一个热门的研究领域，主要集中在为具有固定输入大小的问题找到最佳核参数。这种方法适用于部署机器学习模型，其中网络拓扑是恒定的，但机器学习研究通常涉及改变网络拓扑和超参数。传统的内核自动调整在这种情况下影响有限;库需要更通用的内核选择来加速机器学习研究。在本文中，我们提出了使用机器学习选择内核的案例研究部署高性能SYCL内核库，目标范围从桌面GPU到嵌入式加速器的异构设备的初步结果。调查的技术适用于更普遍的，同样可以与其他异构编程系统集成。通过结合自动调优和机器学习，这些内核选择过程可以在开发人员很少的工作量下部署，从而在新硬件上实现高性能。
2020-03-15 cs.LG cs.PF stat.ML
Stochastic Kernel Regularisation Improves Generalisation in Deep Kernel Machines
University of Bristol（布里斯托大学）
针对卷积深度核机器性能落后于同类架构神经网络的问题，本文提出含随机核正则化的改进方案，使模型在CIFAR-10上测试准确率达94.5%，证明深度核方法也能在复杂视觉任务上取得优异性能。
2024-10-08 cs.LG stat.ML
A Distributed Algorithm for Training Nonlinear Kernel Machines
Microsoft Research（微软研究院）；Microsoft（微软）
本文研究了基于Map-Reduce的非线性核机器的分布式训练问题。我们表明，使用基于梯度的技术解决的基于Nyström近似的解决方案的重新制定非常适合于此，特别是当有必要与大量的基点一起工作时。这种方法的主要优点是：避免计算对应于基点的内核子矩阵的伪逆;计算的分布式部分的简单性和效率;以及，对基点的阶段式添加的友好性。我们在Hadoop上使用AllReduce树实现了该方法，并在一些大型基准数据集上展示了其价值。
2014-05-18 cs.LG
Exploring Kernel Functions in the Softmax Layer for Contextual Word Classification
RWTH Aachen University（亚琛工业大学）
核函数（kernels）主要用于支持向量机和逻辑回归，它可以隐式地将数据点映射到高维空间，使学习复杂的决策边界变得更容易。在这项工作中，通过替换softmax层中的内积函数，我们探索了使用内核进行上下文单词分类。为了比较各个内核，在标准语言建模和机器翻译任务上进行实验。我们在不同的内核设置中观察到广泛的性能。扩展的结果，我们看看梯度属性，调查各种混合策略，并检查消歧能力。
2019-10-28 cs.CL cs.LG stat.ML
Rapid training of deep neural networks without skip connections or normalization layers using Deep Kernel Shaping
DeepMind（深度思维）；Google（谷歌）
使用Poole等人（2016）的Q/C图分析的扩展和形式化版本，以及神经切线核理论，我们确定了深度网络中存在的主要病理，这些病理阻止了它们快速训练和泛化到看不见的数据，并展示了如何通过仔细控制网络初始化时核函数的“形状”来避免这些病理。然后，我们开发了一种称为深度内核整形（DKS）的方法，该方法使用精确的参数初始化，激活函数转换和小的架构调整的组合来实现这一点，所有这些都保留了模型类。在我们的实验中，我们证明了DKS能够在Imagenet和CIFAR-10分类任务上对没有归一化层的残差网络进行SGD训练，其速度与标准ResNetV 2和Wide-ResNet模型相当，而泛化性能只有小幅下降。当使用K-FAC作为优化器时，我们在没有跳过连接的网络中获得了类似的结果。我们的结果适用于各种各样的激活函数，包括那些传统上表现非常差，如logistic sigmoid。除了DKS之外，我们还对跳过连接、规范化层、特殊激活函数（如SELU）以及各种初始化方案进行了详细分析，解释了它们作为“塑造”网络初始化时间内核的替代（最终不完整）方式的有效性。
2021-10-05 cs.AI cs.LG cs.NE
Randomized Kernel Methods for Least-Squares Support Vector Machines
最小二乘支持向量机是一种常用的非线性回归和分类任务的核心方法。本文讨论了最小二乘支持向量机分类器的几种近似算法。所提出的方法是基于随机块核矩阵，我们表明，他们提供了良好的精度和可靠的缩放多类分类问题，相对较大的数据集。此外，我们提出了几个数值实验，说明所提出的方法的实用性。
2017-03-22 cs.LG physics.data-an stat.ML
Conjugate Gradients for Kernel Machines
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
正则化最小二乘（核岭/高斯过程）回归是统计学和机器学习的基本算法。由于精确解的通用算法在数据点的数量上具有立方复杂性，因此大型数据集需要诉诸近似。在这项工作中，最小二乘预测的计算本身被视为一个概率推理问题。我们提出了一个结构化的高斯回归模型的核函数，使用核矩阵的投影，以获得一个低秩近似的内核和矩阵。一个中心的结果是一种增强的方式，使用共轭梯度的方法，如在机器学习中遇到的最小二乘回归的特定设置。我们的方法提高了近似的内核岭回归/高斯过程后验均值香草共轭梯度，并允许计算后验方差和对数边际似然（证据），而无需进一步的开销。
2019-11-14 cs.LG stat.ML
OCKELM+: Kernel Extreme Learning Machine based One-class Classification using Privileged Information (or KOC+: Kernel Ridge Regression or Least Square SVM with zero bias based One-class Classification using Privileged Information)
IIT Indore（印度理工学院印多尔分校）
基于核方法的单类分类器主要用于离群点或新颖性检测。在这封信中，基于核岭回归（KRR）的一类分类器（KOC）已被扩展为使用特权信息的学习（LUPI）。基于LUPI的KOC方法被称为KOC+。此特权信息可作为数据集的一个特征，但仅用于训练（不用于测试）。KOC+通过使用所谓的校正功能，与正常特征信息相比，以不同的方式利用特权信息。隐藏的信息有助于KOC+实现更好的泛化性能，这是在这封信中通过测试分类器与没有特权信息。现有的和建议的分类器进行评估的数据集从UCI机器学习库和MNIST数据集。实验结果表明，KOC+算法优于KOC算法和基于支持向量机（SVM）的单类分类器。
2019-04-13 cs.LG stat.ML
Support vector machines/relevance vector machine for remote sensing classification: A review
NIT Kurukshetra（库鲁克谢特拉国家技术学院）
基于核的机器学习算法基于将数据从原始输入特征空间映射到更高维度的核特征空间，以解决该空间中的线性问题。在过去的十年中，基于核的分类和回归方法，如支持向量机已被广泛用于遥感以及在各种土木工程应用。尽管支持向量机在不同的数据集上有更好的性能，但它仍然存在一些缺点，如模型的可视化/解释、核和核特定参数的选择以及正则化参数。相关向量机是另一种基于核的方法，在过去几年中被探索用于分类和回归。相关向量机优于支持向量机的优点是概率预测的可用性，使用任意核函数并且不需要设置正则化参数。本文介绍了支持向量机和RVM在遥感中的最新进展，并提供了它们在其他土木工程应用中的一些细节。
2011-01-15 cs.CV cs.LG
Universal expressiveness of variational quantum classifiers and quantum kernels for support vector machines
University of British Columbia（不列颠哥伦比亚大学）；Technische Universität Darmstadt（达姆施塔特工业大学）；Stewart Blusson Quantum Matter Institute（斯图尔特·布吕松量子物质研究所）
机器学习被认为是量子计算最有前途的应用之一。因此，寻找具有量子优势的量子机器学习模型是一个重要的研究目标。在这里，我们表明，变分量子分类器和支持向量机与量子内核可以解决分类问题的基础上的$k$ -Forrelation问题，这是已知的PromiseBQP-完成。由于PromiseBQP复杂性类包括所有有界误差量子多项式时间（BQP）决策问题，我们的研究结果意味着存在一个特征映射和一个量子核，使变分量子分类器和量子核支持向量机有效解决任何BQP问题。因此，这项工作意味着它们的特征映射和量子内核可以分别被设计为对于任何分类问题都具有量子优势，这些问题不能在多项式时间内经典地解决，但相反可以通过量子计算机解决。
2023-02-09 cs.LG quant-ph
Importance of Kernel Bandwidth in Quantum Machine Learning
JPMorgan Chase（摩根大通）；Argonne National Laboratory（阿贡国家实验室）
量子核方法被认为是将量子计算机应用于机器学习问题的一个有前途的途径。鉴于超参数在决定经典机器学习方法的性能方面发挥的核心作用，识别控制量子机器学习模型的归纳偏差的超参数预计至关重要。在这项工作中，我们介绍了超参数控制的量子内核的带宽，并表明它控制的表达所产生的模型。我们使用多个量子内核和经典数据集进行了广泛的数值实验，以显示模型行为从欠拟合（带宽太大）到过拟合（带宽太小）的一致变化，以及介于两者之间的最佳泛化。我们绘制了经典和量子内核的带宽之间的连接，并在这两种情况下显示类似的行为。此外，我们表明，优化带宽可以帮助减轻核值随量子比特计数的指数衰减，这是最近观察到量子核方法的性能随量子比特计数下降的原因。我们重现了这些负面结果，并表明如果内核带宽得到优化，性能反而会随着量子比特数的增加而提高，并与最好的经典方法竞争。
2022-09-28 cs.LG quant-ph
Joker: Joint Optimization Framework for Lightweight Kernel Machines
Ohio State University（俄亥俄州立大学）；Google Research（谷歌研究）
提出Joker联合优化框架，结合DBCD-TR与随机特征核近似，在多种核模型上节省高达90%内存，并保持或超越现有方法的性能。
2025-05-23 cs.LG
Construction of 'Support Vector' Machine Feature Spaces via Deformed Weyl-Heisenberg Algebra
Queensland University of Technology（昆士兰科技大学）
本文使用基于变形Weyl-Heisenberg代数的变形相干态，通过一个公共参数将著名的SU（2），Weyl-Heisenberg和SU（1，1）群统一起来。我们表明，变形相干态提供了一个元核函数的理论基础，这是一个内核，反过来定义核函数。核函数推动了机器学习领域的发展，本文提出的元核函数为核函数的定义和探索开辟了新的理论途径。元核函数应用相关联的旋转表面作为用非线性相干态识别的特征空间。一项实证研究比较了变形SU（2）和SU（1，1）核，这些核从元核得到，表现出与径向基核相似的性能，并提供了新的见解（基于变形Weyl-Heisenberg代数）。
2020-06-02 cs.LG quant-ph
Kernelized Classification in Deep Networks
Google Research（谷歌研究院）
我们为深度网络提出了一个内核化的分类层。尽管传统的深度网络在表示（特征）学习中引入了大量的非线性，但它们几乎普遍使用学习特征向量的线性分类器。我们提倡一个非线性分类层，在训练过程中使用softmax交叉熵损失函数，在测试过程中使用评分器函数。然而，内核的选择仍然是一个挑战。为了解决这个问题，我们从理论上证明了优化适用于我们问题设置的所有可能的正定核的可能性。然后，该理论被用于设计一个新的核化分类层，该分类层在深度网络本身内自动学习给定问题的最佳核函数。我们在几个数据集和任务上展示了所提出的非线性分类层的有用性。
2021-03-18 cs.CV cs.LG
Kernelized Support Tensor Train Machines
The University of Hong Kong（香港大学）；Delft University of Technology（代尔夫特理工大学）；Tsinghua University（清华大学）
张量是一种多维数据结构，最近在机器学习社区中得到了利用。传统的机器学习方法是基于向量或矩阵的，并且不能直接处理张量数据。本文首次提出了一种基于张量训练（TT）的核技术，并将其应用于传统的支持向量机（SVM）的图像分类中。具体来说，我们提出了一个核化的支持张量训练机，接受张量输入，并保留固有的内核属性。主要贡献有三方面。首先，我们提出了一个基于TT的特征映射过程，保持TT结构的特征空间。其次，我们展示了两种方法来构造基于TT的核函数，同时考虑与TT内积的一致性和信息的保存。第三，我们表明，它是可以应用不同的核函数对不同的数据模式。原则上，我们的方法张量标准SVM的输入结构和核映射方案。在真实世界的张量数据上进行了大量的实验，证明了该方案在少样本高维输入下的优越性。
2020-01-02 cs.CV cs.LG stat.ML
Quantum Multiple Kernel Learning
QB Information Technologies (1QBit)（1QB信息技术公司（1QBit））；University of Calgary（卡尔加里大学）；Simon Fraser University（西蒙弗雷泽大学）
核方法在机器学习应用中起着重要的作用，因为它们的概念简单，在许多机器学习任务上性能优越。机器学习模型的表达性，指的是模型近似复杂函数的能力，对它在这些任务中的性能有着显著的影响。一种增强内核机器的表达能力的方法是组合多个单独的内核以获得更具表达力的组合内核。这种方法被称为多核学习（MKL）。在这项工作中，我们提出了一种MKL方法，我们称之为量子MKL，它结合了多个量子内核。我们的方法利用确定性量子计算与一个量子位（DQC 1）的权力，估计一组经典的棘手的个人量子内核的组合内核。组合核估计是在无需显式计算每个单独核的情况下实现的，同时仍然允许调整各个核以实现更好的表达性。我们对两个二进制分类问题的模拟-一个在合成数据集上进行，另一个在德国信用数据集上进行-证明了量子MKL方法优于单量子内核机器。
2020-11-19 cs.LG quant-ph
Duality in Multi-View Restricted Kernel Machines
KU Leuven（鲁汶大学）
本文提出统一的原-对偶多视图受限核机器框架，将多种现有方法纳入核主成分分析，证明原对偶等价性，并通过时间序列预测实验验证其有效性。
2023-07-06 cs.LG
Tensor Network-Constrained Kernel Machines as Gaussian Processes
Delft University of Technology（代尔夫特理工大学）
本文证明CPD和TT约束的核机器在独立同分布先验下可恢复高斯过程，并表明TT在相同参数量下比CPD更接近高斯过程行为，从而建立张量网络约束核机器与高斯过程的联系。
2024-03-28 cs.LG stat.ML
An End-to-End Graph Convolutional Kernel Support Vector Machine
School of Computer Science & Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）
提出了一种新的基于核的支持向量机（SVM）的图分类方法。SVM特征空间映射由一系列图卷积层组成，该卷积层为每个顶点生成向量空间表示，然后是一个池化层，该池化层为图生成再生核希尔伯特空间（RKHS）表示。RKHS的使用提供了使用核函数在该空间中隐式操作的能力，而没有显式映射到它的计算复杂性。所提出的模型以监督的端到端的方式进行训练，从而卷积层，核函数和SVM参数相对于正则化分类损失进行联合优化。这种方法不同于现有的基于核的图分类模型，后者使用特征工程或无监督学习来定义核函数。实验结果表明，该模型优于现有的深度学习基线模型在一些数据集上。
2020-08-04 cs.LG stat.ML
CI-RKM: A Class-Informed Approach to Robust Restricted Kernel Machines
Indian Institute of Technology Indore（印度理工学院印多尔分校）
针对限制性核机器（RKMs）在噪声和异常值下性能下降的问题，提出类别感知加权函数增强的CI-RKM，通过动态调整训练点贡献提升鲁棒性，实验表明其分类精度和抗噪性优于现有基线。
2025-04-12 cs.LG
Random Machines: A bagged-weighted support vector model with free kernel choice
Federal University of Bahia（巴伊亚联邦大学）；Federal Institute of Pernambuco（伯南布哥联邦学院）；University of São Paulo（圣保罗大学）
改进统计学习模型以提高解决分类或回归问题的效率仍然是科学界追求的目标。因此，支持向量机模型是最成功和最强大的算法之一。然而，其性能直接取决于核函数及其超参数的选择。实际上，传统的内核选择和调优过程在计算上是昂贵的。在这篇文章中，它提出了一种新的框架来处理核函数选择称为随机机。结果提高了精度，减少了计算时间。数据研究是在模拟数据和超过27个真实基准数据集上进行的。
2019-11-21 cs.LG stat.ML
Machine Learning (ML) library in Linux kernel
IBM
本文提出在Linux内核中引入机器学习库的架构，以解决配置复杂性和性能问题，并通过证明概念项目验证其可行性。
2026-03-02 cs.LG cs.OS
Graph-Embedded Multi-layer Kernel Extreme Learning Machine for One-class Classification or (Graph-Embedded Multi-layer Kernel Ridge Regression for One-class Classification)
Indian Institute of Technology Indore（印度理工学院印多尔分校）
大脑可以通过只使用正常样本来检测异常值。类似地，单类分类（OCC）也仅使用正常样本来训练模型，并且经训练的模型可用于离群值检测。在本文中，OCC的多层架构提出了堆叠各种图形嵌入核岭回归（KRR）为基础的自动编码器在一个层次的方式。这些自动编码器在两种类型的图形嵌入下制定，即基于局部和全局方差的嵌入。这个图形嵌入探索样本和自动编码器的多层之间的关系，将输入特征投影到新的特征空间中。该架构的最后一层是基于图嵌入回归的单类分类器。自动编码器使用无监督学习方法，最后一层使用半监督（仅通过正样本进行训练并获得封闭形式的解决方案）学习方法。该方法在21个公开的基准数据集上进行了实验评估。实验结果验证了所提出的单类分类器的有效性超过11个现有的最先进的基于核的单类分类器。弗里德曼测试也进行了验证的统计显着性的索赔的优越性，建议的一类分类器比现有的国家的最先进的方法。本文利用两种图嵌入方法，提出了4种基于图嵌入多层KRR的单类分类器变体。所有4种变体在本文讨论的各种标准方面都比现有的一类分类器表现得更好。因此，它可以是OCC任务的可行替代方案。在未来，各种其他类型的自动编码器可以在所提出的架构中进行探索。
2019-04-13 cs.LG stat.ML
Multiplierless MP-Kernel Machine For Energy-efficient Edge Devices
Indian Institute of Science（印度科学学院）；Washington University in St. Louis（圣路易斯华盛顿大学）
我们提出了一个新的框架，用于设计无乘法器内核机器，可用于资源受限的平台，如智能边缘设备。该框架使用分段线性（PWL）近似的基础上的边际传播（MP）技术，只使用加/减，移位，比较，寄存器下溢/上溢操作。我们提出了一个硬件友好的MP为基础的推理和在线训练算法，已优化的现场可编程门阵列（FPGA）平台。我们的FPGA实现消除了对DSP单元的需求，并减少了LUT的数量。通过重用相同的硬件进行推理和训练，我们表明该平台可以克服MP近似导致的分类错误和局部最小值伪影。在FPGA上实现这个建议的无乘法器MP内核机器的结果是，估计的能量消耗为13.4 pJ，功耗为107 mW，对于256 x 32大小的内核，每个LUT和FF约为9 k，这使得它在功耗、性能和面积方面优于其他类似的实现。
2022-09-09 cs.AI cs.AR cs.LG
Unsupervised Neighborhood Propagation Kernel Layers for Semi-supervised Node Classification
KU Leuven（鲁汶大学）
本研究提出深度图卷积核机器GCKM用于半监督节点分类，由无监督邻域传播核层与半监督分类核模块构成，设计了对偶域端到端训练方案，在少标签场景下提升了分类性能。
2023-12-15 cs.LG
Variational Quantum Kernels with Task-Specific Quantum Metric Learning
IBM（国际商业机器公司）
量子核方法，即，具有量子核的核方法作为量子机器学习（QML）的混合量子经典方法提供了明显的优势，包括对噪声中间尺度量子（NISQ）设备的适用性和用于解决所有类型的机器学习问题的用途。核方法依赖于高维（可能是无限维）特征空间中点之间的相似性概念。对于机器学习，相似性的概念假设在特征空间中接近的点在机器学习任务空间中应该是接近的。在本文中，我们讨论了使用变分量子内核与特定任务的量子度量学习来生成最佳量子嵌入（a.k.a.量子特征编码），其特定于机器学习任务。这种特定于任务的最优量子嵌入，隐含地支持特征选择，不仅对量子核方法在提高后者的性能方面有价值，而且它们对基于参数化量子线路（PQC）的非核QML方法作为预训练嵌入和迁移学习也有价值。这进一步证明了量子核方法的量子效用和量子优势（具有经典难以处理的量子嵌入）。
2022-11-26 cs.LG quant-ph
Mercer Large-Scale Kernel Machines from Ridge Function Perspective
Faculty of Applied Mathematics, The Gda\'nsk University of Technology, ul. G. Narutowicza 11/12, 80-952 Gda\'nsk, Poland
本文从岭函数视角出发，研究大规模核机的Mercer性质，探讨了通过余弦函数的乘积之和近似核函数的可行性，并分析了该方法的障碍，应用于图像处理中的'一对一'方法。
2026-05-20 cs.LG math.CA
Symmetric and antisymmetric properties of solutions to kernel-based machine learning problems
IMT - School for Advanced Studies（IMT高等研究学院）
具有核的监督学习的一个特别有趣的实例是当每个训练样本与两个对象相关联时，如在成对分类中（Brunner等人，2012），以及偏好关系的监督学习（Herbrich et al.，1998年）。在这些情况下，人们可能希望将额外的先验知识嵌入到与学习机的训练相关联的优化问题中，分别通过其最优解相对于两个对象之间的顺序交换的对称性和其反对称来建模。扩展在（Brunner等人，2012）（其中考虑了唯一的对称情况），我们展示了，专注于支持向量二进制分类，如何通过选择合适的成对内核来实现这种嵌入，该内核将单个特征向量以及与两个对象相关联的组特征向量作为输入。我们还证明了对称/反对称约束仍然成立时，考虑序列的次优解的顺序最小优化（SMO）算法的一个版本产生的，我们提出的数值结果支持的理论研究结果。最后，我们讨论扩展的主要结果，支持向量回归，转导支持向量机，和几种图形内核，包括扩散内核。
2016-10-28 cs.LG
Deep Neural-Kernel Machines
Maastricht University（马斯特里赫特大学）
在本章中，我们回顾了与深度神经内核架构的最新进展相关的主要文献，这种方法寻求两种强大的模型之间的协同作用，即基于内核的模型和人工神经网络。引入的深度神经内核框架由神经网络架构和内核机器的混合组成。更准确地说，对于内核对应的模型是基于最小二乘支持向量机与显式特征映射。在这里，我们讨论使用一种形式的显式特征映射获得的随机傅立叶特征。由于这种显式的特征映射，一方面桥接两种架构变得更加简单，另一方面可以在原始中找到相关优化问题的解决方案，从而使模型可扩展到大规模数据集。我们首先介绍一个神经内核架构，它作为配备不同池化层的更深层模型的核心模块。特别是，我们回顾了三个神经内核机器的平均，最大输出和卷积池层。在平均池化层中，对先前表示层的输出进行平均。maxout层触发不同输入表示之间的竞争，并允许在同一模型中形成多个子网络。卷积池化层降低了多尺度输出表示的维度。与神经核模型、基于核的模型和经典神经网络结构进行了比较，并在多个基准数据集上进行了数值实验，验证了所引入模型的有效性。
2020-07-19 cs.LG stat.ML
A short note on extension theorems and their connection to universal consistency in machine learning
University of Bayreuth（拜罗伊特大学）；Zhejiang Normal University（浙江师范大学）
统计机器学习在现代统计学和计算机科学中占有重要地位。统计机器学习的一个主要目标是提供普遍一致的算法，即，估计器在概率上或在某种更强的意义上收敛于贝叶斯风险或贝叶斯决策函数。基于再生核希尔伯特空间（RKHS）上正则化风险最小化的核方法属于这些统计机器学习方法。一般来说，对于特定的数据集或对于未知的概率测度，哪个内核产生最佳结果是未知的。因此，提出了各种核学习方法来选择核，因此也以数据自适应的方式选择其RKHS。然而，许多从业者经常使用经典的高斯RBF核或某些Sobolev核，并取得了很好的成功。这篇短文的目的是为这一经验事实提供一种可能的理论解释。
2016-04-15 cs.LG stat.ML
Position: Quantum Kernel Machines Should Move Beyond Scalar-Valued Kernels to Realize Their Potential
Aix-Marseille University, CNRS, LIS, Marseille, France（艾克斯-马赛大学，法国国家科学研究中心，LIS实验室，马赛，法国）；Aix-Marseille University, CNRS, I2M, Marseille, France（艾克斯-马赛大学，法国国家科学研究中心，I2M实验室，马赛，法国）；NTT, Inc., Tokyo, Japan（日本NTT公司，东京）
本文主张量子核机器应转向算子值核等更富表达力的框架，以利用纠缠和非交换结构处理复杂结构化预测问题，并通过初步概念验证展示其优势。
2026-05-28 cs.LG quant-ph stat.ML
Compositional optimization of quantum circuits for quantum kernels of support vector machines
University of British Columbia（不列颠哥伦比亚大学）；Stewart Blusson Quantum Matter Institute（斯图尔特·布鲁森量子物质研究所）
虽然量子机器学习（ML）已被认为是量子计算最有前途的应用之一，但如何构建优于经典ML的量子ML模型仍然是一个主要的开放问题。在这里，我们展示了一个贝叶斯算法构建量子内核的支持向量机，适应量子门序列的数据。该算法通过附加以贝叶斯信息准则选择的量子门作为电路选择度量，并对识别出的局部最优量子线路的参数进行贝叶斯优化，从而逐步增加了量子线路的复杂度。我们的目标是为SVM构建量子内核，可以用尽可能少的训练数据解决分类问题。这里考虑的分类问题的量子模型的性能显着超过传统内核的优化经典模型。
2023-03-08 cs.LG quant-ph
Optimizing Kernel Machines using Deep Learning
Arizona State University（亚利桑那州立大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
构建高度非线性和非参数模型是几个最先进的机器学习系统的核心。核方法形成一类重要的技术，其通过从数据构造相似性函数来引入再生核希尔伯特空间（RKHS）以用于推断非线性模型。这些方法在训练数据大小有限的情况下以及当数据相似性的先验知识可用时特别优选。尽管它们很有用，但它们受到计算复杂性的限制，并且无法支持具有特定任务目标的端到端学习。另一方面，深度神经网络已经成为几种学习范式中端到端推理的事实上的解决方案。在本文中，我们探讨了使用深度架构来执行内核机器优化的想法，以提高计算效率和端到端推理。为此，我们开发了DKMO（Deep Kernel Machine Optimization）框架，该框架使用Nystrom内核近似创建密集嵌入的集合，并利用深度学习通过嵌入的融合生成特定于任务的表示。直觉上，网络的滤波器被训练为融合来自RKHS中的线性子空间的集合的信息。此外，我们引入了核丢弃正则化，以提高训练收敛性。最后，我们将此框架扩展到多内核的情况下，通过将全局融合层与每个组成内核的预训练深度内核机器相耦合。使用有限的训练数据的案例研究，并缺乏明确的特征源，我们证明了我们的框架的有效性，传统的模型推理技术。
2017-11-15 cs.LG stat.ML
Laplace Approximation for Bayesian Tensor Network Kernel Machines
Delft Center for Systems and Control（代尔夫特系统与控制中心）；Delft University of Technology（代尔夫特理工大学）
本文提出了一种基于拉普拉斯近似的贝叶斯张量网络核机，用于在张量网络假设下实现原理化的不确定性估计，在UCI回归基准测试中表现优异。
2026-04-29 cs.LG stat.ML
Gaussian Kernel in Quantum Learning
Amity University Uttar Pradesh（阿穆蒂 Uttar Pradesh 大学）；Coventry University（考文垂大学）
高斯核函数是一种非常流行的核函数，在许多机器学习算法中使用，特别是在支持向量机（SVMs）中。当从非线性数据集学习时，它比多项式核更经常使用，并且通常用于制定非线性问题的经典SVM。在[3]中，Rebentrost等人讨论了使用量子多项式内核的最小二乘支持向量机的优雅量子版本，其比经典对应物快指数。本文演示了一个量子版本的高斯核，并分析其运行时的复杂性，使用量子随机存取存储器（QRAM）的背景下，量子SVM。我们的分析表明，运行时的计算复杂性的量子高斯内核似乎是显着更快的相比，其经典版本。
2020-03-12 cs.LG
Transformers are Deep Infinite-Dimensional Non-Mercer Binary Kernel Machines
University of California（加利福尼亚大学）
尽管它们在自然语言处理等核心人工智能领域无处不在，但像Transformer模型这样的基于深度注意力的神经网络的机制尚未完全理解。在这篇文章中，我们提出了一个新的视角来理解Transformers是如何工作的。特别是，我们表明，“点积注意”，这是Transformer的操作的核心，可以被描述为一对Banach空间上的核学习方法。特别地，Transformer的内核被表征为具有无限的特征维度。在此过程中，我们考虑将标准内核学习问题扩展到二进制设置，其中数据来自两个输入域，并且为每个跨域对定义响应。我们证明了一个新的表示定理，这些二进制核机器与非Mercer（不确定的，不对称的）内核（这意味着学习的功能是再生核Banach空间的元素，而不是希尔伯特空间），也证明了一个新的普遍逼近定理，表明Transformer计算可以学习任何二进制非Mercer再生核Banach空间对。我们在Transformers中对新内核进行了实验，并获得了表明标准Transformer内核的无限维度对其性能部分负责的结果。本文的研究结果为现代机器学习中一个非常重要但又知之甚少的模型提供了新的理论认识。
2021-06-02 cs.LG stat.ML
Multi-layer Kernel Ridge Regression for One-class Classification
Indian Institute of Technology Indore（印度理工学院印多尔分校）；Nanyang Technological University（南洋理工大学）；Aarhus University（奥胡斯大学）
在本文中，多层架构（在一个层次的方式）通过堆叠各种核岭回归（KRR）为一类分类的自动编码器，被称为MKOC。MKOC有多层自动编码器将输入特征投影到新的特征空间，最后一层是基于回归的单类分类器。自动编码器使用无监督的学习方法，最后一层使用半监督（仅由正样本训练）的学习方法。建议的MKOC实验评估15个公开的基准数据集。实验结果验证了所提出的方法的有效性超过现有的11个国家的最先进的基于核的一类分类器。弗里德曼测试也进行了验证的统计显着性的索赔的优越性，建议的一类分类器比现有的国家的最先进的方法。
2018-06-01 cs.LG stat.ML
For interpolating kernel machines, minimizing the norm of the ERM solution minimizes stability
Center for Brains, Minds, and Machines, MIT（麻省理工学院脑、心智与机器中心）；McGovern Institute for Brain Research, MIT（麻省理工学院麦戈文脑科学研究所）
研究了核无岭回归模型的平均$\mbox{CV}_{loo}$稳定性，并给出了相应的风险界。我们证明了具有最小范数的插值解最小化了$\mbox{CV}_{loo}$稳定性的界，而这又由经验核矩阵的条件数控制。后者的特点是在渐近制度的维数和基数的数据都走向无穷大。在随机核矩阵的假设下，相应的测试误差应该遵循双下降曲线。
2020-10-11 cs.LG stat.ML
From Deep Additive Kernel Learning to Last-Layer Bayesian Neural Networks via Induced Prior Approximation
Texas A&M University（德克萨斯农工大学）
针对高维GP层导致DKL计算困难的问题，提出结合加性结构与诱导先验近似的DAK模型，自然导出最后一层BNN，并在回归和分类任务上优于现有DKL方法。
2025-02-14 cs.LG stat.ML
Hierarchical Multiple Kernel K-Means Algorithm Based on Sparse Connectivity
针对层次化多核聚类中层间信息交互不足及全连通降低一致性矩阵多样性的问题，提出SCHMKKM算法，通过稀疏率控制分配矩阵实现局部特征融合，并在多数据集上验证其优于FCHMKKM。
2024-10-27 cs.LG
A weighted subspace exponential kernel for support tensor machines
Max Planck Institute for Dynamics of Complex Technical Systems（马克斯·普朗克复杂技术系统动力学研究所）；University of Bath（巴斯大学）；TU Chemnitz（开姆尼茨工业大学）
张量形式的高维数据对于核分类方法是具有挑战性的。为了降低计算复杂度并提取信息特征，已经提出了基于低秩张量分解的核。然而，这些内核利用张量的哪些决定性特征通常是不清楚的。在本文中，我们提出了一种新的内核，是基于塔克分解。对于这个内核的塔克因子计算的基础上重新加权的塔克矩阵与可调功率的奇异值从HOSVD分解。这提供了一种平衡Tucker核心的贡献和数据因子的机制。我们在几个数据集上使用这个新内核对支持张量机器进行了基准测试。首先，我们生成合成数据，其中两个类在Tucker因子或核心方面不同，并比较我们的新内核和以前存在的内核。我们展示了新内核的鲁棒性，这两个分类方案。我们进一步在真实世界的数据集上测试了新方法。所提出的核已被证明比最先进的张量训练多路多级核具有更高的测试精度，并且计算时间显著降低。
2023-02-16 cs.LG stat.ML
