OCKELM+: Kernel Extreme Learning Machine based One-class Classification using Privileged Information (or KOC+: Kernel Ridge Regression or Least Square SVM with zero bias based One-class Classification using Privileged Information)
IIT Indore（印度理工学院印多尔分校）
基于核方法的单类分类器主要用于离群点或新颖性检测。在这封信中，基于核岭回归（KRR）的一类分类器（KOC）已被扩展为使用特权信息的学习（LUPI）。基于LUPI的KOC方法被称为KOC+。此特权信息可作为数据集的一个特征，但仅用于训练（不用于测试）。KOC+通过使用所谓的校正功能，与正常特征信息相比，以不同的方式利用特权信息。隐藏的信息有助于KOC+实现更好的泛化性能，这是在这封信中通过测试分类器与没有特权信息。现有的和建议的分类器进行评估的数据集从UCI机器学习库和MNIST数据集。实验结果表明，KOC+算法优于KOC算法和基于支持向量机（SVM）的单类分类器。
2019-04-13 cs.LG stat.ML
Reproducing Kernel Hilbert Space, Mercer's Theorem, Eigenfunctions, Nyström Method, and Use of Kernels in Machine Learning: Tutorial and Survey
University of Waterloo（滑铁卢大学）
这是一篇关于内核、核方法和相关领域的教程和综述论文。我们首先回顾核函数分析和机器学习的历史。然后，Mercer核，Hilbert和Banach空间，再生核Hilbert空间（RKHS），Mercer定理及其证明，常用的核，核构造距离度量，重要的核类别（包括有界，整体正定，泛，平稳，和特征核），核中心化和归一化，和特征函数进行了详细的解释。然后，我们介绍了核在机器学习中的使用类型，包括核方法（如核支持向量机），半定规划核学习，Hilbert-Schmidt独立性准则，最大均值差异，核均值嵌入和核降维。我们还涵盖了核矩阵的秩和因子分解以及使用Nystr{<$}m方法对特征函数和核的近似。这篇论文可以用于各种科学领域，包括机器学习，降维，数学中的泛函分析和量子力学中的数学物理。
2021-06-15 cs.LG math.FA stat.ML
Tensor Network-Constrained Kernel Machines as Gaussian Processes
Delft University of Technology（代尔夫特理工大学）
本文证明CPD和TT约束的核机器在独立同分布先验下可恢复高斯过程，并表明TT在相同参数量下比CPD更接近高斯过程行为，从而建立张量网络约束核机器与高斯过程的联系。
2024-03-28 cs.LG stat.ML
Sliced Wasserstein Kernels for Probability Distributions
Carnegie Mellon University（卡内基梅隆大学）
最佳传输距离，也称为Wasserstein距离，最近在计算机视觉和机器学习中引起了足够的关注，作为概率分布的强大差异度量。最近的发展替代配方的最佳运输允许更快的解决方案的问题，并已修改其在机器学习的实际应用。在本文中，我们利用广泛使用的内核方法，并提供了一个家庭的可证明正定核的基础上切片Wasserstein距离，并证明了这些内核在各种学习任务的好处。我们的工作提供了一个新的视角，通过核方法在机器学习任务中的最佳运输味距离的应用。
2015-11-10 cs.LG stat.ML
An End-to-End Graph Convolutional Kernel Support Vector Machine
School of Computer Science & Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）
提出了一种新的基于核的支持向量机（SVM）的图分类方法。SVM特征空间映射由一系列图卷积层组成，该卷积层为每个顶点生成向量空间表示，然后是一个池化层，该池化层为图生成再生核希尔伯特空间（RKHS）表示。RKHS的使用提供了使用核函数在该空间中隐式操作的能力，而没有显式映射到它的计算复杂性。所提出的模型以监督的端到端的方式进行训练，从而卷积层，核函数和SVM参数相对于正则化分类损失进行联合优化。这种方法不同于现有的基于核的图分类模型，后者使用特征工程或无监督学习来定义核函数。实验结果表明，该模型优于现有的深度学习基线模型在一些数据集上。
2020-08-04 cs.LG stat.ML
D2KE: From Distance to Kernel and Embedding
IBM Research（IBM研究院）；Carnegie Mellon University（卡内基梅隆大学）；College of William and Mary（威廉与玛丽学院）
对于许多机器学习问题设置，特别是对于诸如对象序列或对象集合之类的结构化输入，可以比特征表示更自然地指定输入之间的距离度量。然而，大多数标准的机器模型都是为具有向量特征表示的输入而设计的。在这项工作中，我们认为估计的功能$f:\mathcal{X} \rightarrow \R$完全基于输入之间的相异性测量$d:\mathcal{X}\times\mathcal{X} \rightarrow \R$。特别是，我们提出了一个一般的框架，从一个给定的相异性措施，其中包括广泛使用的\emph{representative-set method}作为一个特殊的情况下，并涉及到众所周知的\emph{distance substitution kernel}在一个限制的情况下，家庭的\emph{positive definite kernels}。我们证明了相应的再生核Hilbert空间（RKHS）中的函数是Lipschitz连续的w.r.t.给定的距离度量。我们提供了一个易于处理的算法来估计这个RKHS函数，并表明它享有更好的推广比最近邻估计。我们的方法借鉴了随机特征的文献，但不是从现有的内核中导出特征映射，而是从随机特征映射中构建新的内核，我们指定给定的距离度量。我们进行分类实验，如字符串，时间序列和向量集，我们提出的框架相比，有利的是现有的基于距离的学习方法，如$k$ -最近邻，距离替代内…
2018-05-25 cs.LG stat.ML
Deep Neural-Kernel Machines
Maastricht University（马斯特里赫特大学）
在本章中，我们回顾了与深度神经内核架构的最新进展相关的主要文献，这种方法寻求两种强大的模型之间的协同作用，即基于内核的模型和人工神经网络。引入的深度神经内核框架由神经网络架构和内核机器的混合组成。更准确地说，对于内核对应的模型是基于最小二乘支持向量机与显式特征映射。在这里，我们讨论使用一种形式的显式特征映射获得的随机傅立叶特征。由于这种显式的特征映射，一方面桥接两种架构变得更加简单，另一方面可以在原始中找到相关优化问题的解决方案，从而使模型可扩展到大规模数据集。我们首先介绍一个神经内核架构，它作为配备不同池化层的更深层模型的核心模块。特别是，我们回顾了三个神经内核机器的平均，最大输出和卷积池层。在平均池化层中，对先前表示层的输出进行平均。maxout层触发不同输入表示之间的竞争，并允许在同一模型中形成多个子网络。卷积池化层降低了多尺度输出表示的维度。与神经核模型、基于核的模型和经典神经网络结构进行了比较，并在多个基准数据集上进行了数值实验，验证了所引入模型的有效性。
2020-07-19 cs.LG stat.ML
An Online Stochastic Kernel Machine for Robust Signal Classification
U.S. Naval Research Laboratory（美国海军研究实验室）
我们提出了一种新的变化的在线内核机，其中我们利用基于共识的优化机制，以指导决策函数的演变从再生核希尔伯特空间，有效地模拟所观察到的平稳过程。
2019-12-16 cs.LG eess.SP stat.ML
A short note on extension theorems and their connection to universal consistency in machine learning
University of Bayreuth（拜罗伊特大学）；Zhejiang Normal University（浙江师范大学）
统计机器学习在现代统计学和计算机科学中占有重要地位。统计机器学习的一个主要目标是提供普遍一致的算法，即，估计器在概率上或在某种更强的意义上收敛于贝叶斯风险或贝叶斯决策函数。基于再生核希尔伯特空间（RKHS）上正则化风险最小化的核方法属于这些统计机器学习方法。一般来说，对于特定的数据集或对于未知的概率测度，哪个内核产生最佳结果是未知的。因此，提出了各种核学习方法来选择核，因此也以数据自适应的方式选择其RKHS。然而，许多从业者经常使用经典的高斯RBF核或某些Sobolev核，并取得了很好的成功。这篇短文的目的是为这一经验事实提供一种可能的理论解释。
2016-04-15 cs.LG stat.ML
Optimizing Kernel Machines using Deep Learning
Arizona State University（亚利桑那州立大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
构建高度非线性和非参数模型是几个最先进的机器学习系统的核心。核方法形成一类重要的技术，其通过从数据构造相似性函数来引入再生核希尔伯特空间（RKHS）以用于推断非线性模型。这些方法在训练数据大小有限的情况下以及当数据相似性的先验知识可用时特别优选。尽管它们很有用，但它们受到计算复杂性的限制，并且无法支持具有特定任务目标的端到端学习。另一方面，深度神经网络已经成为几种学习范式中端到端推理的事实上的解决方案。在本文中，我们探讨了使用深度架构来执行内核机器优化的想法，以提高计算效率和端到端推理。为此，我们开发了DKMO（Deep Kernel Machine Optimization）框架，该框架使用Nystrom内核近似创建密集嵌入的集合，并利用深度学习通过嵌入的融合生成特定于任务的表示。直觉上，网络的滤波器被训练为融合来自RKHS中的线性子空间的集合的信息。此外，我们引入了核丢弃正则化，以提高训练收敛性。最后，我们将此框架扩展到多内核的情况下，通过将全局融合层与每个组成内核的预训练深度内核机器相耦合。使用有限的训练数据的案例研究，并缺乏明确的特征源，我们证明了我们的框架的有效性，传统的模型推理技术。
2017-11-15 cs.LG stat.ML
Transformers are Deep Infinite-Dimensional Non-Mercer Binary Kernel Machines
University of California（加利福尼亚大学）
尽管它们在自然语言处理等核心人工智能领域无处不在，但像Transformer模型这样的基于深度注意力的神经网络的机制尚未完全理解。在这篇文章中，我们提出了一个新的视角来理解Transformers是如何工作的。特别是，我们表明，“点积注意”，这是Transformer的操作的核心，可以被描述为一对Banach空间上的核学习方法。特别地，Transformer的内核被表征为具有无限的特征维度。在此过程中，我们考虑将标准内核学习问题扩展到二进制设置，其中数据来自两个输入域，并且为每个跨域对定义响应。我们证明了一个新的表示定理，这些二进制核机器与非Mercer（不确定的，不对称的）内核（这意味着学习的功能是再生核Banach空间的元素，而不是希尔伯特空间），也证明了一个新的普遍逼近定理，表明Transformer计算可以学习任何二进制非Mercer再生核Banach空间对。我们在Transformers中对新内核进行了实验，并获得了表明标准Transformer内核的无限维度对其性能部分负责的结果。本文的研究结果为现代机器学习中一个非常重要但又知之甚少的模型提供了新的理论认识。
2021-06-02 cs.LG stat.ML
Kernel Trace Distance: Quantum Statistical Metric between Measures through RKHS Density Operators
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI、巴黎电信学院、巴黎理工学院）；CREST, ENSAE, Institut Polytechnique de Paris（CREST、ENSAE、巴黎理工学院）
本文提出一种基于核协方差算子Schatten范数的测度间距离，介于MMD与Wasserstein距离之间，更具判别性和鲁棒性，并给出高效算法，应用于鲁棒近似贝叶斯计算与粒子流模拟。
2025-07-08 cs.LG stat.ML
For interpolating kernel machines, minimizing the norm of the ERM solution minimizes stability
Center for Brains, Minds, and Machines, MIT（麻省理工学院脑、心智与机器中心）；McGovern Institute for Brain Research, MIT（麻省理工学院麦戈文脑科学研究所）
研究了核无岭回归模型的平均$\mbox{CV}_{loo}$稳定性，并给出了相应的风险界。我们证明了具有最小范数的插值解最小化了$\mbox{CV}_{loo}$稳定性的界，而这又由经验核矩阵的条件数控制。后者的特点是在渐近制度的维数和基数的数据都走向无穷大。在随机核矩阵的假设下，相应的测试误差应该遵循双下降曲线。
2020-10-11 cs.LG stat.ML
Toward Large Kernel Models
UC San Diego（加州大学圣地亚哥分校）
本文提出EigenPro 3.0算法，基于投影对偶预条件SGD，解耦核机器模型与数据大小，实现大规模通用核模型的训练，突破现有核方法在模型和数据规模上的限制。
2023-06-20 cs.LG stat.ML
Generative Restricted Kernel Machines: A Framework for Multi-view Generation and Disentangled Feature Learning
KU Leuven（鲁汶大学）
本文介绍了一种新的框架，生成模型的基础上限制核机器（RKM）与联合多视图生成和不相关的特征学习，称为Gen-RKM。为了实现联合多视图生成，该机制使用来自各种视图的数据的共享表示。此外，该模型具有原始和对偶公式，以将基于内核的模型和基于（深度卷积）神经网络的模型合并在同一设置中。当使用神经网络作为显式特征映射时，提出了一种新的训练过程，该过程联合学习特征和共享子空间表示。隐变量由核矩阵的特征分解给出，其中特征向量的相互正交性表示所学习的不相关特征。实验表明，通过对各种标准数据集上生成的样本进行定性和定量评估，该框架具有潜力。
2020-12-17 cs.LG stat.ML
Multiple Locally Linear Kernel Machines
LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS（LIGM，巴黎高科桥梁学院，古斯塔夫·埃菲尔大学，法国国家科学研究中心）
该研究将多个局部线性分类器组合建模为 ℓ1 MKL 问题，并提出支持流式核的可扩展训练算法，在推理速度与分类精度之间取得平衡。
2024-01-17 cs.LG stat.ML
Towards a Unified Quadrature Framework for Large-Scale Kernel Machines
KU Leuven（鲁汶大学）；Shanghai Jiao Tong University（上海交通大学）；Cornell University（康奈尔大学）
在本文中，我们开发了一个正交框架的大规模内核机通过数值积分表示。考虑到典型核的积分域和测度，例如，高斯核，反余弦核，是完全对称的，我们利用确定性的完全对称插值规则，有效地计算正交节点和相关的权重核近似。所开发的插值规则能够减少所需的节点数，同时保持较高的近似精度。进一步，我们利用经典的Monte-Carlo抽样和控制变量技术对上述确定性规则进行随机化，具有两个优点：1）提出的随机规则使得特征映射的维数灵活变化，从而可以通过调节维数来控制原始核与近似核之间的差异。2)我们的随机规则具有良好的统计特性，无偏性和方差减少，收敛速度快。此外，我们阐明了我们的确定性/随机插值规则和当前的核近似求积规则之间的关系，包括稀疏网格求积和随机球径向规则，从而统一这些方法在我们的框架下。在几个基准数据集上的实验结果表明，我们的方法与其他代表性的基于核近似的方法相比毫不逊色。
2021-06-10 cs.LG stat.ML
Kernel machines that adapt to GPUs for effective large batch training
Ohio State University（俄亥俄州立大学）
现代机器学习模型通常使用随机梯度下降（SGD）在诸如GPU的大规模并行计算资源上进行训练。增加小批量是利用并行计算能力的一种简单而直接的方法。对于小批量，批量大小的增加会导致训练时间的成比例减少，这种现象称为线性缩放。但是，将批大小增加到超过某个值不会进一步改善训练时间。在本文中，我们开发的第一个分析框架，扩展线性缩放，以匹配并行计算能力的资源。该框架是为一类经典的内核机器设计的。它自动修改标准内核机器以输出数学上等效的预测函数，但允许扩展的线性缩放，即，在给定硬件上实现更高效的并行化和更快的训练时间。由此产生的算法是准确的，原则性和非常快。例如，使用单个Titan Xp GPU，在ImageNet上使用$1.3\times 10^6$数据点和$1000$标签进行训练需要不到一个小时，而较小的数据集（如MNIST）需要几秒钟。由于参数是基于理论界解析地选择的，因此除了选择核和核参数之外，几乎不需要调整，进一步促进了这些方法的实际使用。
2019-03-03 cs.LG stat.ML
Geometric Interpretation of Running Nyström-Based Kernel Machines and Error Analysis
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）；Department of Radiology and BRIC, University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校放射科与生物医学研究成像中心）
最近，Nyström方法已经在经验和理论上证明了其在加快内核机器训练的同时保持令人满意的性能和准确性方面的突出性。到目前为止，有几种不同的方法被提出来利用Nyström方法来扩展内核机器。然而，没有对这些方法进行比较研究，并且针对特定类型的内核机器对它们进行了单独分析。因此，当它扩展到其他内核机器时，哪种方法的哲学更有前途仍然是一个问题。在这项工作中，Gram矩阵的列包含属性的激励下，我们开发了一种新的方法，具有清晰的几何解释运行基于Nyström的内核机器。我们表明，其他两个良好的研究方法可以等价地转化为我们提出的一个。因此，为拟议的方法建立的分析也适用于这两个。特别是，我们提出的方法使得有可能在一般情况下开发近似误差。此外，我们的分析还揭示了上述两种方法与另一种朴素方法之间的关系。首先，相应近似解的解析形式仅与一项不一致。第二，朴素方法可以通过与其他人共享相同的训练过程来有效地实现。这些分析结果导致的猜想，天真的方法可以提供更准确的近似解比其他两个复杂的方法。由于我们的分析也提供了计算这些近似解的准确性的方法，我们运行分类任务的实验来证实我们的猜想。
2021-09-18 cs.LG stat.ML
Sparse Least Squares Low Rank Kernel Machines
The University of Sydney（悉尼大学）；University of Reading（雷丁大学）
提出了一种低秩核最小二乘支持向量机（LR-LSSVM）的一般框架。具有受控模型大小的低秩核的特殊结构为所提出的模型带来了稀疏性和计算效率。同时，提出了一种两步优化算法与三种不同的标准，并进行了各种实验，使用所谓的鲁棒RBF核的例子来验证模型。实验结果表明，该算法的性能与现有的几种核机器相当或更好。
2019-10-18 cs.AI cs.LG stat.ML
Reduced-Set Kernel Principal Components Analysis for Improving the Training and Execution Speed of Kernel Machines
Georgia Institute of Technology（佐治亚理工学院）
本文提出了一种实用的，理论上有充分依据的方法，以提高依赖于谱分解的核流形学习算法的速度。利用最近在核平滑和积分算子学习方面的见解，我们提出了缩减集KPCA（RSKPCA），它还提出了一种易于实现的方法来删除或替换样本，对经验算子的影响最小。给出了一个简单的数据点选择过程来生成数据的替代密度，其精度由用户可调参数决定。近似对KPCA解的质量的影响，在谱和算子误差方面，可以直接在密度估计误差方面和作为参数的函数示出。我们在实验中表明，RSKPCA可以提高KPCA的训练和评估时间高达一个数量级，并与广泛使用的Nystrom和密度加权Nystrom方法相比。
2015-07-26 cs.LG stat.ML
Randomized Kernel Methods for Least-Squares Support Vector Machines
最小二乘支持向量机是一种常用的非线性回归和分类任务的核心方法。本文讨论了最小二乘支持向量机分类器的几种近似算法。所提出的方法是基于随机块核矩阵，我们表明，他们提供了良好的精度和可靠的缩放多类分类问题，相对较大的数据集。此外，我们提出了几个数值实验，说明所提出的方法的实用性。
2017-03-22 cs.LG physics.data-an stat.ML
A General Kernel Framework for Non-CND Distance Measures Using |D|-Dimensional Sparse Landmark Embeddings
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
针对核方法需CND距离的限制，提出稀疏地标嵌入核，通过紧支撑凸包嵌入任意距离为PSD核，理论保证并实验超越基线。
2026-10-21 cs.LG math.PR stat.ML
Position: Quantum Kernel Machines Should Move Beyond Scalar-Valued Kernels to Realize Their Potential
Aix-Marseille University, CNRS, LIS, Marseille, France（艾克斯-马赛大学，法国国家科学研究中心，LIS实验室，马赛，法国）；Aix-Marseille University, CNRS, I2M, Marseille, France（艾克斯-马赛大学，法国国家科学研究中心，I2M实验室，马赛，法国）；NTT, Inc., Tokyo, Japan（日本NTT公司，东京）
本文主张量子核机器应转向算子值核等更富表达力的框架，以利用纠缠和非交换结构处理复杂结构化预测问题，并通过初步概念验证展示其优势。
2026-05-28 cs.LG quant-ph stat.ML
Every Model Learned by Gradient Descent Is Approximately a Kernel Machine
University of Washington（华盛顿大学）
深度学习的成功通常归因于它能够自动发现数据的新表示，而不是像其他学习方法那样依赖手工制作的功能。然而，我们发现，通过标准梯度下降算法学习的深度网络实际上在数学上近似等同于核机器，核机器是一种简单地记忆数据并通过相似性函数（核）直接将其用于预测的学习方法。这极大地增强了深度网络权重的可解释性，通过阐明它们实际上是训练样本的叠加。网络架构将目标函数的知识并入内核中。这种改进的理解应该会导致更好的学习算法。
2020-11-30 cs.LG cs.NE stat.ML
Positive Definite Kernels in Machine Learning
本综述介绍了正定核以及它们在机器学习文献中启发的一组方法，即核方法。我们首先讨论了正定核的一些性质以及再生核希尔伯特空间，自然扩展的功能集$\{k(x,\cdot),x\in\mathcal{X}\}$与核$k$定义在空间$\mathcal{X}$。我们将详细讨论利用著名的统计模型构建核函数。我们提供了许多数据分析方法的概述，这些方法利用再生核希尔伯特空间，并讨论了结合几个内核来提高某些任务的性能的想法。我们还提供了不同内核的简短食谱，这些内核对某些数据类型特别有用，例如图像，图形或语音片段。
2009-12-04 stat.ML
Classifying Network Data with Deep Kernel Machines
受网络数据分析兴趣日益增长的启发，我们研究了图上的节点分类问题，重点研究了基于核机器的方法。传统上，核机器是隐式特征空间中的线性分类器。我们认为，通常用于图的内核的特征空间中的线性分类往往不足以产生良好的结果。在这种情况下，人们自然会考虑特征空间中的非线性分类器。我们表明，重复这个过程产生的东西，我们称之为“深内核机器。“我们提供了一些例子，深度内核机器可以在分类性能上产生很大的差异，并指出了与人工智能和机器学习中深度架构的各种最新文献的一些联系。
2010-01-22 stat.ME stat.ML
A compressive multi-kernel method for privacy-preserving machine learning
Princeton University（普林斯顿大学）；University of South Florida（南佛罗里达大学）
随着分析工具变得越来越强大，每天产生的数据越来越多，数据隐私问题也随之出现。这导致了隐私保护机器学习算法的设计研究。给定两个目标，即效用最大化和隐私损失最小化，这项工作是基于两个以前不相交的制度-压缩隐私和多核方法。Compressive Privacy是一种隐私框架，它采用效用保持的有损编码方案来保护数据的隐私，而多核方法是一种基于内核的机器学习机制，它探索了使用多个内核来构建更好的预测器的想法。提出的压缩多核方法包括两个阶段-压缩阶段和多核阶段。压缩阶段遵循压缩隐私范例以提供期望的隐私保护。每个核矩阵压缩与有损投影矩阵从判别分量分析（DCA）。多核阶段使用每个核的信噪比（SNR）分数来非均匀地组合多个压缩核。该方法在两个移动传感数据集- MHEALTH和HAR -上进行了评估，其中活动识别被定义为实用程序，人员识别被定义为隐私。实验结果表明，该压缩机制在隐私保护方面是成功的，在所有实验中隐私分类精度几乎都处于随机猜测水平。另一方面，新的基于SNR的多核显示出实用分类精度的提高，在两个数据集的最新技术。这些结果为隐私保护机器学习的研究指明了一个很有前途的方向。
2021-06-20 cs.CR cs.LG stat.ML
Spectral Truncation Kernels: Noncommutativity in $C^*$-algebraic Kernel Machines
NTT, Inc.（NTT公司）；Center for Advanced Intelligence Project, RIKEN（RIKEN高级智能项目）；Graduate School of Mathematical Sciences, The University of Tokyo（东京大学数学科学研究生院）；Graduate School of Information Science and Technology, The university of Osaka（大阪大学信息科学与技术研究生院）；Department of Computer Science, Aix-Marseille University, CNRS, LIS（阿维尼昂-马赛大学计算机科学系，CNRS，LIS）
提出基于谱截断和C*-代数的谱截断核，通过允许非交换乘积实现函数域上的交互，填补了可分离核与交换核之间的空白，并降低了计算成本。
2026-06-08 cs.LG math.OA stat.ML
Statistical Translation, Heat Kernels and Expected Distances
Purdue University（普渡大学）
在统计建模中，高维结构化数据（如文本和图像）通常理解不好，并且被错误地表示。标准直方图表示具有高方差并且通常表现不佳。我们探索统计翻译，流形和图形上的热核和预期距离之间的新联系。这些连接为文本文档的无监督度量学习提供了一个新的框架。实验表明，由此产生的距离通常优于其更标准的同行。
2012-06-20 cs.CV cs.IR cs.LG
Random Machines Regression Approach: an ensemble support vector regression model with free kernel choice
Federal University of Bahia（巴伊亚联邦大学）；Federal Institute of Pernambuco（伯南布哥联邦学院）；University of São Paulo（圣保罗大学）
机器学习技术总是以减少广义预测误差为目标。为了减少它，集成方法提出了一个很好的方法，结合几个模型，结果在一个更大的预测能力。随机机已经被证明是一种强大的技术，即：高预测能力，分类任务，在这篇文章中，我们提出了一个过程，使用袋加权支持向量模型回归问题。仿真研究是在人工数据集和真实数据基准上实现的。结果表明，回归随机机具有较低的泛化误差，在调整过程中无需选择最佳的核函数，具有良好的性能。
2020-03-27 cs.LG stat.AP stat.ML
Feature Elimination in Kernel Machines in moderately high dimensions
我们开发了一种核机器统计学习中的特征消除方法，基于递归特征消除的特征空间估计方法。我们给出了该方法的理论性质，并证明了在某些广义假设下，该方法在寻找正确的特征空间时是一致一致的。我们给出了四个案例研究，以证明在大多数实际情况下满足这些假设，并给出了仿真结果来证明所提出的方法的性能approach.
2015-12-24 stat.ML
Stability of the Stochastic Gradient Method for an Approximated Large Scale Kernel Machine
University of Washington（华盛顿大学）
本文研究了随机梯度法（SGM）学习近似傅立叶原始支持向量机的稳定性。算法的稳定性是通过测试和训练误差之间的绝对差来衡量泛化误差的。我们的问题是通过在线凸优化设置学习一个近似的核函数，使用随机傅立叶特征的二进制分类问题。对于一个凸的、Lipschitz连续的光滑损失函数，给定合理的迭代次数，随机梯度法是稳定的。我们证明了SGM在给定的假设条件下很好地推广了近似核，并使用几个数据集对不同参数的理论结果进行了实证验证。
2018-04-21 cs.LG eess.SP stat.ML
Kolmogorov Width Decay and Poor Approximators in Machine Learning: Shallow Neural Networks, Random Feature Models and Neural Tangent Kernels
Princeton University（普林斯顿大学）
在线性映射序列在某个子空间上收敛快得多的条件下，建立了一个给定巴拿赫空间的子空间之间的Kolmogorov宽度型尺度分离.一般的技术，然后施加到再生核希尔伯特空间是穷人的$L^2$ -逼近类的两层神经网络在高维，和多层网络与小的路径范数是穷人的逼近某些Lipschitz功能，也在$L^2$ -拓扑结构。
2020-10-02 cs.LG math.FA stat.ML
Kernelized Locality-Sensitive Hashing for Semi-Supervised Agglomerative Clustering
Columbia University（哥伦比亚大学）
大规模的凝聚聚类受到计算负担的阻碍。我们提出了一种新的方案，其中精确的实例间距离计算被替换为核化局部敏感哈希（KLSH）哈希值之间的汉明距离。这导致了一种方法，大大减少了计算时间。此外，我们通过距离度量学习利用某些标记的数据点，以实现与K-Means相比具有竞争力的精确度和召回率，但计算时间要少得多。
2013-01-16 cs.CV cs.LG stat.ML
On Distance and Kernel Measures of Conditional Independence
测量条件独立性是统计推断中的重要任务之一，并且是因果发现、特征选择、降维、贝叶斯网络学习等的基础。在这项工作中，我们探讨了度量空间和再生核希尔伯特空间（RKHS）的再生核的距离诱导的条件独立性措施之间的连接。对于一定的距离和内核对，我们显示的距离为基础的条件独立的措施是等价的，基于内核的措施。另一方面，我们还表明，一些流行的-在机器学习-核条件独立性措施的基础上的希尔伯特-施密特范数的某一交叉条件协方差算子，没有一个简单的距离表示，除了在某些限制情况下。因此，这篇论文表明条件独立性的距离和核度量不完全等同，这与Sejdinovic等人（2013）所示的联合独立性不同。
2020-08-17 math.ST stat.ML stat.TH
A new trigonometric kernel function for support vector machine
Shiraz University of Technology（设拉子理工大学）；University of Lethbridge（莱斯布里奇大学）
In the last few years, various types of machine learning algorithms, such as Support Vector Machine (SVM), Support Vector Regression (SVR), and Non-negative Matrix Factorization (NMF) have been introduced. The kernel approach is an effective method for increasing the classification accuracy of machine learning algorithms. This paper introduces a family of one-parameter kernel functions for improving the accuracy of SVM classification. The proposed kernel function consists of a trigonometric term and differs from all existing kernel functions. We show this function is a positive definite kernel…
2022-12-15 cs.CV cs.LG cs.NE
Unsupervised MKL in Multi-layer Kernel Machines
Indian Institute of Space Science and Technology（印度空间科学与技术研究所）
基于核的深度学习是由Y.Cho和L. K.索尔在\cite{saul}。在MKM中，他们在一个层上仅使用一个核（反余弦核）用于基于核PCA的特征提取。我们建议在每一层中使用多个内核，通过采用无监督学习策略将许多内核进行凸组合。在MNIST数据集的图像背景中加入随机噪声生成的\textit{mnist-back-rand}、\textit{mnist-back-image}和\textit{mnist-rot-back-image}数据集上进行了实证研究。实验结果表明，在MKM中使用MKL可以更好地表示原始数据，提高分类器的性能。
2021-11-26 cs.CV cs.LG
Asymptotic Normality of Support Vector Machine Variants and Other Regularized Kernel Methods
在非参数分类和回归问题中，正则化核方法，特别是支持向量机，在理论和应用统计学中引起了广泛的关注。在抽象意义上，正则化核方法（这里简称为SVM）可以被看作是（通常是无限维）再生核希尔伯特空间中参数的正则化M-估计。对于光滑损失函数，证明了估计量之间的差异，即经验支持向量机和理论支持向量机是渐近正态的速率$\sqrt{n}$。也就是说，标准化差分在再生核希尔伯特空间中弱收敛到高斯过程。如在实际应用中常见的，正则化参数的选择可以取决于数据。证明是通过应用的功能δ-方法，并通过显示SVM功能是适当的阿达玛微分。
2011-04-12 stat.ML
A Stable Multi-Scale Kernel for Topological Machine Learning
IST Austria（奥地利科学技术研究所）；TU München（慕尼黑工业大学）；University of Salzburg（萨尔茨堡大学）
拓扑数据分析为研究视觉问题提供了丰富的有价值的信息来源。然而，到目前为止，我们缺乏一个理论上健全的连接到流行的基于内核的学习技术，如内核SVM或内核PCA。在这项工作中，我们建立了这样的连接，通过设计一个多尺度的持久性图，一个稳定的概括表示数据中的拓扑特征的内核。我们证明了这个内核是正定的，并证明了它的稳定性，相对于1-瓦瑟斯坦距离。两个基准数据集的3D形状分类/检索和纹理识别的实验表明，所提出的方法相比，另一种方法，是基于最近推出的持久性景观相当大的性能增益。
2014-12-21 cs.CV cs.LG math.AT
Kernel methods library for pattern analysis and machine learning in python
Rotman Research Institute（罗特曼研究所）；Baycrest Health Sciences（贝里克雷斯健康科学中心）
核方法已被证明是用于各种领域中的模式分析和机器学习（ML）的强大技术。然而，它们的许多原始或高级实现仍然保留在Matlab中。随着Python在机器学习和数据科学领域令人难以置信的崛起和采用，显然需要一个定义良好的库，不仅可以使用流行的内核，还可以轻松定义自定义内核，以便针对不同的应用程序进行微调。kernelmethods库以一种与域无关的方式填补了python ML生态系统中的这一重要空白，允许样本数据类型是数值、分类、图形或它们的组合。此外，该库提供了许多定义良好的类，以使各种基于内核的操作高效（对于大规模数据集），模块化（便于领域自适应）和可互操作（跨不同生态系统）。该库可在https://github.com/raamana/kernelmethods上查阅。
2020-05-27 cs.CV cs.LG stat.CO
Kernel Machines Beat Deep Neural Networks on Mask-based Single-channel Speech Enhancement
The Ohio State University（俄亥俄州立大学）
本文提出了一种快速核方法用于基于掩码的单通道语音增强。具体来说，我们的方法解决了一个核回归问题与非光滑核函数（指数幂核）与高效的迭代法（EigenPro）。由于该方法简单，其超参数，如核带宽可以自动和有效地选择使用线搜索的训练数据的子样本。我们观察到的回归损失（均方误差）和语音增强的常规指标之间的经验相关性。这一观察结果证明了我们的训练目标是正确的，并激励我们通过训练每个频率子带的独立核模型来实现更低的回归损失。我们将我们的方法与基于掩模的HINT和TIMIT的最先进的深度神经网络进行了比较。实验结果表明，我们的核方法始终优于深度神经网络，同时需要更少的训练时间。
2018-11-06 cs.LG cs.SD eess.AS
Kernel-based Distance Metric Learning in the Output Space
University of Central Florida（中佛罗里达大学）；Florida Institute of Technology（佛罗里达理工学院）
在本文中，我们提出了两个相关的，基于核的距离度量学习（DML）方法。它们各自的模型将数据从其原始空间非线性地映射到输出空间，并且随后的距离测量通过Mahalanobis度量在输出空间中执行。输出空间的维数可以直接控制，以便于学习一个低秩度量。这两种方法都允许同时推断相关的度量和映射到输出空间，当输出空间是2维或3维时，这可以用于可视化数据。一组分类任务的实验结果说明了所提出的方法比其他传统的和基于内核的DML方法的优势。
2014-04-28 cs.LG
Iteratively reweighted kernel machines efficiently learn sparse functions
University of Washington（华盛顿大学）；University of Pennsylvania（宾夕法尼亚大学）
该研究证明经典核方法也能实现神经网络特有的低维表征学习与层级结构学习能力，通过迭代重加权核机器可高效学习层级多项式，并用数值实验验证了相关理论。
2025-10-03 cs.LG math.OC math.ST
Duality in Multi-View Restricted Kernel Machines
KU Leuven（鲁汶大学）
本文提出统一的原-对偶多视图受限核机器框架，将多种现有方法纳入核主成分分析，证明原对偶等价性，并通过时间序列预测实验验证其有效性。
2023-07-06 cs.LG
Reconstructing Kernel-based Machine Learning Force Fields with Super-linear Convergence
Technische Universität Berlin（柏林工业大学）；Korea University（高丽大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Google Research（谷歌研究院）
本文针对核机器在力场重构中因二次内存和三次运行时间导致的可扩展性瓶颈，提出基于Nyström型低秩近似的预条件子构造方法，以实现超线性收敛并改善计算效率。
2023-04-20 cs.LG physics.chem-ph physics.comp-ph
Variational Quantum Kernels with Task-Specific Quantum Metric Learning
IBM（国际商业机器公司）
量子核方法，即，具有量子核的核方法作为量子机器学习（QML）的混合量子经典方法提供了明显的优势，包括对噪声中间尺度量子（NISQ）设备的适用性和用于解决所有类型的机器学习问题的用途。核方法依赖于高维（可能是无限维）特征空间中点之间的相似性概念。对于机器学习，相似性的概念假设在特征空间中接近的点在机器学习任务空间中应该是接近的。在本文中，我们讨论了使用变分量子内核与特定任务的量子度量学习来生成最佳量子嵌入（a.k.a.量子特征编码），其特定于机器学习任务。这种特定于任务的最优量子嵌入，隐含地支持特征选择，不仅对量子核方法在提高后者的性能方面有价值，而且它们对基于参数化量子线路（PQC）的非核QML方法作为预训练嵌入和迁移学习也有价值。这进一步证明了量子核方法的量子效用和量子优势（具有经典难以处理的量子嵌入）。
2022-11-26 cs.LG quant-ph
Quantum tangent kernel
量子核方法是量子机器学习的关键方法之一，具有不需要优化、理论简单等优点。凭借这些特性，到目前为止，已经开发了几个实验演示和讨论的潜在优势。然而，与经典机器学习的情况一样，并非所有量子机器学习模型都可以被视为内核方法。在这项工作中，我们探索了一个量子机器学习模型与深度参数化的量子线路，旨在超越传统的量子核方法。在这种情况下，表示能力和性能有望得到提高，而训练过程可能是一个瓶颈，因为贫瘠的高原问题。然而，我们发现，一个足够深的量子线路的参数在训练过程中不会从其初始值移动太多，允许相对于参数的一阶扩展。这种行为类似于经典文献中的神经正切核，而这种深度变分量子机器学习可以用另一种涌现核--量子正切核来描述。数值模拟表明，所提出的量子正切核优于传统的量子核方法的ansatz生成的数据集。这项工作提供了一个超越传统量子核方法的新方向，并利用深度参数化的量子线路探索量子机器学习的潜在力量。
2022-11-24 quant-ph stat.ML
Supervised quantum machine learning models are kernel methods
随着近期量子设备的问世和容错量子计算机的竞争如火如荼，研究人员开始对这样一个问题感兴趣：如果我们用量子线路取代监督机器学习模型，会发生什么。虽然这种“量子模型”有时被称为“量子神经网络”，但人们一再注意到，它们的数学结构实际上与核方法的关系更为密切：它们分析高维希尔伯特空间中的数据，我们只能通过测量揭示的内积来访问这些数据。这份技术手稿总结并扩展了系统地将监督量子模型作为核心方法的想法。有了这一点，许多近期和容错的量子模型可以取代一般的支持向量机，其内核计算数据编码量子态之间的距离。基于核的训练可以保证找到比变分电路训练更好或同样好的量子模型。总的来说，量子机器学习的核心观点告诉我们，数据编码成量子态的方式是可能将量子模型与经典机器学习模型区分开来的主要因素。
2021-04-17 quant-ph stat.ML
Equivalence of Kernel Machine Regression and Kernel Distance Covariance for Multidimensional Trait Association Studies
将遗传标记与多维表型相关联是一个重要但具有挑战性的问题。在这项工作中，我们建立了两个流行的方法：核机器回归（KMR）和核距离协方差（KDC）之间的等价性。KMR是一个半参数回归框架，它对协变量效应进行参数化建模，而遗传标记被视为非参数化。KDC代表一类方法，包括距离协方差（DC）和希尔伯特-施密特独立性准则（HSIC），它们是独立性的非参数检验。在一定条件下，我们证明了KMR的得分检验与KDC统计量之间的等价性。这一结果导致一个新的概括的KDC测试，结合了协变量。我们的贡献有三个方面：（1）建立KMR和KDC之间的等价性;（2）表明核机器回归的原理可以应用于对KDC的解释;（3）发展了一个更广泛的KDC统计类，其成员是不同核的数量。我们证明了使用模拟研究的建议。来自阿尔茨海默病神经影像学倡议（ADNI）的数据用于探索基因\emph{FLJ16124}上的遗传变异与根据年龄和性别调整的3D结构脑MR图像中所代表的表型之间的关联。结果表明，\emph{FLJ16124}的SNPs表现出强烈的成对相互作用效应，与脑区体积的变化相关。
2014-04-02 stat.ME stat.ML
Solving Support Vector Machines in Reproducing Kernel Banach Spaces with Positive Definite Functions
本文在再生核巴拿赫空间中利用半内积的正交性和傅里叶变换技术，显式求解支持向量机，并通过正定函数表示最优解，系数由不动点迭代计算。
2013-04-23 cs.NA math.NA math.OC
Wasserstein-based Kernel Principal Component Analysis for Clustering Applications
Risk Engineering Lab, Institute of Energy；Process Engineering, Department of Mechanical；Process Engineering, ETH Z\"urich , country= Switzerland
本文提出一个集成Wasserstein度量与核方法的无监督聚类框架，通过参考分布近似距离、平移正定核及可扩展有效性指标，有效处理向量型和分布型数据，并在电力图和时序数据上验证了性能。
2025-10-14 cs.LG stat.AP
A note on logistic regression and logistic kernel machine models
这是关于逻辑斯谛回归模型和逻辑斯核机模型的一个注记。它包含了一些表达式在论文中的推导- SNP集分析检测疾病关联使用外显子序列数据-由这些作者提交给BMC程序。
2011-03-04 stat.AP stat.ME
Symmetric and antisymmetric kernels for machine learning problems in quantum physics and chemistry
我们通过对称化和反对称化传统核函数得到了对称和反对称核函数，并分析了它们的性质。特别是，我们计算得到的多项式内核的特征空间维度，证明了对称和反对称高斯内核诱导的再生核希尔伯特空间在对称和反对称函数的空间中是稠密的，并提出了反对称高斯内核的斯莱特行列式表示，即使状态空间是高维的，也可以进行有效的评估。此外，我们表明，通过利用对称或反对称的训练数据集的大小可以显着减少。结果说明了指导性的例子和简单的量子物理和化学应用。
2021-06-26 math-ph math.MP physics.chem-ph
