How to Scale Up Kernel Methods to Be As Good As Deep Neural Nets
University of Southern California（南加利福尼亚大学）；Columbia University（哥伦比亚大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Télécom ParisTech（巴黎高等电信学院）；CNRS（法国国家科学研究中心）
核方法的计算复杂性通常是将其应用于大规模学习问题的主要障碍。我们认为，这一障碍是可以有效克服的。特别是，我们开发了扩展内核模型的方法，以成功解决迄今为止只有深度学习架构才能解决的大规模学习问题。基于Rahimi和Recht关于用随机投影的特征近似核函数的开创性工作，我们通过提出可以有效地训练具有数亿参数的模型的方法，并从多个内核中学习最佳表示，来推进最先进的技术。我们对图像识别和自动语音识别的问题进行了广泛的实证研究，并表明我们的内核模型的性能与精心设计的深度神经网络（DNN）的性能相匹配。据我们所知，这是第一次，这两种方法之间的直接比较大规模的问题。我们的核方法有几个吸引人的特性：使用凸优化进行训练，训练单个模型的成本与DNN相当，并且由于模型选择需要调整的超参数较少，因此总成本显着降低。我们对这两个非常不同但同样具有竞争力的模型的对比研究揭示了一些基本问题，例如如何学习良好的表征。
2015-06-17 cs.AI cs.LG stat.ML
Kernel Machines With Missing Responses
East China Normal University（华东师范大学）；The University of Haifa（海法大学）
缺失回答是一种缺失数据格式，其中并不总能观察到结局。在这项工作中，我们开发的内核机器，可以处理丢失的响应。首先，我们提出了一个内核机器的家庭，主要使用完整的情况。对于二次损失，我们提出了一个家庭的双鲁棒核机器。所提出的核机器估计可以应用于回归和分类问题。我们证明了有限样本下核机器风险与贝叶斯风险之间差异的预言不等式。我们使用这些预言不等式证明了一致性和计算收敛速度。我们证明了两个建议的内核机器家庭使用模拟研究和现实世界的数据分析的性能。
2018-06-07 cs.LG stat.ML
A Comparison between Deep Neural Nets and Kernel Acoustic Models for Speech Recognition
Google Inc.（谷歌公司）
我们研究了用于声学建模的大规模核方法，并在与声学建模和识别相关的性能指标上与DNN进行了比较。衡量困惑和帧级分类准确性，基于内核的声学模型与DNN模型一样有效。然而，在令牌错误率方面，DNN模型可以明显更好。我们已经发现，这可能归因于DNN在减少预测后验概率的困惑和熵方面的独特优势。基于我们的发现，我们提出了一种新的技术，熵正则化困惑，模型选择。该技术可以显著提高两种模型的识别性能，并缩小它们之间的差距。虽然对广播新闻有效，但这种技术也适用于其他任务。
2016-03-18 cs.LG stat.ML
A Dynamic Sampling Adaptive-SGD Method for Machine Learning
Department of Industrial Engineering and Operations Research, Columbia University（哥伦比亚大学工业工程与运筹学系）
我们提出了一种随机优化方法，用于最小化损失函数，表示为一个期望值，自适应地控制用于梯度近似计算的批量大小和用于沿这些方向移动的步长，消除了用户需要调整的学习率。所提出的方法利用局部曲率信息，并确保搜索方向的下降方向具有很高的概率，使用锐角测试，并可以用作一种方法，具有全局线性收敛速度的自协调函数具有很高的概率。数值实验表明，该方法能够选择最佳的学习率，并优于微调SGD训练逻辑回归和DNN。我们还提出了一个自适应版本的ADAM，消除了调整基本学习率的需要，并在训练DNN上与微调的ADAM相比毫不逊色。在我们的DNN实验中，我们很少在DNN中沿着步长方向的当前点处遇到负曲率。
2020-03-03 cs.LG math.OC stat.ML
Random Features for Kernel Approximation: A Survey on Algorithms, Theory, and Beyond
KU Leuven（鲁汶大学）；Shanghai Jiao Tong University（上海交通大学）；Cornell University（康奈尔大学）
随机特征是在大规模问题中加速核方法的最流行的技术之一。相关作品获得了2017年NeurIPS Test-of-Time奖和2019年ICML最佳论文决赛的认可。关于随机特征的工作的主体已经迅速增长，因此希望对这个主题有一个全面的概述，解释各种算法和理论结果之间的联系。在这篇综述中，我们系统地回顾了过去十年来关于随机特征的工作。首先，根据其采样方案，学习过程，方差减小特性以及如何利用训练数据，总结了具有代表性的基于随机特征的算法的动机，特点和贡献。其次，我们回顾了围绕以下关键问题的理论结果：需要多少随机特征来确保高近似质量或学习估计器的经验/预期风险没有损失。第三，我们提供了一个全面的评估流行的随机特征的算法在几个大规模的基准数据集，并讨论其近似质量和分类的预测性能。最后，我们讨论了随机特征和现代过参数化深度神经网络（DNN）之间的关系，包括在DNN分析中使用高维随机特征以及当前理论和经验结果之间的差距。本调查可以作为对该主题的温和介绍，并作为有兴趣应用代表性算法和理解各种技术假设下的理论结果的从业者的用户指南。我们希望这一调查将有助于讨论在这一主题的开放问题，更重要的是，阐明未来的研究方向。
2021-07-11 cs.LG stat.ML
Stochastic Kernel Regularisation Improves Generalisation in Deep Kernel Machines
University of Bristol（布里斯托大学）
针对卷积深度核机器性能落后于同类架构神经网络的问题，本文提出含随机核正则化的改进方案，使模型在CIFAR-10上测试准确率达94.5%，证明深度核方法也能在复杂视觉任务上取得优异性能。
2024-10-08 cs.LG stat.ML
Deep Learning meets Nonparametric Regression: Are Weight-Decayed DNNs Locally Adaptive?
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
该研究从非参数回归视角，提出深度ReLU网络的并行变体，证明仅调权重衰减正则化因子即可让其估计误差接近Besov和BV函数类的极小极大率，且越深越优，解释了深度的作用。
2024-05-18 cs.LG stat.ML
Conjugate Gradients for Kernel Machines
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
正则化最小二乘（核岭/高斯过程）回归是统计学和机器学习的基本算法。由于精确解的通用算法在数据点的数量上具有立方复杂性，因此大型数据集需要诉诸近似。在这项工作中，最小二乘预测的计算本身被视为一个概率推理问题。我们提出了一个结构化的高斯回归模型的核函数，使用核矩阵的投影，以获得一个低秩近似的内核和矩阵。一个中心的结果是一种增强的方式，使用共轭梯度的方法，如在机器学习中遇到的最小二乘回归的特定设置。我们的方法提高了近似的内核岭回归/高斯过程后验均值香草共轭梯度，并允许计算后验方差和对数边际似然（证据），而无需进一步的开销。
2019-11-14 cs.LG stat.ML
OCKELM+: Kernel Extreme Learning Machine based One-class Classification using Privileged Information (or KOC+: Kernel Ridge Regression or Least Square SVM with zero bias based One-class Classification using Privileged Information)
IIT Indore（印度理工学院印多尔分校）
基于核方法的单类分类器主要用于离群点或新颖性检测。在这封信中，基于核岭回归（KRR）的一类分类器（KOC）已被扩展为使用特权信息的学习（LUPI）。基于LUPI的KOC方法被称为KOC+。此特权信息可作为数据集的一个特征，但仅用于训练（不用于测试）。KOC+通过使用所谓的校正功能，与正常特征信息相比，以不同的方式利用特权信息。隐藏的信息有助于KOC+实现更好的泛化性能，这是在这封信中通过测试分类器与没有特权信息。现有的和建议的分类器进行评估的数据集从UCI机器学习库和MNIST数据集。实验结果表明，KOC+算法优于KOC算法和基于支持向量机（SVM）的单类分类器。
2019-04-13 cs.LG stat.ML
The asymptotic spectrum of the Hessian of DNN throughout training
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
DNN在梯度下降期间的动力学由所谓的神经切线核（NTK）描述。在本文中，我们展示了NTK允许人们精确地了解DNN成本的Hessian。当NTK在训练过程中固定时，我们在初始化和训练过程中获得了Hessian谱的渐近性的完整表征。在所谓的平均场极限中，其中NTK在训练期间不固定，我们描述初始化时Hessian的前两个时刻。
2020-02-10 cs.LG cs.NE stat.ML
Tensor Network-Constrained Kernel Machines as Gaussian Processes
Delft University of Technology（代尔夫特理工大学）
本文证明CPD和TT约束的核机器在独立同分布先验下可恢复高斯过程，并表明TT在相同参数量下比CPD更接近高斯过程行为，从而建立张量网络约束核机器与高斯过程的联系。
2024-03-28 cs.LG stat.ML
Understanding Why Neural Networks Generalize Well Through GSNR of Parameters
Ytech – KWAI incorporation（Ytech – KWAI公司）；Samsung Research China – Beijing (SRC-B)（三星中国研究院 - 北京（SRC-B））
随着深度神经网络（DNN）在许多应用领域取得巨大成功，研究人员试图从多个方面探索它们为什么能很好地泛化。在本文中，我们提供了一个新的角度对这些问题使用梯度信噪比（GSNR）的参数在DNN的训练过程中。参数的GSNR被定义为在数据分布上其梯度的平方均值和方差之间的比率。基于几种近似方法，建立了模型参数的GSNR与泛化间隙之间的定量关系。这种关系表明，在训练过程中较大的GSNR导致更好的泛化性能。此外，我们表明，与浅层模型（例如逻辑回归，支持向量机）不同，DNN的梯度下降优化动态在训练过程中自然产生大的GSNR，这可能是DNN显着泛化能力的关键。
2020-02-24 cs.LG stat.ML
An End-to-End Graph Convolutional Kernel Support Vector Machine
School of Computer Science & Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）
提出了一种新的基于核的支持向量机（SVM）的图分类方法。SVM特征空间映射由一系列图卷积层组成，该卷积层为每个顶点生成向量空间表示，然后是一个池化层，该池化层为图生成再生核希尔伯特空间（RKHS）表示。RKHS的使用提供了使用核函数在该空间中隐式操作的能力，而没有显式映射到它的计算复杂性。所提出的模型以监督的端到端的方式进行训练，从而卷积层，核函数和SVM参数相对于正则化分类损失进行联合优化。这种方法不同于现有的基于核的图分类模型，后者使用特征工程或无监督学习来定义核函数。实验结果表明，该模型优于现有的深度学习基线模型在一些数据集上。
2020-08-04 cs.LG stat.ML
Kernel Approximation Methods for Speech Recognition
INRIA（法国国家信息与自动化研究所）；Dept. of Computer Science, Stanford University（斯坦福大学计算机科学系）；Dept. of Computer Science, Columbia University（哥伦比亚大学计算机科学系）；Google Inc.（谷歌公司）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Dept. of Computer Science, University of Southern California（南加州大学计算机科学系）
我们研究了语音识别中声学建模的大规模核方法，并将其性能与深度神经网络（DNN）进行了比较。我们在四个语音识别数据集上进行了实验，包括TIMIT和广播新闻基准任务，并比较了这两种模型的帧级性能指标（准确性，交叉熵），以及识别指标（单词/字符错误率）。为了将核方法扩展到这些大型数据集，我们使用Rahimi和Recht（2007）的随机傅立叶特征方法。我们提出了两种新的技术，以提高性能的内核声学模型。首先，为了减少核模型所需的随机特征的数量，我们提出了一种简单而有效的特征选择方法。该方法能够探索大量的非线性特征，同时比现有方法更有效地保持紧凑的模型。其次，我们提出了一些帧级指标，当在heldout集上计算时，这些指标与识别性能非常密切相关;我们通过在训练期间监控这些指标来利用这些相关性，以便决定何时停止学习。这种技术可以显著提高DNN和内核模型的识别性能，同时缩小它们之间的差距。此外，我们还证明了Sainath et al.（2013）的线性瓶颈方法显著提高了我们的内核模型的性能，此外还加快了训练速度，使模型更加紧凑。总之，这三种方法极大地提高了内核声学模型的性能，使其在我们探索的任务中的性能与DNN相当。
2017-01-13 cs.AI cs.CL cs.LG
Deep Neural-Kernel Machines
Maastricht University（马斯特里赫特大学）
在本章中，我们回顾了与深度神经内核架构的最新进展相关的主要文献，这种方法寻求两种强大的模型之间的协同作用，即基于内核的模型和人工神经网络。引入的深度神经内核框架由神经网络架构和内核机器的混合组成。更准确地说，对于内核对应的模型是基于最小二乘支持向量机与显式特征映射。在这里，我们讨论使用一种形式的显式特征映射获得的随机傅立叶特征。由于这种显式的特征映射，一方面桥接两种架构变得更加简单，另一方面可以在原始中找到相关优化问题的解决方案，从而使模型可扩展到大规模数据集。我们首先介绍一个神经内核架构，它作为配备不同池化层的更深层模型的核心模块。特别是，我们回顾了三个神经内核机器的平均，最大输出和卷积池层。在平均池化层中，对先前表示层的输出进行平均。maxout层触发不同输入表示之间的竞争，并允许在同一模型中形成多个子网络。卷积池化层降低了多尺度输出表示的维度。与神经核模型、基于核的模型和经典神经网络结构进行了比较，并在多个基准数据集上进行了数值实验，验证了所引入模型的有效性。
2020-07-19 cs.LG stat.ML
A short note on extension theorems and their connection to universal consistency in machine learning
University of Bayreuth（拜罗伊特大学）；Zhejiang Normal University（浙江师范大学）
统计机器学习在现代统计学和计算机科学中占有重要地位。统计机器学习的一个主要目标是提供普遍一致的算法，即，估计器在概率上或在某种更强的意义上收敛于贝叶斯风险或贝叶斯决策函数。基于再生核希尔伯特空间（RKHS）上正则化风险最小化的核方法属于这些统计机器学习方法。一般来说，对于特定的数据集或对于未知的概率测度，哪个内核产生最佳结果是未知的。因此，提出了各种核学习方法来选择核，因此也以数据自适应的方式选择其RKHS。然而，许多从业者经常使用经典的高斯RBF核或某些Sobolev核，并取得了很好的成功。这篇短文的目的是为这一经验事实提供一种可能的理论解释。
2016-04-15 cs.LG stat.ML
Optimizing Kernel Machines using Deep Learning
Arizona State University（亚利桑那州立大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
构建高度非线性和非参数模型是几个最先进的机器学习系统的核心。核方法形成一类重要的技术，其通过从数据构造相似性函数来引入再生核希尔伯特空间（RKHS）以用于推断非线性模型。这些方法在训练数据大小有限的情况下以及当数据相似性的先验知识可用时特别优选。尽管它们很有用，但它们受到计算复杂性的限制，并且无法支持具有特定任务目标的端到端学习。另一方面，深度神经网络已经成为几种学习范式中端到端推理的事实上的解决方案。在本文中，我们探讨了使用深度架构来执行内核机器优化的想法，以提高计算效率和端到端推理。为此，我们开发了DKMO（Deep Kernel Machine Optimization）框架，该框架使用Nystrom内核近似创建密集嵌入的集合，并利用深度学习通过嵌入的融合生成特定于任务的表示。直觉上，网络的滤波器被训练为融合来自RKHS中的线性子空间的集合的信息。此外，我们引入了核丢弃正则化，以提高训练收敛性。最后，我们将此框架扩展到多内核的情况下，通过将全局融合层与每个组成内核的预训练深度内核机器相耦合。使用有限的训练数据的案例研究，并缺乏明确的特征源，我们证明了我们的框架的有效性，传统的模型推理技术。
2017-11-15 cs.LG stat.ML
Reproducing Kernel Hilbert Space, Mercer's Theorem, Eigenfunctions, Nyström Method, and Use of Kernels in Machine Learning: Tutorial and Survey
University of Waterloo（滑铁卢大学）
这是一篇关于内核、核方法和相关领域的教程和综述论文。我们首先回顾核函数分析和机器学习的历史。然后，Mercer核，Hilbert和Banach空间，再生核Hilbert空间（RKHS），Mercer定理及其证明，常用的核，核构造距离度量，重要的核类别（包括有界，整体正定，泛，平稳，和特征核），核中心化和归一化，和特征函数进行了详细的解释。然后，我们介绍了核在机器学习中的使用类型，包括核方法（如核支持向量机），半定规划核学习，Hilbert-Schmidt独立性准则，最大均值差异，核均值嵌入和核降维。我们还涵盖了核矩阵的秩和因子分解以及使用Nystr{<$}m方法对特征函数和核的近似。这篇论文可以用于各种科学领域，包括机器学习，降维，数学中的泛函分析和量子力学中的数学物理。
2021-06-15 cs.LG math.FA stat.ML
An Online Stochastic Kernel Machine for Robust Signal Classification
U.S. Naval Research Laboratory（美国海军研究实验室）
我们提出了一种新的变化的在线内核机，其中我们利用基于共识的优化机制，以指导决策函数的演变从再生核希尔伯特空间，有效地模拟所观察到的平稳过程。
2019-12-16 cs.LG eess.SP stat.ML
Statistical Mechanics of Deep Linear Neural Networks: The Back-Propagating Kernel Renormalization
Harvard University（哈佛大学）；Hebrew University（希伯来大学）
深度学习在许多现实任务中的成功，引发了人们对深度学习在复杂任务的训练和泛化中的能力和局限性的深入研究，但迄今为止进展有限。在这项工作中，我们研究了深度线性神经网络（DLNN）中学习的统计机制，其中单个单元的输入输出函数是线性的。尽管单元是线性的，但DLNN中的学习是非线性的，因此研究其属性揭示了非线性深度神经网络（DNN）的一些特征。重要的是，我们使用权重空间中的平衡吉布斯分布精确地解决了监督学习之后的网络属性。为此，我们引入了反向核重整化（BPKR），它允许从网络输出层开始对网络权重进行增量积分，并向后进行，直到第一层的权重被积分出来。这个过程使我们能够评估重要的网络属性，如其泛化误差，网络宽度和深度的作用，训练集大小的影响，以及权重正则化和学习随机性的影响。BPKR不假设输入或任务输出的特定统计信息。此外，通过执行层的部分集成，BPKR允许我们计算跨不同隐藏层的神经表示的属性。我们提出了将BPKR扩展到具有ReLU的非线性DNN。令人惊讶的是，我们的数值模拟表明，尽管存在非线性，但我们理论的预测在很大程度上被ReLU网络在广泛的参数范围内共享。我们的工作是DNN家族中第一个精确的统计力学学习研究，也是第一个成功的通过在学习的权重空间中连续整合DoF进行学习的理论。
2021-09-18 cs.LG physics.app-ph
Minimax-Optimal Generalization Bounds for Smooth Deep Neural Networks Trained by (Stochastic) Gradient Descent
Mathematical Institute for Machine Learning and Data Science, Catholic University of Eichstätt-Ingolstadt（机器学习与数据科学数学研究所，埃施特哈特-因戈尔施塔特天主教大学）；Department of Computer Science, RPTU Kaiserslautern-Landau（计算机科学系，凯斯莱特恩-兰道大学）；Department of Mathematics, The University of Hong Kong（数学系，香港大学）；School of Mathematics and Statistics, The University of Sydney（数学与统计学学院，悉尼大学）
本文建立了过参数化深度神经网络与核方法学习动力学的联系，证明了梯度下降和随机梯度下降在足够宽度下能达到极小化最优泛化误差。
2026-07-30 cs.AI cs.LG stat.ML
Sparse Least Squares Low Rank Kernel Machines
The University of Sydney（悉尼大学）；University of Reading（雷丁大学）
提出了一种低秩核最小二乘支持向量机（LR-LSSVM）的一般框架。具有受控模型大小的低秩核的特殊结构为所提出的模型带来了稀疏性和计算效率。同时，提出了一种两步优化算法与三种不同的标准，并进行了各种实验，使用所谓的鲁棒RBF核的例子来验证模型。实验结果表明，该算法的性能与现有的几种核机器相当或更好。
2019-10-18 cs.AI cs.LG stat.ML
Randomized Kernel Methods for Least-Squares Support Vector Machines
最小二乘支持向量机是一种常用的非线性回归和分类任务的核心方法。本文讨论了最小二乘支持向量机分类器的几种近似算法。所提出的方法是基于随机块核矩阵，我们表明，他们提供了良好的精度和可靠的缩放多类分类问题，相对较大的数据集。此外，我们提出了几个数值实验，说明所提出的方法的实用性。
2017-03-22 cs.LG physics.data-an stat.ML
Position: Quantum Kernel Machines Should Move Beyond Scalar-Valued Kernels to Realize Their Potential
Aix-Marseille University, CNRS, LIS, Marseille, France（艾克斯-马赛大学，法国国家科学研究中心，LIS实验室，马赛，法国）；Aix-Marseille University, CNRS, I2M, Marseille, France（艾克斯-马赛大学，法国国家科学研究中心，I2M实验室，马赛，法国）；NTT, Inc., Tokyo, Japan（日本NTT公司，东京）
本文主张量子核机器应转向算子值核等更富表达力的框架，以利用纠缠和非交换结构处理复杂结构化预测问题，并通过初步概念验证展示其优势。
2026-05-28 cs.LG quant-ph stat.ML
Benign Overfitting in Deep Neural Networks under Lazy Training
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Amazon Web Services（亚马逊云科技）
本文在惰性训练机制下证明过参数化ReLU深度神经网络在数据良好分离时可实现贝叶斯最优测试误差与近乎零训练误差，并通过统一过参数化、良性过拟合与Lipschitz常数以及NTK分析，从理论上验证了良性过拟合现象。
2023-05-30 cs.LG
Every Model Learned by Gradient Descent Is Approximately a Kernel Machine
University of Washington（华盛顿大学）
深度学习的成功通常归因于它能够自动发现数据的新表示，而不是像其他学习方法那样依赖手工制作的功能。然而，我们发现，通过标准梯度下降算法学习的深度网络实际上在数学上近似等同于核机器，核机器是一种简单地记忆数据并通过相似性函数（核）直接将其用于预测的学习方法。这极大地增强了深度网络权重的可解释性，通过阐明它们实际上是训练样本的叠加。网络架构将目标函数的知识并入内核中。这种改进的理解应该会导致更好的学习算法。
2020-11-30 cs.LG cs.NE stat.ML
Positive Definite Kernels in Machine Learning
本综述介绍了正定核以及它们在机器学习文献中启发的一组方法，即核方法。我们首先讨论了正定核的一些性质以及再生核希尔伯特空间，自然扩展的功能集$\{k(x,\cdot),x\in\mathcal{X}\}$与核$k$定义在空间$\mathcal{X}$。我们将详细讨论利用著名的统计模型构建核函数。我们提供了许多数据分析方法的概述，这些方法利用再生核希尔伯特空间，并讨论了结合几个内核来提高某些任务的性能的想法。我们还提供了不同内核的简短食谱，这些内核对某些数据类型特别有用，例如图像，图形或语音片段。
2009-12-04 stat.ML
Classifying Network Data with Deep Kernel Machines
受网络数据分析兴趣日益增长的启发，我们研究了图上的节点分类问题，重点研究了基于核机器的方法。传统上，核机器是隐式特征空间中的线性分类器。我们认为，通常用于图的内核的特征空间中的线性分类往往不足以产生良好的结果。在这种情况下，人们自然会考虑特征空间中的非线性分类器。我们表明，重复这个过程产生的东西，我们称之为“深内核机器。“我们提供了一些例子，深度内核机器可以在分类性能上产生很大的差异，并指出了与人工智能和机器学习中深度架构的各种最新文献的一些联系。
2010-01-22 stat.ME stat.ML
Feature Elimination in Kernel Machines in moderately high dimensions
我们开发了一种核机器统计学习中的特征消除方法，基于递归特征消除的特征空间估计方法。我们给出了该方法的理论性质，并证明了在某些广义假设下，该方法在寻找正确的特征空间时是一致一致的。我们给出了四个案例研究，以证明在大多数实际情况下满足这些假设，并给出了仿真结果来证明所提出的方法的性能approach.
2015-12-24 stat.ML
Communication-Efficient Parallel Block Minimization for Kernel Machines
University of California, Davis（加州大学戴维斯分校）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
核机器通常在各种任务上产生卓越的预测性能;然而，它们遭受严重的计算挑战。在本文中，我们展示了如何克服加速内核机器的重要挑战。特别是，我们开发了一个并行块最小化框架，用于解决核机器，包括核SVM和核逻辑回归。我们的框架通过形成Hessian矩阵的块对角近似来将问题划分为更小的子问题。然后近似并行地求解子问题。在此之后，通信有效的线搜索过程中开发，以确保在每次迭代的目标函数值的充分减少。我们证明了所提出的方法的全局线性收敛速度与广泛的一类子问题求解器，我们的分析涵盖强凸和一些非强凸函数。我们应用我们的算法来解决分布式系统上的大规模核SVM问题，并显示出显着的改善现有的并行求解器。例如，在具有50万个样本的covtype数据集上，我们的算法可以使用32台机器在20秒内获得96%准确度的近似解，而所有其他并行核SVM求解器需要超过2000秒才能获得95%准确度的解。此外，我们的算法可以扩展到非常大的数据集，例如具有800万个样本和2000万个特征的kdd代数数据集。
2016-08-05 cs.LG
Asymptotic Normality of Support Vector Machine Variants and Other Regularized Kernel Methods
在非参数分类和回归问题中，正则化核方法，特别是支持向量机，在理论和应用统计学中引起了广泛的关注。在抽象意义上，正则化核方法（这里简称为SVM）可以被看作是（通常是无限维）再生核希尔伯特空间中参数的正则化M-估计。对于光滑损失函数，证明了估计量之间的差异，即经验支持向量机和理论支持向量机是渐近正态的速率$\sqrt{n}$。也就是说，标准化差分在再生核希尔伯特空间中弱收敛到高斯过程。如在实际应用中常见的，正则化参数的选择可以取决于数据。证明是通过应用的功能δ-方法，并通过显示SVM功能是适当的阿达玛微分。
2011-04-12 stat.ML
Iteratively reweighted kernel machines efficiently learn sparse functions
University of Washington（华盛顿大学）；University of Pennsylvania（宾夕法尼亚大学）
该研究证明经典核方法也能实现神经网络特有的低维表征学习与层级结构学习能力，通过迭代重加权核机器可高效学习层级多项式，并用数值实验验证了相关理论。
2025-10-03 cs.LG math.OC math.ST
Quantum tangent kernel
量子核方法是量子机器学习的关键方法之一，具有不需要优化、理论简单等优点。凭借这些特性，到目前为止，已经开发了几个实验演示和讨论的潜在优势。然而，与经典机器学习的情况一样，并非所有量子机器学习模型都可以被视为内核方法。在这项工作中，我们探索了一个量子机器学习模型与深度参数化的量子线路，旨在超越传统的量子核方法。在这种情况下，表示能力和性能有望得到提高，而训练过程可能是一个瓶颈，因为贫瘠的高原问题。然而，我们发现，一个足够深的量子线路的参数在训练过程中不会从其初始值移动太多，允许相对于参数的一阶扩展。这种行为类似于经典文献中的神经正切核，而这种深度变分量子机器学习可以用另一种涌现核--量子正切核来描述。数值模拟表明，所提出的量子正切核优于传统的量子核方法的ansatz生成的数据集。这项工作提供了一个超越传统量子核方法的新方向，并利用深度参数化的量子线路探索量子机器学习的潜在力量。
2022-11-24 quant-ph stat.ML
Compositional optimization of quantum circuits for quantum kernels of support vector machines
University of British Columbia（不列颠哥伦比亚大学）；Stewart Blusson Quantum Matter Institute（斯图尔特·布鲁森量子物质研究所）
虽然量子机器学习（ML）已被认为是量子计算最有前途的应用之一，但如何构建优于经典ML的量子ML模型仍然是一个主要的开放问题。在这里，我们展示了一个贝叶斯算法构建量子内核的支持向量机，适应量子门序列的数据。该算法通过附加以贝叶斯信息准则选择的量子门作为电路选择度量，并对识别出的局部最优量子线路的参数进行贝叶斯优化，从而逐步增加了量子线路的复杂度。我们的目标是为SVM构建量子内核，可以用尽可能少的训练数据解决分类问题。这里考虑的分类问题的量子模型的性能显着超过传统内核的优化经典模型。
2023-03-08 cs.LG quant-ph
Supervised quantum machine learning models are kernel methods
随着近期量子设备的问世和容错量子计算机的竞争如火如荼，研究人员开始对这样一个问题感兴趣：如果我们用量子线路取代监督机器学习模型，会发生什么。虽然这种“量子模型”有时被称为“量子神经网络”，但人们一再注意到，它们的数学结构实际上与核方法的关系更为密切：它们分析高维希尔伯特空间中的数据，我们只能通过测量揭示的内积来访问这些数据。这份技术手稿总结并扩展了系统地将监督量子模型作为核心方法的想法。有了这一点，许多近期和容错的量子模型可以取代一般的支持向量机，其内核计算数据编码量子态之间的距离。基于核的训练可以保证找到比变分电路训练更好或同样好的量子模型。总的来说，量子机器学习的核心观点告诉我们，数据编码成量子态的方式是可能将量子模型与经典机器学习模型区分开来的主要因素。
2021-04-17 quant-ph stat.ML
Solving Support Vector Machines in Reproducing Kernel Banach Spaces with Positive Definite Functions
本文在再生核巴拿赫空间中利用半内积的正交性和傅里叶变换技术，显式求解支持向量机，并通过正定函数表示最优解，系数由不动点迭代计算。
2013-04-23 cs.NA math.NA math.OC
A note on logistic regression and logistic kernel machine models
这是关于逻辑斯谛回归模型和逻辑斯核机模型的一个注记。它包含了一些表达式在论文中的推导- SNP集分析检测疾病关联使用外显子序列数据-由这些作者提交给BMC程序。
2011-03-04 stat.AP stat.ME
Symmetric and antisymmetric kernels for machine learning problems in quantum physics and chemistry
我们通过对称化和反对称化传统核函数得到了对称和反对称核函数，并分析了它们的性质。特别是，我们计算得到的多项式内核的特征空间维度，证明了对称和反对称高斯内核诱导的再生核希尔伯特空间在对称和反对称函数的空间中是稠密的，并提出了反对称高斯内核的斯莱特行列式表示，即使状态空间是高维的，也可以进行有效的评估。此外，我们表明，通过利用对称或反对称的训练数据集的大小可以显着减少。结果说明了指导性的例子和简单的量子物理和化学应用。
2021-06-26 math-ph math.MP physics.chem-ph
Reinforcement Learning via Gaussian Processes with Neural Network Dual Kernels
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
虽然深度神经网络（DNN）和高斯过程（GP）都被广泛用于解决强化学习中的问题，但这两种方法都具有挑战性问题的不利缺点。DNN学习复杂的非线性嵌入，但不能自然地量化不确定性，并且通常训练数据效率低下。GP推断函数的后验分布，但流行的内核在复杂和高维数据上表现出有限的表达能力。幸运的是，最近发现的共轭核函数和神经切线核函数在核域中对过参数化神经网络的行为进行了编码。我们证明，这些内核可以有效地应用于回归和强化学习问题，通过分析基线案例研究。我们首次将具有神经网络对偶核的GP应用于解决强化学习任务。我们使用众所周知的山地车问题证明，具有双内核的GP的性能至少与使用传统径向基函数内核的GP一样好。我们推测，通过继承GP的概率严谨性和DNN的强大嵌入特性，使用NN双内核的GP将使未来的强化学习模型能够在困难的领域中发挥作用。
2020-04-10 cs.LG cs.SY eess.SY
Approximate Inference Turns Deep Networks into Gaussian Processes
RIKEN Center for AI Project（日本理化学研究所人工智能项目中心）；EPFL（洛桑联邦理工学院）；Technical University of Denmark（丹麦技术大学）
深度神经网络（DNN）和高斯过程（GP）是两个强大的模型，有几个理论联系，但它们的训练方法之间的关系还没有得到很好的理解。在本文中，我们证明了贝叶斯DNN的某些高斯后验近似等价于GP后验。这使我们能够将深度学习算法的解决方案和迭代与GP推理联系起来。因此，我们可以在训练DNN时获得GP内核和非线性特征映射。令人惊讶的是，得到的内核是神经正切内核。我们展示了在真实数据集上获得的内核，并演示了使用GP边缘似然来调整DNN的超参数。我们的工作旨在促进在实际环境中结合DNN和GP的进一步研究。
2020-07-19 cs.AI cs.LG stat.ML
On Intrinsic Dataset Properties for Adversarial Machine Learning
Phillips Academy（菲利普斯学院）
深度神经网络（DNN）在广泛的机器学习应用中发挥了关键作用。然而，DNN分类器容易受到人类无法感知的对抗性扰动的影响，这可能导致它们以高置信度对输入进行错误分类。因此，在安全性发挥重要作用的应用程序中，创建可以防御恶意示例的强大DNN至关重要。在本文中，我们研究了固有数据集属性对对抗攻击和防御方法性能的影响，测试了五个流行的图像分类数据集- MNIST，Fashion-MNIST，CIFAR 10/CIFAR 100和ImageNet。我们发现，输入的大小和图像对比度在攻击和防御的成功发挥关键作用。我们的发现强调了数据集设计和数据预处理步骤对于提高DNN的对抗鲁棒性非常重要。据我们所知，这是第一个研究固有数据集属性对对抗性机器学习影响的全面工作。
2020-05-19 cs.LG stat.ML
Neural (Tangent Kernel) Collapse
Ludwig-Maximilians-Universität München（慕尼黑大学）；Tel Aviv University（特拉维夫大学）
本研究衔接神经切线核（NTK）与神经坍缩（NC）概念，基于经验NTK的类对齐块结构假设，推导均方误差损失训练DNN的动力学阶段与不变量，证明NC的出现，并用多架构多数据集实验验证理论。
2023-10-26 cs.AI cs.LG
Kernel PCA for Out-of-Distribution Detection
Shanghai Jiao Tong University（上海交通大学）；KU Leuven（鲁汶大学）；China Mobile Shanghai ICT Co., Ltd（中国移动上海 ICT 有限公司）
本文提出利用核主成分分析（KPCA）框架进行分布外检测，通过任务特定非线性核与显式特征映射提升分布内与分布外数据的可分离性，并实现高效重构误差计算，在多个数据集和网络结构上取得最先进检测性能。
2025-01-03 cs.LG stat.ML
On Neural Networks as Infinite Tree-Structured Probabilistic Graphical Models
Duke University（杜克大学）；Meta Inc.（元公司）
针对深度神经网络缺乏明确概率解释的问题，研究构建了与神经网络精确对应的无限树结构概率图模型，证明其前向传播是该结构下的精确推理近似，补充了相关理论并为融合两类模型优势提供了可能。
2025-01-17 cs.LG stat.ML
Correction Filter for Single Image Super-Resolution: Robustifying Off-the-Shelf Deep Super-Resolvers
Tel Aviv University（特拉维夫大学）
单图像超分辨率问题是近十年来研究最多的逆问题之一。近年来，深度神经网络（DNN）在采集过程使用固定的已知下采样内核（通常为双三次内核）时，表现出优于替代方法的性能。然而，最近的几项工作表明，在实际场景中，测试数据与训练数据不匹配（例如，当下采样内核不是双三次内核或在训练时不可用时），领先的DNN方法遭受巨大的性能下降。受广义采样文献的启发，在这项工作中，我们提出了一种方法，用于提高DNN的性能，DNN已经用固定的内核对其他内核获得的观察进行了训练。对于一个已知的内核，我们设计了一个封闭形式的校正滤波器，该滤波器修改低分辨率图像以匹配由另一个内核（例如双三次）获得的图像，从而改进了现有预训练DNN的结果。对于一个未知的内核，我们扩展了这个想法，并提出了一个算法所需的校正滤波器的盲估计。我们表明，我们的方法优于其他超分辨率的方法，这是专为一般的下采样内核。
2020-05-24 cs.CV cs.LG eess.IV
Global Convergence of MAML and Theory-Inspired Neural Architecture Search for Few-Shot Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
与模型无关的元学习（MAML）及其变体已经成为少样本学习的流行方法。然而，由于深度神经网络（DNN）的非凸性和MAML的双层公式，带有DNN的MAML的理论特性在很大程度上仍然未知。在本文中，我们首先证明了具有过参数化DNN的MAML保证以线性速度收敛到全局最优解。我们的收敛性分析表明，具有过参数化DNN的MAML等价于具有一类新内核的内核回归，我们将其命名为Meta神经切线核（MetaNTK）。然后，我们提出了MetaNTK-NAS，一个新的训练免费的神经架构搜索（NAS）方法的少样本学习，使用MetaNTK排名和选择架构。从经验上讲，我们在两个流行的少样本学习基准测试miniImageNet和tieredImageNet上将MetaNTK-NAS与以前的NAS方法进行了比较。我们表明，MetaNTK-NAS的性能与为少样本学习设计的最先进的NAS方法相当或更好，同时享受超过100倍的加速。我们相信MetaNTK-NAS的效率使其在许多现实任务中更加实用。
2022-03-17 cs.CV cs.LG stat.ML
Enhanced Recurrent Neural Tangent Kernels for Non-Time-Series Data
Rice University（莱斯大学）；Facebook AI Research（Facebook人工智能研究院）
在无限宽度范围内从深度神经网络（DNN）导出的内核不仅在一系列机器学习任务中提供了高性能，而且还为DNN训练动态和泛化提供了新的理论见解。在本文中，我们将与递归神经网络（RNN）相关的内核家族扩展到更复杂的架构，包括双向RNN和具有平均池的RNN。我们还开发了一个快速的GPU实现，以充分利用内核的实际潜力。虽然RNN通常只应用于时间序列数据，但我们证明了使用基于RNN的内核的分类器在来自UCI数据库的90个非时间序列数据集上的性能优于一系列基线方法。
2021-10-20 cs.LG stat.ML
Separation of Scales and a Thermodynamic Description of Feature Learning in Some CNNs
Weizmann Institute of Science（魏茨曼科学研究所）；Hebrew University（希伯来大学）
深度神经网络（DNN）是压缩和提取信息的强大工具。它们的规模和复杂性，往往涉及数十亿个相互依赖的参数，使直接的微观分析变得困难。在这种情况下，一个常见的策略是识别慢变量，这些慢变量平均了快微观变量的不稳定行为。在这里，我们识别出在完全训练的超参数化深度卷积神经网络（CNN）和全连接网络（FCN）中发生的类似尺度分离。具体来说，我们表明DNN层仅通过其激活和预激活的二阶矩（内核）耦合。此外，后者以接近高斯的方式波动。对于无限宽度的DNN，这些内核是惰性的，而对于有限的DNN，它们适应数据并产生易于处理的数据感知高斯过程。由此产生的深度学习热力学理论在各种环境下都能产生准确的预测。此外，它还提供了分析和理解DNN的新方法。
2022-09-22 cs.LG physics.data-an stat.ML
The Recurrent Neural Tangent Kernel
Rice University（莱斯大学）
通过所谓的神经切线核（NTK）方法，对无限宽度限制下的深度神经网络（DNN）进行了研究，为学习、泛化和初始化的影响提供了新的见解。一个关键的DNN架构仍有待内核化，即循环神经网络（RNN）。在本文中，我们介绍和研究递归神经切线核（RNTK），它提供了新的见解过参数化RNN的行为。RNTK的一个关键特性应该使从业者受益匪浅，那就是它能够比较不同长度的输入。为此，我们描述了RNTK如何在不同的初始化参数和非线性选择下对不同的时间步长进行加权以形成其输出。一个合成的和56个真实世界的数据实验表明，RNTK提供了显着的性能增益超过其他内核，包括标准的NTK，在广泛的数据集。
2021-06-15 cs.LG stat.ML
Towards Certified Unlearning for Deep Neural Networks
University of Virginia（弗吉尼亚大学）
本文提出简单技术将可信反向学习扩展到非凸目标，通过逆Hessian近似降低时间复杂度，并探讨非收敛训练和顺序反向学习，实验证明方法有效性及可信反向学习优势。
2026-04-21 cs.LG stat.ML
Machines hear better when they have ears
Gent University（根特大学）
基于深度神经网络（DNN）的噪声抑制系统比传统方法（如谱减法和非负矩阵分解）有显着改进，但不能很好地推广到它们未被训练的噪声条件。与DNN相比，人类表现出显着的噪声抑制能力，在各种不利的收听条件和负信噪比（SNR）下产生成功的语音清晰度。受人类出色表现的启发，本文探讨了模拟人类耳蜗信号处理的数值模型是否可以与DNN相结合，以提高基于DNN的噪声抑制系统的鲁棒性。五个耳蜗模型耦合到完全连接的和经常性的基于NN的噪声抑制系统，并使用客观指标进行训练和评估各种噪声条件：感知语音质量（PESQ），分段SNR和倒谱距离。模拟表明，生物仿生学启发的耳蜗模型提高了基于DNN的噪声抑制系统对不可见噪声和负SNR的泛化能力。因此，这种方法导致对噪声类型和噪声水平不太敏感的鲁棒噪声抑制系统。由于耳蜗模型捕获了外围听觉处理的内在非线性和动态性，因此这里表明，考虑到它们的确定性信号处理，可以提高机器听力并避免多层DNN的过度训练。因此，我们得出结论，当在DNN的输入端使用真实的耳蜗模型时，机器听得更好。
2018-06-05 cs.LG cs.SD eess.AS
On the Consistency of the Bootstrap Approach for Support Vector Machines and Related Kernel Based Methods
University of Bayreuth（拜罗伊特大学）
证明了基于一般凸光滑损失函数和基于一般核函数的支持向量机的自举逼近是一致的。这一结果对于用Bootstrap方法逼近未知的有限样本分布是有用的。
2013-01-29 cs.LG stat.ML
Explicitising The Implicit Intrepretability of Deep Neural Networks Via Duality
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
Lakshminarayanan和Singh [2020]最近的工作为具有整流线性单元（ReLU）的完全连接深度神经网络（DNN）提供了双重视图。结果表明，（i）门中的信息在分析上由称为神经路径内核（NPK）的内核表征，以及（ii）门中学习了最关键的信息，因为，给定学习的门，权重可以从头开始重新训练，而不会显着降低性能。在本文中，我们使用的双重观点，重新思考传统的DNN解释，从而明确了DNN的隐含的可解释性。为此，我们首先展示了新的理论性质，即分别存在卷积层和跳跃连接时NPK的旋转不变性和系综结构。我们的理论导致了两个令人惊讶的经验结果，挑战了传统的智慧：（i）即使使用恒定的1输入，也可以训练权重，（ii）门控掩码可以被打乱，而不会有任何显着的性能损失。这些结果激发了一类新的网络，我们称之为深度线性门控网络（DLGN）。使用双重提升现象的DLGN为DNN的更直接和更简单的解释铺平了道路，而不是传统的解释。我们通过对CIFAR-10和CIFAR-100的大量实验表明，这些DLGN导致更好的可解释性-准确性权衡。
2022-03-01 cs.LG
A unified theory of feature learning in RNNs and DNNs
Gatsby Computational Neuroscience Unit, UCL（伦敦大学学院盖茨比计算神经科学组）；Forschungszentrum Juelich（于利希研究中心）
本文提出了一种统一的均场理论，揭示RNNs和DNNs在特征学习中的结构与功能关系，表明权重共享在序列任务中促进泛化。
2026-02-17 cond-mat.dis-nn cs.LG
