Learning with invariances in random features and kernel models
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
许多机器学习任务需要高度的不变性：如果我们对数据进行特定的一组变换，数据分布不会改变。例如，图像的标签在图像的平移下是不变的。某些神经网络架构--例如卷积网络--被认为是将它们的成功归功于它们利用了这种不变性的事实。为了量化不变结构所获得的增益，我们引入了两类模型：不变随机特征和不变核方法。作为特殊情况，后者包括具有全局平均池化的卷积网络的神经切线内核。我们考虑球面和超立方体上的一致协变量分布和一般不变目标函数。我们的特点是测试误差不变的方法在一个高维的制度，其中的样本量和数量的隐藏单位规模作为多项式的维度，为一类的群体，我们称之为“退化$α$”，与$α\leq 1$。我们发现，利用不变性的架构节省了$d^α$因素（$d$代表的尺寸）在样本量和隐藏单元的数量，以达到相同的测试误差为非结构化架构。最后，我们表明，输出对称化的非结构化核估计并没有得到显着的统计改善;另一方面，数据增强与非结构化核估计是等价的不变核估计，并享有相同的统计效率的改善。
2021-02-25 cs.LG math.ST stat.ML
The Kernel Interaction Trick: Fast Bayesian Discovery of Pairwise Interactions in High Dimensions
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）
发现感兴趣的反应的相互作用效应是生物学、医学、经济学和许多其他科学学科面临的基本问题。在理论上，贝叶斯方法发现成对相互作用享有许多好处，如一致的不确定性量化，结合背景知识的能力，和理想的收缩性能。然而，在实践中，贝叶斯方法往往是计算上棘手的，即使是中等规模的问题。我们的关键见解是，许多具有实际意义的分层模型都承认特定的高斯过程（GP）表示; GP允许我们用O（p）核超参数向量而不是O（p^2）相互作用和主效应来捕获后验。通过隐式表示，我们可以在模型超参数上运行马尔可夫链蒙特卡罗（MCMC），每次迭代在p中记忆线性。我们专注于稀疏诱导模型和数据集上的各种协变量的行为，我们的方法：（1）减少运行时间的数量级MCMC的天真的应用程序，（2）提供较低的类型I和第二类错误相对于国家的最先进的基于LASSO的方法，（3）提供了改进的计算缩放在高维相对于现有的贝叶斯和基于LASSO的方法。
2022-11-13 cs.LG stat.CO stat.ME
A Unifying View of Explicit and Implicit Feature Maps of Graph Kernels
TU Dortmund University（多特蒙德工业大学）；Washington University in St. Louis（圣路易斯华盛顿大学）；TU Darmstadt（达姆施塔特工业大学）
非线性核方法可以通过使用合适的显式特征映射的快速线性方法来近似，从而允许其应用于大规模问题。我们研究了结构化数据的卷积核是如何从基本核组成的，并构建了相应的特征图。在此基础上，我们提出了广泛使用的图核的核技巧的基础上的准确和近似的特征映射。我们分析了显式特征映射的内核和图形属性计算是可行的，实际上更有效。特别是，我们推导出近似的，明确的特征映射的最先进的内核支持实值属性，包括GraphHopper和图形不变的内核。在广泛的实验中，我们表明，我们的方法往往达到了接近的准确方法的基础上的内核技巧的分类精度，但只需要一小部分的运行时间。此外，我们提出和分析算法计算随机行走，最短路径和子图匹配核显式和隐式特征映射。我们的理论结果证实了实验观察时，比较运行时间的标签多样性，步行长度和子图的大小，分别相变。
2019-09-03 cs.LG stat.ML
Provably Strict Generalisation Benefit for Invariance in Kernel Methods
University of Oxford（牛津大学）
这是一个普遍持有的信念，强制执行不变性提高概括。虽然这种方法受到广泛欢迎，但直到最近才建立了这种好处的严格理论证明。在这项工作中，我们建立在Elesedy和Zaidi arXiv：2102.10333的函数空间的角度来推导一个严格的非零泛化的好处，将不变性的内核岭回归时，目标是不变的一个紧凑的组的行动。我们研究不变性强制执行的功能平均，并发现泛化是由一个概念的有效尺寸，产生的内核和组之间的相互作用。在建立这一结果，我们发现，行动的组诱导正交分解的再生核希尔伯特空间和它的内核，这可能是感兴趣的本身。
2021-12-19 cs.LG stat.ML
Deep Sketched Output Kernel Regression for Structured Prediction
LTCI, Télécom Paris（电信巴黎理工学院 LTCI 实验室）；IP Paris（巴黎理工学院）；University of Milan（米兰大学）
本文提出深度草图输出核回归，用随机近似核协方差算子的特征函数构造有限维输出子空间，使神经网络可借助核诱导损失和梯度下降完成结构化预测。
2024-06-13 cs.LG stat.ML
Super-Samples from Kernel Herding
Department of Computer Science（计算机科学系）；Yahoo! Research（雅虎研究院）；University of California, Irvine（加州大学欧文分校）
利用核技巧将羊群算法推广到连续空间。由此产生的“内核羊群”算法是一个无限内存的确定性过程，学习近似PDF与样本的集合。我们表明，核羊群减少的期望在希尔伯特空间中的函数的错误率O（1/T），这是比通常的O（1/pT）iid随机样本快得多。我们说明内核羊群近似贝叶斯预测分布。
2012-03-15 cs.LG stat.ML
Exchangeability and Kernel Invariance in Trained MLPs
University of Queensland（昆士兰大学）；International Computer Science Institute（国际计算机科学研究所）
在机器学习模型的分析中，假设参数是IID通常是方便的。当通过诸如SGD的训练过程更新参数时，不满足该假设。IID条件的放松是一种概率对称，称为交换对称。我们显示的意义上，在MLP的权重是可交换的。这产生的结果是，在某些情况下，全连接层的逐层内核在训练期间保持近似恒定。我们确定了一个急剧变化的宏观行为的网络权重之间的协方差从零开始变化。
2018-10-27 cs.LG stat.ML
DNN-Based Topology Optimisation: Spatial Invariance and Neural Tangent Kernel
针对DNN生成SIMP密度场时NTK滤波器缺乏平移不变性的问题，本文提出两种坐标嵌入以实现近似空间不变，并通过实验验证其效果与架构影响。
2021-11-28 cs.LG stat.ML
Causal Discovery by Kernel Intrinsic Invariance Measure
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
基于因果关系而不是关联的推理被认为是实现真正机器智能的关键因素。然而，推断变量之间的因果关系/结构是一项具有挑战性的任务。近年来，提出了一个独立机制（IM）原则，指出产生原因的机制和将原因映射到结果的机制是独立的。作为猜想，它认为，在因果方向上，在不同的条件变量的值实例化的条件分布比反因果方向有较小的变化。现有的最先进的技术只是比较这些条件分布的RKHS均值嵌入范数的方差。在本文中，我们证明了这种基于范数的方法牺牲了原始条件分布的重要信息。我们提出了一个内核的内在不变性测量（KIIM）捕捉高阶统计对应的密度函数的形状。我们表明，我们的算法可以减少到一个核矩阵测量内在的偏差/不变性的特征分解任务。然后，通过比较两个假设方向的KIIM分数，可以推断出因果方向。合成和真实数据进行实验，以显示我们的方法比现有的解决方案的优势。
2019-09-02 cs.AI cs.LG stat.ML
On the Sample Complexity of Learning under Invariance and Geometric Stability
New York University（纽约大学）
许多监督学习问题涉及高维数据，如图像，文本或图形。为了有效地利用数据，利用手头问题中的某些几何先验通常是有用的，例如平移不变性，置换子群或小变形的稳定性。我们研究了学习问题的样本复杂性，其中目标函数呈现出这样的不变性和稳定性，通过考虑球面上的这些函数的球谐分解。我们提供了非参数的收敛速度的核方法，并显示改进的样本复杂性的一个因素，等于组的大小时，使用不变的内核组，相比相应的非不变的内核。当样本量足够大时，这些改进是有效的，并且具有依赖于群的谱性质的渐近行为。最后，这些增益被扩展到不变性组之外，以涵盖对小变形的几何稳定性，在这里被建模为置换的子集（不一定是子群）。
2021-11-05 cs.LG stat.ML
Invariance of Weight Distributions in Rectified MLPs
University of Queensland（昆士兰大学）；International Computer Science Institute（国际计算机科学研究所）
分析神经网络的一个有趣的方法是研究神经网络的等价核，这一方法重新受到关注。这是基于这样的事实，即具有一个隐藏层、一定的权重分布、激活函数和无限数量的神经元的全连接前馈网络可以被视为到希尔伯特空间的映射。对于所有旋转不变的权重分布，我们推导出具有ReLU或Leaky ReLU激活的MLP的等效内核，推广了之前需要高斯权重分布的结果。此外，中心极限定理被用来表明，对于某些激活函数，内核对应的层具有$0$平均值和有限的绝对三阶矩的重量分布是渐近普遍的，以及近似的内核对应的层与球形高斯权重。在深度网络中，随着深度的增加，等效内核接近病态不动点，这可以用来解释为什么训练随机初始化的网络会很困难。我们的研究结果也有影响的权重初始化。
2018-06-01 cs.LG stat.ML
Group Invariance, Stability to Deformations, and Complexity of Deep Convolutional Representations
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
深度卷积架构的成功通常部分归功于它们学习自然信号的多尺度和不变表示的能力。然而，对这些属性以及它们如何影响学习保证的精确研究仍然缺失。在本文中，我们考虑信号的深度卷积表示;我们研究它们对平移和更一般的变换群的不变性，它们对反同态作用的稳定性，以及它们保存信号信息的能力。通过引入基于卷积核网络的多层核并通过研究核映射引起的几何形状来进行这种分析。然后，我们描述了相应的再生核希尔伯特空间（RKHS），表明它包含一个大类的卷积神经网络具有齐次激活函数。这种分析使我们能够将数据表示与学习分开，并提供模型复杂性的规范度量，即RKHS范数，它控制任何学习模型的稳定性和泛化。除了在构建的RKHS模型，我们的稳定性分析也适用于卷积网络与一般的激活，如整流线性单元，我们讨论了它与最近的泛化界的基础上谱范数的关系。
2018-10-10 cs.LG stat.ML
Generative models with kernel distance in data space
处理建模联合数据分布的生成模型通常基于自动编码器或GAN。两者各有利弊，分别会产生模糊的图像或在训练中不稳定或容易出现模式坍塌现象。本文的目标是构建一个介于上述体系结构之间的~模型，该模型不继承它们的主要弱点。所提出的LCW发生器（潜在的Cramer-Wold发生器）类似于一个经典的GAN在转换高斯噪声到数据空间。最重要的是，LCW生成器使用核距离而不是~ Σ。没有使用对抗训练，因此命名为生成器。培训分两个阶段进行。首先，一个自动编码器为基础的架构，使用内核措施，建立了一个流形的数据模型。为了得到最终的模型，我们提出了一个将高斯映射到潜在的潜在技巧。这导致非常有竞争力的FID值。
2020-09-15 cs.CV cs.LG stat.ML
Kernel Wasserstein Distance
Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）；Stony Brook University（石溪大学）
Wasserstein距离是一个基于最优传输理论的强大度量。它给出了两个分布之间距离的自然度量，具有广泛的应用。与Kullback-Leibler或Jensen-Shannon等分布的一些常见分歧相反，它是（弱）连续的，因此非常适合分析损坏的数据。然而，迄今为止，没有核方法处理非线性数据已提出通过Wasserstein距离。在这项工作中，我们开发了一种新的方法来计算使用内核技巧实现的内核空间中的L2-Wasserstein距离。后者是机器学习中用于以非线性方式处理数据的一般方法。我们评估所提出的方法，在确定计算机断层扫描（CT）切片与牙齿伪影在头部和颈部癌症，进行无监督的层次聚类产生的Wasserstein距离矩阵，计算从每个CT切片提取的成像纹理特征。我们的实验表明，核方法优于经典的非核方法在识别CT切片与伪影。
2019-05-22 cs.LG stat.ML
Robust Matrix Elastic Net based Canonical Correlation Analysis: An Effective Algorithm for Multi-View Unsupervised Learning
Hong Kong University of Science and Technology（香港科技大学）；University of Macau（澳门大学）
针对多视图无监督学习问题，提出了一种基于鲁棒矩阵弹性网的典型相关分析（RMEN-CCA），强调CCA与鲁棒矩阵弹性网（RMEN）相结合作为耦合的特征选择。RMEN-CCA利用RMEN的优势，在没有任何先验假设的情况下提取自然有意义的特征，并有效地测量不同“视图”之间的相关性。我们可以进一步直接使用核技巧将RMEN-CCA扩展到具有理论保证的核场景，这将核技巧用于高度复杂的非线性特征学习。而不是简单地将现有的正则化最小化条款CCA，本文提供了一个新的学习范式CCA，是第一个得到一个耦合的特征选择为基础的CCA算法，保证收敛。更重要的是，对于CCA，新衍生的RMEN-CCA弥合了相关性测量和耦合特征选择之间的差距。此外，它是不平凡的，直接处理RMEN-CCA由以前的优化方法从其复杂的模型架构。因此，本文进一步提供了一个新的优化问题和现有的有效的迭代方法之间的桥梁。因此，RMEN-CCA可以克服CCA的限制，并解决大规模和流式数据问题。在四个流行的竞争数据集上的实验结果表明，RMEN-CCA比最先进的方法更有效。
2017-11-15 cs.LG stat.ML
On the Global Optima of Kernelized Adversarial Representation Learning
Michigan State University（密歇根州立大学）；Eastern Mediterranean University（东地中海大学）
对抗性表示学习是一种很有前途的范式，用于获得对某些敏感属性不变的数据表示，同时保留预测目标属性所需的信息。现有的方法通过迭代对抗极大极小优化来解决这个问题，缺乏理论保证。在本文中，我们首先研究这个问题的“线性”形式，即，所有参与人都是线性函数的设置。我们表明，由此产生的优化问题是非凸和不可微的。我们通过谱学习获得其全局最优解的精确闭合形式表达式，并在可实现效用和不变性的分析界方面提供性能保证。然后，我们通过核表示将此解决方案和分析扩展到非线性函数。在UCI、Extended Yale B和CIFAR-100数据集上的数值实验表明，（a）实际上，我们的解决方案非常适合于向任何有偏见的预训练数据表示“赋予”可证明的不变性，（b）从经验上讲，我们的解决方案提供的效用和不变性之间的权衡与现有基于深度神经网络的方法的迭代极小极大优化相当。代码可在https://github.com/human-analysis/Kernel-ARL上获得
2019-12-25 cs.CV cs.LG stat.ML
Structure-Property Maps with Kernel Principal Covariates Regression
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
基于线性方法的数据分析构成了自动处理大量数据以构建监督或无监督机器学习模型的最简单、最强大和最透明的方法。主协变量回归（PCovR）是一种未得到充分重视的方法，其介于主成分分析和线性回归之间，并且可以用于方便地揭示结构-性质关系，其具有易于解释的低维图。在这里，我们提供了这些数据分析方案的教学概述，包括使用内核技巧来引入非线性元素，同时保持线性方法的大部分便利性和简单性。然后，我们介绍了PCovR的内核化版本和稀疏化的扩展，并展示了这种方法在揭示和预测化学和材料科学中的结构-性能关系方面的性能，显示了各种例子，包括元素碳，多孔硅酸盐框架，有机分子，氨基酸构象和分子材料。
2020-05-21 cond-mat.mtrl-sci cs.LG physics.chem-ph
Sketch In, Sketch Out: Accelerating both Learning and Inference for Structured Prediction with Kernels
Télécom Paris（巴黎电信学院）；CentraleSupélec（中央理工-高等电力学院）；University of Milan（米兰大学）
本文提出用草图化近似同时处理输入和输出核，以加速代理核方法在结构化预测中的训练与推理，并证明其理论风险界和实际可扩展性。
2024-05-06 cs.LG stat.ML
Efficient KLMS and KRLS Algorithms: A Random Fourier Feature Perspective
University of Athens Department of Informatics
我们提出了一个新的框架，在线最小二乘算法的非线性建模在RKH空间（RKHS）。代替隐式地将数据映射到RKHS（例如，核技巧），我们将数据映射到有限维的欧几里得空间，使用核的傅立叶变换的随机特征。其优点是，映射数据的内积近似于核函数。由此产生的“线性”算法不需要任何形式的稀疏化，因为与所有现有算法相比，解决方案的大小保持固定，并且不会随着迭代步骤而增加。因此，所获得的算法在计算上比先前导出的变体更有效，同时，它们以类似的速度收敛到类似的错误平层。
2016-06-12 cs.LG stat.ML
Convolutional Kernel Networks
Inria（法国国家信息与自动化研究所）
视觉识别中的一个重要目标是设计对特定变换不变的图像表示。在本文中，我们使用一种新型的卷积神经网络（CNN）来实现这一目标，其不变性由再生核编码。与传统的方法不同，神经网络被学习来表示数据或解决分类任务，我们的网络学习近似训练数据上的内核特征映射。这种方法比传统方法有几个好处。首先，通过教导CNN是不变的，我们获得了简单的网络架构，其精度与更复杂的网络架构相似，同时易于训练并且对过拟合具有鲁棒性。其次，我们弥合了神经网络文献和内核之间的差距，内核是建模不变性的自然工具。我们评估了我们在视觉识别任务中的方法，在这些任务中，CNN已经被证明表现良好，例如，MNIST数据集的数字识别，以及更具挑战性的CIFAR-10和STL-10数据集，在这些数据集上，我们的准确性与最先进的数据集相比具有竞争力。
2014-11-14 cs.CV cs.LG stat.ML
Outlier detection in non-elliptical data by kernel MRCD
KU Leuven（鲁汶大学）
本文提出核最小正则化协方差行列式（KMRCD）估计器，通过在核特征空间中计算MRCD并利用核技巧加速，实现对非椭圆高维数据的快速稳健离群点检测。
2021-03-29 cs.LG stat.CO stat.ML
Probabilistic Kernel Support Vector Machines
Georgia Tech（佐治亚理工学院）；UCI（加州大学欧文分校）；Stony Brook University（石溪大学）
我们提出了一种概率增强的标准内核支持向量机的二进制分类，以解决的情况下，随着给定的数据集，描述的不确定性（例如，误差界限）可以在每个数据上可用。在本文中，我们特别考虑高斯分布模型的不确定性。因此，我们的数据包括对$(x_i,Σ_i)$，$i\in\{1,\ldots,N\}$，以及一个指示符$y_i\in\{-1,1\}$来声明每个对的两个类别之一的成员资格。这些对可以被视为分别表示在合适的线性空间（通常为$\mathbb R^n$）中取值的随机向量$ξ_i$的均值和协方差。因此，我们的设置也可以被视为支持向量机的修改，以分类分布，尽管目前只有高斯分布。我们概述的形式主义，允许计算合适的分类器通过一个自然的修改标准的“内核技巧。“这项工作的主要贡献是指出一个合适的核函数，用于将支持向量技术应用于设置不确定数据，其中详细的不确定性描述也是可用的（本文称为“高斯点”）。
2020-03-18 cs.LG cs.SY eess.SY
Duality in RKHSs with Infinite Dimensional Outputs: Application to Robust Losses
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎综合理工学院，巴黎电信学院，LTCI实验室）
当输出空间是希尔伯特空间时，算子值核（OVK）和相关的向量值再生核希尔伯特空间提供了一种扩展标量核方法的优雅方式。虽然主要用于有限维的多任务回归等问题，但该框架处理无限维输出空间的能力解锁了更多的应用，如函数回归，结构化输出预测和结构化数据表示。然而，这些复杂的计划至关重要地依赖于输出空间中的内核技巧，所以以前的大多数工作都集中在平方范数损失函数，完全忽略了鲁棒性问题，可能会出现在这样的代理问题。为了克服这一限制，本文开发了一种对偶方法，允许解决OVK机的损失函数范围很广。无限维拉格朗日乘子处理通过一个双重表示定理，和$ε$不敏感的损失和Huber损失的算法进行了彻底的详细说明。通过理论稳定性分析以及对结构化数据应用程序的经验改进来强调健壮性的好处。
2020-08-21 cs.LG stat.ML
Breaking Data Symmetry is Needed For Generalization in Feature Learning Kernels
CFIS UPC（UPC 计算机科学与信息系）；UC San Diego（加州大学圣地亚哥分校）
研究特征学习核在代数任务中的“grokking”现象，发现泛化仅在训练集对称性被打破时发生，并通过恢复数据中的不变群作用实现泛化。
2026-06-25 cs.LG stat.ML
Koopman Subspace Pruning in Reproducing Kernel Hilbert Spaces via Principal Vectors
UC San Diego（加州大学圣迭戈分校）
本文提出在再生核希尔伯特空间中通过主向量进行Koopman子空间修剪的方法，解决传统欧几里得方法的局限性，通过主角计算提升子空间不变性。
2026-06-07 cs.SY eess.SY stat.ML
Discrepancy, Coresets, and Sketches in Machine Learning
Amazon（亚马逊）
本文定义了函数族的类差异概念。它表明，低差异类承认小的离线和流coresets。我们提供了一般的技术来界定类差异的机器学习问题。作为一般技术的推论，我们绑定了逻辑回归的差异（以及因此的核心复杂性），sigmoid激活损失，矩阵协方差，核密度和点积或平方距离的任何解析函数。我们的结果证明了上述问题的ε-近似O（sqrt{d}/sqrt）大小的核心集的存在性.这解决了长期存在的开放问题的核心复杂性高斯核密度估计。我们提供了两个相关但独立的结果。首先，广泛使用的合并和减少技巧的指数改进，为任何低差异问题提供改进的流草图。第二，一个非常简单的确定性算法，用于找到任何半正定核的低差异序列（因此coresets）。本文建立了类差异，核心复杂性，可学习性和流算法之间的一些明确的联系。
2019-06-11 cs.DS cs.LG stat.ML
