Joint Embedding Self-Supervised Learning in the Kernel Regime
MIT(麻省理工学院);Meta AI, FAIR(元人工智能 基础人工智能研究团队);Turing Inc.(图灵公司);NYU(纽约大学)
自监督学习(SSL)的基本目标是生成有用的数据表示,而无需访问用于对数据进行分类的任何标签。SSL中的现代方法基于样本之间已知或构建的关系形成表示,在此任务中特别有效。在这里,我们的目标是扩展这个框架,将算法的内核方法的基础上,嵌入构造的线性映射作用于内核的特征空间。在这个内核政权,我们推导出的方法来找到对比和非对比损失函数的输出表示的最佳形式。该过程产生具有表示为诱导核的内积的新表示空间,诱导核通常使通过核空间中的增广而相关的点相关,并且使点去相关。我们在小数据集上分析我们的内核模型,以识别自监督学习算法的共同特征,并从理论上了解它们在下游任务上的性能。
2022-09-29 cs.AI cs.LG stat.ML
Graph Neural Network-Inspired Kernels for Gaussian Processes in Semi-Supervised Learning
University of Chicago(芝加哥大学);Argonne National Laboratory(阿贡国家实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
高斯过程(GP)是一类有吸引力的机器学习模型,因为它们的简单性和灵活性作为更复杂的贝叶斯模型的构建块。与此同时,图神经网络(GNNs)最近出现作为一类有前途的模型,图结构的数据在半监督学习和超越。他们的竞争力的表现往往是由于一个正确的捕捉图归纳偏差。在这项工作中,我们将这种归纳偏差引入GP,以提高其对图结构数据的预测性能。我们证明了GNNs的一个突出例子,图卷积网络,当它的层是无限宽时,等价于一些GP;我们深入分析了核的普适性和极限行为。我们进一步提出了一个可编程的程序来组成协方差内核的启发,这种等价性,并获得相应的几个有趣的成员的GNN家庭的示例内核。我们还提出了一个计算效率的近似的协方差矩阵可扩展的后验推理与大规模的数据。我们证明了这些基于图的内核与相应的GNN相比,具有竞争力的分类和回归性能,以及计算时间上的优势。
2023-02-12 cs.LG stat.ML
Discriminative Similarity for Clustering and Semi-Supervised Learning
Snap Research(Snap 研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院);National University of Singapore(新加坡国立大学);Beckman Institute, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校贝克曼研究所)
基于相似性的聚类和半监督学习方法根据数据之间的成对相似性将数据分成簇或类,而成对相似性对它们的性能至关重要。在本文中,我们提出了一种新的判别相似性学习框架,学习判别相似性的数据聚类或半监督学习。该框架从每个假设标签学习分类器,并通过最小化与假设标签相关联的学习分类器的泛化误差来搜索最优标签。核分类器在我们的框架。通过基于拉德马赫复杂度的泛化分析,将核分类器的泛化误差界表示为不同类数据的两两相似度之和,并通过核分类器的权值进行参数化.这种成对相似性作为判别相似性用于聚类和半监督学习的目的,并且具有相似形式的判别相似性也可以由用于核密度分类的积分平方误差界诱导。基于核分类器的判别相似性,我们提出了新的聚类和半监督学习方法。
2017-09-05 cs.LG stat.ML
Determinantal Clustering Processes - A Nonparametric Bayesian Approach to Kernel Based Semi-Supervised Clustering
University of Cambridge(剑桥大学)
半监督聚类是将数据点聚类成簇的任务,其中只有一小部分点被标记。数据中聚类的真实数量通常是未知的,大多数模型都需要这个参数作为输入。狄利克雷过程混合模型是有吸引力的,因为它们可以从数据中推断出聚类的数量。然而,这些模型不能很好地处理高维数据,并且在推理中会遇到困难。我们提出了一种新的非参数贝叶斯内核为基础的方法来聚类数据点,而不需要预先指定集群的数量或模型复杂的密度,数据点被假定为从生成。关键的见解是使用核矩阵的子矩阵的行列式作为一组点之间的距离的度量。我们探讨了模型的一些理论性质,并推导出一个基于自然吉布斯的算法与MCMC超参数学习。该模型在各种合成和真实世界的数据集上实现。
2013-09-26 cs.LG stat.ML
Kernel Multivariate Analysis Framework for Supervised Subspace Learning: A Tutorial on Linear and Kernel Multivariate Methods
特征提取和降维是信号处理和分析等许多科学领域的重要任务。这些技术的相关性正在增加,因为当前的传感器设备被开发为具有更高的分辨率,并且涉及多模式数据源的问题变得更加普遍。大量的特征提取方法可在文献中集体分组在多变量分析(MVA)领域下。本文对主成分分析(PCA)、偏最小二乘(PLS)、典型相关分析(CCA)和正交归一化PLS(OPLS)等方法进行了统一处理,并利用再生核Hilbert空间理论导出了它们的非线性推广。我们还回顾了它们与其他分类和统计依赖估计方法的联系,并介绍了一些最近的发展,以处理大规模和小规模问题的极端情况。为了说明这些方法在分类和回归问题中的广泛适用性,我们分析了它们在公开数据集基准中的性能,并特别注意涉及音乐流派预测音频处理和地球和气候监测高光谱卫星图像的具体实际应用。
2013-10-18 cs.LG stat.ML
Multi-Kernel Regression with Sparsity Constraint
EPFL(洛桑联邦理工学院)
在本文中,我们提供了一个广义全变差(gTV)正则化的监督学习的Banach空间公式。我们确定类的核函数,在这个框架中是允许的。然后,我们提出了一个变化的监督学习在连续域混合搜索空间与gTV正则化。我们表明,该解决方案承认一个自适应位置的多核扩展。在该表示中,活动内核的数量由数据点的数量上限,而gTV正则化对内核系数施加$\ell_1$惩罚。最后,我们数值说明我们的理论的结果。
2020-12-17 cs.LG stat.ML
End-to-End Kernel Learning with Supervised Convolutional Kernel Networks
Inria(法国国家信息与自动化研究所);Laboratoire Jean Kuntzmann(让·昆茨曼实验室);CNRS(法国国家科学研究中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
在本文中,我们介绍了一种新的图像表示的多层核机器的基础上。与传统的核方法不同,在传统的方法中,数据表示与预测任务解耦,我们学习如何用监督来塑造核。我们首先在无监督学习的背景下提出对最近引入的卷积核网络(CKN)的改进;然后,我们推导出反向传播规则,以利用标记的训练数据。由此产生的模型是一种新型的卷积神经网络,其中优化每一层的滤波器相当于学习再生核希尔伯特空间(RKHS)中的线性子空间。我们表明,我们的方法在一些标准的“深度学习”数据集(如CIFAR-10和SVHN)上的图像分类以及图像超分辨率方面都取得了相当有竞争力的性能,证明了我们的方法适用于各种图像相关任务。
2016-10-25 cs.CV cs.LG stat.ML
Subsampling for supervised learning in reproducing kernel Hilbert spaces
针对大数据的计算成本问题,提出基于Horvitz-Thompson加权的经验风险最小化子采样方法,通过协方差算子迹的最优采样方案,实现非参数回归的降本增效。
2026-06-23 cs.LG stat.ML
Supervised Multiple Kernel Learning approaches for multi-omics data integration
CNRS(法国国家科学研究中心);Université de Toulouse(图卢兹大学);Institut Pasteur(巴斯德研究所)
本文提出基于多种核融合策略的监督式MKL方法,并结合支持向量机与深度学习架构,证明其在多组学整合预测中可优于复杂的先进方法。
2024-12-03 cs.LG stat.AP stat.ML
Manually Selecting The Data Function for Supervised Learning of small datasets
Shahid Beheshti University(沙希德·贝赫什提大学)
当缺乏信息时,监督学习问题可能会变得不适定,导致不稳定和非唯一的解决方案。然而,初始化一个信息量很大的不适定算子,而不是仅仅依赖于正则化,这类似于提出更好的问题来获得更准确的答案。第一类Fredholm积分方程(FIFK)是一种可靠的不适定算子,它可以将分布和先验知识作为输入信息进行积分。通过结合输入分布和先验知识,FIFK算子可以通过半监督假设来解决使用高维输入分布的局限性,从而导致积分算子的更精确近似。此外,FIFK的概率原则的结合,可以进一步提高解决方案的准确性和有效性。在噪声算子方程和有限数据的情况下,FIFK在使用先验信息或具有各种内核设计的交叉验证来定义问题方面的灵活性是特别有利的。此功能允许详细的问题定义,并有助于在解决方案中实现高水平的准确性和稳定性。在我们的研究中,我们通过两种不同的方法检查了FIFK。首先,我们通过使用相同的Fredholm算子核和数据函数核,并结合未标记的信息,实现了一个半监督的假设。其次,我们使用了MSDF方法,该方法涉及在方程的两侧选择不同的核来定义映射核与数据函数核何时不同。为了评估FIFK和所提出的方法在解决不适定问题中的有效性,我们在真实世界的数据集上进行了实验。我们的目标是将这些方法的性能与广泛使用的最小二乘法和其他类似方法进行比较。
2023-03-07 cs.LG stat.ML
Self-weighted Multiple Kernel Learning for Graph-based Clustering and Semi-supervised Classification
University of Electronic Science and Technology of China(电子科技大学);JD AI Research(京东人工智能研究院)
多核学习(MKL)方法通常被认为比单核方法性能更好。然而,一些实证研究表明,这并不总是正确的:多个内核的组合甚至可能产生比使用单个内核更差的性能。失败有两个可能的原因:(i)大多数现有的MKL方法假设最优内核是基本内核的线性组合,这可能不成立;以及(ii)由于噪声和粗心设计的算法,一些内核权重被不适当地分配。在本文中,我们提出了一种新的MKL框架,通过以下两个直观的假设:(i)每个内核是共识内核的扰动;(ii)接近共识内核的内核应该被分配一个大的权重。令人印象深刻的是,所提出的方法可以自动分配一个适当的权重,每个内核,而无需引入额外的参数,现有的方法。该框架被集成到一个统一的框架,基于图的聚类和半监督分类。我们在多个基准数据集上进行了实验,实验结果验证了该框架的优越性。
2018-06-20 cs.AI cs.CV cs.LG
Kernel VICReg for Self-Supervised Learning in Reproducing Kernel Hilbert Space
Vision and Image Processing Group, Systems Design Engineering, University of Waterloo, ON, Canada.(图像与图像处理组,系统设计工程,滑铁卢大学,加拿大);Electrical and Computer Engineering, University of Waterloo, ON Canada.(电气与计算机工程,滑铁卢大学,加拿大)
核VICReg通过将VICReg目标引入再生核希尔伯特空间,实现了非线性特征学习,提升了在非线性结构数据上的表现。
2026-03-05 cs.CV cs.LG stat.ML
Approximation beats concentration? An approximation view on inference with smooth radial kernels
Ohio State University(俄亥俄州立大学)
正定核及其相关的再生核希尔伯特空间为从数据中学习提供了一个数学上令人信服且实际上具有竞争力的框架。在本文中,我们采取近似理论的观点来探讨光滑核的各个方面与它们的推理性质。我们分析了核算子和矩阵的特征值衰减,特征函数/特征向量的性质和“傅立叶”系数的功能限制在一个离散的数据点的核空间。我们还研究了核的拟合能力,给出了再生核希尔伯特空间中球的脂肪粉碎维数的明确界限。有趣的是,使核函数在其“原生”核空间中非常有效的逼近器的相同属性,也限制了它们表示任意函数的能力。我们讨论了各种影响,包括那些梯度下降型方法。值得注意的是,我们的大多数边界都是测度独立的。此外,至少在中等维度上,特征值的界限比通常的矩阵集中结果所能得到的界限要严格得多。例如,我们看到核矩阵的特征值显示出近似指数衰减,常数仅取决于核和域。我们称之为“近似节拍集中”现象,因为即使数据是从概率分布中采样的,它们的一些方面在近似理论中也能得到更好的理解。
2018-08-02 cs.LG stat.ML
Quadrature-based features for kernel approximation
Institute of Numerical Mathematics of the Russian Academy of Sciences(俄罗斯科学院数值数学研究所);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
我们考虑通过随机化特征映射来提高核近似的问题。这些映射是作为对核函数的积分表示的蒙特卡罗近似和对更大数据集的扩展核方法而出现的。基于一个有效的数值积分技术,我们提出了一个统一的方法,重新解释以前的随机特征的方法,并扩展到更好的估计核近似。我们得出的收敛行为,并进行了广泛的实证研究,支持我们的假设。
2018-10-29 cs.LG stat.ML
Improvements to Supervised EM Learning of Shared Kernel Models by Feature Space Partitioning
BandGapAI(BandGapAI公司)
期望最大化(EM)通常被认为是一种用于估计混合分布参数的无监督学习方法,然而当类别标签可用时,它也可以用于监督学习。因此,EM已被应用于训练神经网络,包括概率径向基函数(PRBF)网络或共享核(SK)模型。本文解决了以前的工作在这方面的两个主要缺点:缺乏严谨的EM训练算法的推导和计算复杂性的技术,这限制了它的低维数据集。我们首先提出了一个详细的推导EM高斯共享核模型PRBF分类器,利用数据关联理论,以获得完整的数据可能性,鲍姆的辅助功能(E-步骤)和随后的最大化(M-步骤)。为了降低SKEM算法的复杂性,我们将特征空间划分为$R$非重叠的变量子集。所得到的联合数据似然的产品分解,这是准确的,当特征分区是独立的,允许SKEM被并行实现,并在$R^2$倍较低的复杂性。分区SKEM算法的操作演示的MNIST数据集,并与其非分区对应。它最终以降低的复杂性提高性能是可以实现的。与标准分类算法的比较提供了一些其他基准数据集。
2022-05-31 cs.LG stat.ML
A Perturbation-Based Kernel Approximation Framework
Tel-Aviv University(特拉维夫大学)
核方法是各种数据分析任务中的强大工具。然而,在许多情况下,它们的时间和空间复杂度使得它们对于大型数据集不切实际。各种核近似方法被提出来克服这个问题,最突出的方法是Nystr{<$}m方法。在本文中,我们推导出一个基于扰动的核近似框架的基础上,从经典的扰动理论的结果。我们提供了一个错误的分析,这个框架,并证明,事实上,它推广了Nystr{<$}m方法和它的几个变种。此外,我们表明,我们的框架产生了新的核近似方案,可以调整,以利用近似的核矩阵的结构。我们支持我们的理论结果数值和证明我们的近似框架的合成和真实世界的数据的优势。
2022-05-23 cs.LG stat.ML
On the Approximation of Kernel functions
University of Technology, Chemnitz(开姆尼茨工业大学)
本文针对高维紧集上的径向核函数,提出基于 Taylor 级数的核逼近方法,证明 Gauss 核特征函数上界仅多项式增长,并支持更小正则化参数以改进逼近、验证 Nyström 低秩方法。
2024-03-11 cs.LG stat.ML
Supervised Learning with Indefinite Topological Kernels
拓扑数据分析(TDA)是一个新兴的统计学分支,致力于研究数据的形状。在这项工作中,我们研究了TDA在监督学习背景下的预测能力。由于拓扑摘要,最明显的持久性图,通常定义在复杂的空间,我们采用内核的方法来将它们转换为更熟悉的向量空间。我们定义了一个拓扑指数核,我们的特点,我们表明,尽管不是半正定的,它可以成功地用于回归和分类任务。
2017-09-20 math.ST stat.ML stat.TH
Sparse Approximation of a Kernel Mean
University of Michigan(密歇根大学)
在机器学习问题中,核均值经常用于表示概率分布。特别地,众所周知的核密度估计和核均值嵌入都具有核均值的形式。不幸的是,内核方法面临着可扩展性问题。例如,核密度估计器的单点评估需要在训练样本量中线性的计算时间。为了解决这一挑战,我们提出了一种方法来有效地构建一个稀疏近似的内核的意思。我们这样做,首先建立一个基于不相干的边界上的近似误差,然后注意到,对于径向内核的情况下,可以通过解决$k$中心问题的界限最小化。其结果是一个线性时间构造的稀疏核平均值,这也自然地适合于自动稀疏选择方案。我们通过研究涉及核均值的三个问题来展示我们方法的计算增益:分布的欧几里得嵌入,类比例估计和使用均值漂移算法的聚类。
2015-03-01 cs.LG stat.ML
Transductive Kernels for Gaussian Processes on Graphs
University of Oxford(牛津大学);University of Cambridge(剑桥大学);Man AHL(曼恩AHL公司);Invenia Labs(Invenia实验室)
图上的核对于节点级问题的选择有限。为了解决这个问题,我们提出了一种新的,广义的内核与节点特征数据的图半监督学习。核是从正则化框架中导出的,将图形和特征数据视为两个希尔伯特空间。我们还展示了图上的许多基于内核的模型是我们设计的实例。以这种方式定义的内核具有转换属性,这导致在更少的训练点上学习的能力得到提高,以及更好地处理高度非欧几里德数据。我们使用合成数据证明了这些优势,其中整个图的分布可以告知标签的模式。最后,通过在核中使用一个灵活的图拉普拉斯多项式,该模型也可以有效地进行半监督分类的各种水平的同质图。
2022-11-28 cs.LG stat.ML
On Kernel Method-Based Connectionist Models and Supervised Deep Learning Without Backpropagation
University of Florida(佛罗里达大学)
我们提出了一个新的家庭的连接模型的基础上内核机和考虑的问题,学习逐层的组成假设类,即,一个前馈的多层架构,在一个有监督的环境中。在模型方面,我们提出了一个原则性的方法来“内核化”(部分或完全)任何神经网络(NN)。通过这种方法,我们获得了任何给定NN的对应物,该NN由内核机器而不是神经元驱动。在学习方面,当在监督设置中学习前馈深度架构时,需要使用反向传播(BP)同时训练所有组件,因为隐藏层没有明确的目标(Rumelhart86)。我们认为不失一般性的两层的情况下,并提出了一个通用的框架,明确表征的隐藏层的目标是最佳的最小化网络的目标函数。然后,这种特征使得从输入层开始一次学习一层的纯贪婪训练方案成为可能。我们提供了一定的架构和目标函数下的抽象框架的实现。基于这些实现,我们提出了一个逐层训练算法的l层前馈网络的分类,其中l>=2可以是任意的。该算法可以给出一个直观的几何解释,使学习动态透明。实证结果提供补充我们的理论。我们表明,核化的网络,训练层的方式,相比之下,与经典的内核机器,以及其他连接模型训练的BP。我们还可视化了贪婪内核化模型的内部工作原理,以验证我们对逐层算法透明性的声明。
2019-08-22 cs.AI cs.LG stat.ML
A Category Space Approach to Supervised Dimensionality Reduction
Florida Institute of Technology(佛罗里达理工学院);University of Florida(佛罗里达大学)
监督降维是近十年来的一个重要课题。尽管有过多的模型和公式,但缺乏一个简单的模型,其目的是将模式集投影到由类(或类别)定义的空间中。为此,我们建立了一个模型,其中每个类都表示为由特征形成的向量空间的1D子空间。假设类的集合不超过特征的基数,该模型导致多类监督学习,其中每个类的特征被投影到类子空间中。类歧视是自动保证通过强加的正交性的1D类子空间。由此产生的优化问题-公式化为Stiefel流形上的二次函数之和的最小化-虽然是非凸的(由于约束),但是具有当我们达到全局最小值时我们可以识别的结构。在制定一个版本与标准的内积,我们扩展配方再生核希尔伯特空间中一个简单的方式。优化方法也以类似的方式扩展到内核版本。与多类Fisher线性(和核)判别式和主成分分析(线性和核)的结果和比较展示了这种方法的相对优点降维。
2016-10-27 cs.LG stat.ML
On-line Prediction with Kernels and the Complexity Approximation Principle
Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
本文描述了聚集算法在回归问题中的一个应用。它概括了早期的结果与普通的线性回归核技术,并提出了一个在线算法,执行几乎以及任何不经意的核预测。本文包含推导估计的性能,这种算法。估计,然后使用复杂性近似原理的内核方法的应用程序。
2012-07-11 cs.LG stat.ML
Learning the kernel matrix via predictive low-rank approximations
University of Ljubljana(卢布尔雅那大学)
在大数据时代,多个数据源的有效和准确的低秩近似是必不可少的。基于核的学习算法在大数据集上的扩展受到全核矩阵的O(n^2)计算和存储复杂度的限制,这是大多数最近的核学习算法所要求的。我们提出了Mklaren算法来近似多个核矩阵学习回归模型,这是完全基于几何概念。该算法不需要访问完整的内核矩阵,但它占所有内核之间的相关性。它使用不完全Cholesky分解,其中枢轴选择基于组合低维特征空间中的最小角度回归。该算法具有线性复杂度的数据点和核的数量。当显式特征空间诱导的内核可以构建,从对偶到原始岭回归权重的映射用于模型解释。Mklaren算法在8个标准回归数据集上进行了测试。当使用多个内核进行学习时,它优于当代的内核矩阵近似方法。它可以识别相关的内核,在相同的迭代次数下,比其他多内核学习方法获得最高的解释方差。测试精度,相当于一个使用完整的内核矩阵,实现了在显着较低的近似秩。当样本数或内核数超过3000时,观察到两个数量级的运行时间差异。
2016-05-09 cs.LG stat.ML
The Weighted Kendall and High-order Kernels for Permutations
Wellcome Centre for Human Genetics, University of Oxford(牛津大学惠康人类遗传学中心);University of Oxford(牛津大学);MINES ParisTech, PSL Research University(巴黎高等矿业学院,巴黎文理研究大学);Institut Curie, PSL Research University(居里研究所,巴黎文理研究大学);INSERM(法国国家健康与医学研究院);CNRS(法国国家科学研究中心)
我们提出了新的正定核置换。首先,我们引入一个加权版本的肯德尔内核,它允许不平等的权重不同的项目对的排列,根据其排名的贡献。像肯德尔内核,我们表明,加权版本是不变的重新标记的项目,可以有效地计算在$O(n \ln(n))$操作,其中$n$是在排列中的项目数。其次,我们提出了一种有监督的方法来学习的权重,通过联合优化它们与内核机器估计的功能。第三,虽然Kendall核考虑项目之间的成对比较,但我们通过考虑项目元组之间的高阶比较来扩展它,并表明学习权重的监督方法可以系统地推广到高阶置换核。
2018-06-12 cs.LG stat.ML
Supervised Machine Learning with a Novel Kernel Density Estimator
近年来,核密度估计已被计算机科学家用来建模机器学习问题。基于核密度估计的方法由于构造分类器的O(n)或O(n*log(n))的低时间复杂度而受到关注,其中n是采样实例的数量。关于核密度估计器的设计,一个基本问题是逐点均方误差(MSE)和/或积分均方误差(IMSE)随着采样实例数的增加而减小的速度有多快。在这篇文章中,它表明,与建议的核函数是可行的,使点态MSE的密度估计收敛于O(n^-2/3)的向量空间的维数无关,只要在感兴趣的点的概率密度函数满足一定的条件。
2007-10-16 stat.ML
Scalable Kernel K-Means Clustering with Nystrom Approximation: Relative-Error Bounds
Stevens Institute of Technology(斯蒂文斯理工学院);Rensselaer Polytechnic Institute(伦斯勒理工学院);International Computer Science Institute(国际计算机科学研究所);University of California at Berkeley(加州大学伯克利分校)
核$k$ -均值聚类算法比线性$k$ -均值聚类算法能够正确地识别和提取更多样的聚类结构集合。然而,核$k$ -均值聚类是计算昂贵的非线性特征映射是高维的,有很多输入点。核近似,例如,Nyström方法,已被应用在以前的工作,以近似解决内核学习问题时,上述两个条件都存在。这项工作分析了这种范例的应用内核$k$ -均值聚类,并表明,应用线性$k$ -均值聚类算法的$\frac{k}ε (1 + o(1))$功能构建使用所谓的秩限制Nyström近似结果在集群分配,满足$1 + ε$近似比的内核$k$ -均值成本函数,相对于不使用Nyström方法的相同算法提供的保证。作为分析的一部分,这项工作建立了一个新的$1 + ε$相对误差跟踪范数保证低秩近似使用秩限制Nyström近似。在$8.1$百万实例MNIST 8 M数据集上的实证评估证明了内核$k$均值聚类与Nyström近似的可扩展性和实用性。这项工作认为,谱聚类使用Nyström近似-一个流行的和计算效率高,但理论上不健全的方法,非线性聚类-应取代内核$k$ -均值聚类Nyström近似的有效和理论上合理的组合。后一种方法的优越性能是经验验证。
2019-02-10 cs.LG stat.ML
FAVOR#: Sharp Attention Kernel Approximations via New Classes of Positive Random Features
University of Cambridge(剑桥大学);Google Research(谷歌研究院);Columbia University(哥伦比亚大学);The Alan Turing Institute(艾伦·图灵研究所)
由高斯或softmax内核引起的线性算子的有效近似问题通常使用随机特征(RF)来解决,这些随机特征产生算子结果的无偏近似。这样的运营商出现在重要的应用程序,从核方法,以有效的Transformers。我们提出了参数化的,积极的,非三角RF近似高斯和软最大内核。与传统的RF近似相比,这些新方法的参数可以被优化以减小近似的方差,并且最优值可以以封闭形式表示。我们表明,我们的方法导致方差减少在实践中($e^{10}$倍更小的方差和超越),并优于以前的方法在内核回归任务。使用我们提出的机制,我们还提出了FAVOR#,一种自注意力近似的方法在Transformers。我们表明,FAVOR#优于其他随机特征的方法在语音建模和自然语言处理。
2023-02-01 cs.LG stat.ML
Towards Unbiased Random Features with Lower Variance For Stationary Indefinite Kernels
Institute of Image Processing and Pattern Recognition Shanghai Jiao Tong University(上海交通大学图像处理与模式识别研究所)
随机傅立叶特征(RFF)在大规模情况下的核近似中表现出良好的性能,但限制核是平稳和正定的。对于非平稳核函数,当输入被限制在单位球面上时,相应的RFF可以转化为平稳不定核函数的RFF。许多方法提供了可访问的方法来近似固定但不确定的内核。然而,它们要么是有偏差的,要么具有很大的方差。本文提出了一种具有较低方差的无偏估计--广义正交随机特征,在不同数据集和核函数上的实验结果表明,与现有的核函数逼近方法相比,该算法具有较低的方差和逼近误差。在支持向量机和回归的框架下,我们的近似算法更好地逼近原始选择的核,提高了分类精度和回归能力。
2021-04-14 cs.LG stat.ML
Parameter-Free Spectral Kernel Learning
由于未标记数据的普遍存在,使用未标记数据进行学习在机器学习中引起了越来越多的关注。本文提出了一种新的半监督核学习方法,该方法可以无缝地结合未标记数据的流形结构和正则化最小二乘(RLS)来学习新的核。有趣的是,新的核矩阵可以通过使用图拉普拉斯矩阵的谱分解来解析地获得。因此,该算法不需要任何数值优化求解器。此外,通过最大化标记数据上的核目标对齐,我们还可以使用封闭形式的解决方案自动学习模型参数。对于给定的图拉普拉斯矩阵,我们提出的方法不需要调整任何模型参数,包括RLS中的权衡参数和未标记数据的平衡参数。在10个基准数据集上的大量实验表明,我们提出的两阶段无参数谱核学习算法在换能环境下可以获得与微调流形正则化方法相当的性能,在监督环境下优于多核学习。
2012-03-15 cs.LG stat.ML
Supervised Kernel Thinning
Cornell Tech, Cornell University(康奈尔科技学院,康奈尔大学)
本研究将核压缩(KT)算法推广至有监督核学习场景,结合Nadaraya-Watson回归与核岭回归实现训练推理的二次加速,证明其兼具更优计算与统计效率,并给出新的乘法误差保证,经实验验证有效。
2025-01-15 cs.LG math.ST stat.ML
Generalization Guarantees for Sparse Kernel Approximation with Entropic Optimal Features
Texas A&M University(得克萨斯农工大学)
尽管核方法取得了成功,但在实践中,它们的计算成本很高。在本文中,在代替常用的内核扩展相对于$N$输入,我们开发了一种新的最优设计内核功能之间的熵最大化。该过程导致相对于熵最优特征(Entropy Optimal Features,EVM)的核扩展,由于特征的不相似性而显著地改善了数据表示。在温和的技术假设下,我们的泛化界限表明,仅使用$O(N^{\frac{1}{4}})$特征(不考虑对数因子),我们可以实现最佳统计准确性(即,$O(1/\sqrt{N})$)。我们的设计的显着特点是它的稀疏性,显着降低了时间和空间成本。我们在基准数据集上的数值实验验证了该方法在核近似方面优于现有的核近似方法。
2020-02-11 cs.LG stat.ML
Supervised quantum machine learning models are kernel methods
随着近期量子设备的问世和容错量子计算机的竞争如火如荼,研究人员开始对这样一个问题感兴趣:如果我们用量子线路取代监督机器学习模型,会发生什么。虽然这种“量子模型”有时被称为“量子神经网络”,但人们一再注意到,它们的数学结构实际上与核方法的关系更为密切:它们分析高维希尔伯特空间中的数据,我们只能通过测量揭示的内积来访问这些数据。这份技术手稿总结并扩展了系统地将监督量子模型作为核心方法的想法。有了这一点,许多近期和容错的量子模型可以取代一般的支持向量机,其内核计算数据编码量子态之间的距离。基于核的训练可以保证找到比变分电路训练更好或同样好的量子模型。总的来说,量子机器学习的核心观点告诉我们,数据编码成量子态的方式是可能将量子模型与经典机器学习模型区分开来的主要因素。
2021-04-17 quant-ph stat.ML
Improved Convergence Rates for Sparse Approximation Methods in Kernel-Based Learning
MediaTek Research(联发科研究院);National University of Singapore(新加坡国立大学)
核岭回归和高斯过程等基于核的模型在用于回归和优化的机器学习应用中是普遍存在的。众所周知,基于内核的模型的一个主要缺点是计算成本高;给定$n$样本的数据集,成本随着$\mathcal{O}(n^3)$而增长。现有的稀疏近似方法可以显著降低计算成本,在某些情况下有效地将实际成本降低到低至$\mathcal{O}(n)$。尽管这一显着的经验成功,显着的差距仍然存在于现有的结果的分析界限的误差,由于近似。在这项工作中,我们提供了新的置信区间的Nyström方法和稀疏变分高斯过程近似方法,我们建立使用新的解释近似(替代)后验方差的模型。我们的置信区间导致在回归和优化问题的性能界限改善。
2022-06-18 cs.LG stat.ML
On Column Selection in Approximate Kernel Canonical Correlation Analysis
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
我们使用Nyström近似研究了大规模核典型相关分析(KCCA)中的列选择问题,其中使用训练集中的“地标”点近似两个半正定核矩阵。当在KCCA中构建低秩核近似时,以前的工作主要是从训练集中随机均匀采样地标。我们提出了新的策略,采样的地标不均匀的基础上最近开发的核岭回归的统计杠杆分数的版本。我们研究了所提出的非均匀采样策略的近似精度,开发了一个增量算法,探索路径的近似秩,有利于有效的模型选择,并推导出我们的方法的样本外映射的核稳定性。在合成和真实世界数据集上的实验结果证明了我们的方法的前景。
2016-02-05 cs.LG stat.ML
Supervised Kernel PCA For Longitudinal Data
在统计学习中,协变量的高维性对稳健的预测和推断提出了挑战。为了解决这一挑战,通常执行监督降维,其中对于具有较小维度的所选协变量子空间,对结果的依赖性被最大化。普遍的降维技术假设数据是$i.i.d.$,这不适用于包含多个受试者的纵向数据,这些受试者随时间重复测量。在本文中,我们推导出一个分解的希尔伯特-施密特独立性准则作为监督损失函数的纵向数据,使集群之间和集群内分别降维,并提出了一个降维技术,$sklPCA$,执行这种分解的降维。我们还表明,这种技术产生优越的模型精度相比,它扩展的模型。
2018-08-23 stat.ME stat.ML
Self-Supervised Learning with Kernel Dependence Maximization
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);DeepMind;UCL(伦敦大学学院);UBC(英属哥伦比亚大学);Amii(阿尔伯塔机器智能研究所)
我们从统计依赖的角度来研究图像表示的自监督学习,提出了基于希尔伯特-施密特独立准则的自监督学习(SSL-HSIC)。SSL-HSIC最大化图像变换的表示与图像身份之间的依赖性,同时最小化这些表示的核化方差。这个框架产生了一个新的理解InfoNCE,不同的转换之间的互信息(MI)的变分下界。虽然MI本身是已知的病理学,可以导致学习无意义的表示,它的界限是更好的表现:我们表明,它隐式近似SSL-HSIC(与略有不同的正则化)。我们的方法还让我们深入了解BYOL,一种无负SSL方法,因为SSL-HSIC类似地学习样本的局部邻域。SSL-HSIC允许我们直接优化批量大小中时间线性的统计相关性,而无需限制性数据假设或间接互信息估计。无论是否使用目标网络进行训练,SSL-HSIC都可以匹配ImageNet上的标准线性评估、半监督学习以及转移到其他分类和视觉任务(如语义分割、深度估计和对象识别)的最新技术水平。代码可在https://github.com/deepmind/ssl_hsic上获得。
2021-12-02 cs.AI cs.CV cs.LG
Universal Approximation of Markov Kernels by Shallow Stochastic Feedforward Networks
Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所)
我们建立了隐单元的最小数量的上界,其中一个二进制随机前馈网络与sigmoid激活概率和一个单一的隐藏层是一个普遍的近似马尔可夫核。我们表明,每个可能的概率分配的$n$输出单元的状态,给定的$k\geq1$输入设备的状态,可以近似任意以及由网络与$2^{k-1}(2^{n-1}-1)$隐藏的单位。
2015-03-24 cs.LG stat.ML
On Kernel Derivative Approximation with Random Fourier Features
École Polytechnique(巴黎综合理工学院);Pennsylvania State University(宾夕法尼亚州立大学)
随机傅立叶特征(RFF)代表了机器学习中最流行和最广泛的技术之一,以扩展内核算法。尽管RFF的许多成功的应用,不幸的是,相当少的理解理论上的最优性和其性能的限制。直到最近,已经建立了精确的数学计算权衡RFFs的近似核值,核岭回归,核PCA和SVM分类。我们的目标是引发调查的最优性RFF为基础的近似任务,不仅涉及函数值,但衍生物,这自然会导致优化问题的内核衍生物。特别是,在本文中,我们专注于核衍生物的RFF的逼近质量,并证明现有的有限样本的保证,可以提高指数的领域,他们持有,使用最近的工具,从无界经验过程理论。我们的结果意味着,相同的近似保证是可实现的内核衍生物使用RFF实现内核值。
2019-02-09 cs.LG math.PR stat.ML
Local Random Feature Approximations of the Gaussian Kernel
EURECOM(欧洲通信学院)
基于核的统计模型的一个根本缺点是它们对大数据集的可扩展性有限,这需要诉诸近似。在这项工作中,我们专注于流行的高斯内核和技术,线性化基于内核的模型,通过随机特征近似。特别是,我们这样做,通过研究较少探索的随机特征近似基于麦克劳林展开和多项式草图。我们发现,这种方法在对高频数据进行建模时效果不佳,我们提出了一种新的本地化方案,该方案可以显着提高内核近似和下游性能。我们证明了这些收益的实验涉及应用高斯过程回归的合成和真实世界的数据的不同的数据大小和维度。
2022-04-12 cs.LG stat.CO stat.ML
Low-Precision Random Fourier Features for Memory-Constrained Kernel Approximation
Stanford University(斯坦福大学)
我们研究如何训练核近似方法,以及推广下的内存预算。最近的理论工作的基础上,我们定义了一个核近似误差的措施,我们发现是更预测的经验泛化性能的核近似方法比传统的度量。这个定义的一个重要结果是,核近似矩阵必须是高秩的,以达到接近的近似。由于存储高阶近似是内存密集型的,我们建议使用随机傅立叶特征(LP-RFFs)的低精度量化来构建一个高阶近似下的内存预算。从理论上讲,我们表明,量化的泛化性能在重要的设置可以忽略不计的影响。从经验上讲,我们在四个基准数据集上证明了LP-RFF可以与全精度RFF和Nyström方法的性能相匹配,内存分别减少了3x-10 x和50 x-460 x。
2019-03-20 cs.AI cs.LG stat.ML
Multiresolution Kernel Approximation for Gaussian Process Regression
高斯过程回归通常在不应用某种核近似方法的情况下不扩展到超过几千个数据点。大多数近似集中在核矩阵$K$的谱的高特征值部分,这在核的长度尺度小时导致差的性能。在本文中,我们介绍了多分辨率核近似(MKA),第一个真正的宽带核近似算法。关于MKA的重要点是它是内存有效的,并且它是一种直接方法,这意味着它也可以很容易地近似$K^{-1}$和$\mathop{\textrm{det}}(K)$。
2018-01-30 stat.ML
Roweis Discriminant Analysis: A Generalized Subspace Learning Method
University of Waterloo(滑铁卢大学)
提出了一种基于特征值和广义特征值问题的子空间学习方法。这种方法,Roweis判别分析(RDA),是以Sam Roweis的名字命名的,他在子空间学习领域有着重要的贡献。RDA是一系列无限数量的算法,其中主成分分析(PCA)、监督PCA(SPCA)和Fisher判别分析(FDA)是特殊情况。一个极端的特殊情况,我们称之为双重监督判别分析(DSDA),使用两次标签;它是新颖的,并没有出现在其他地方。我们提出了一个双重的RDA的一些特殊情况。我们还提出了核RDA,推广核PCA,核SPCA和核FDA,使用双重RDA和表示理论。我们的理论分析解释了以前已知的事实,如为什么SPCA可以使用回归,但FDA不能,为什么PCA和SPCA有卷积,但FDA没有,为什么内核PCA和内核SPCA使用内核技巧,但内核FDA没有,以及为什么PCA是最好的线性重建方法。Roweisfaces和内核Roweisfaces也提出了推广的特征脸,Fisherfaces,监督特征脸,和他们的内核变种。我们还报告了一些基准数据集上的实验表明RDA和内核RDA的有效性。
2019-10-11 cs.CV cs.LG stat.ML
A Linear Approximation to the chi^2 Kernel with Geometric Convergence
Georgia Institute of Technology(佐治亚理工学院);Lund University(隆德大学)
我们提出了一个新的解析近似的$χ^2$内核,几何收敛。解析逼近是用初等方法推导出来的,并适应于最佳收敛速度的输入分布。实验表明,新的近似导致图像分类和语义分割任务使用随机傅立叶特征近似的$\exp-χ^2$内核的性能提高。此外,核外主成分分析(PCA)方法被引入到减少近似的维数,并取得更好的性能,在代价只有一个额外的常数因子的时间复杂度。此外,当对训练数据和未标记测试数据联合执行PCA时,可以获得进一步的性能改善。对PASCAL VOC 2010分割和ImageNet ILSVRC 2010数据集进行的实验显示,与替代近似方法相比,统计学上有显着改进。
2013-06-12 cs.CV cs.LG stat.ML
Lecture notes: Efficient approximation of kernel functions
IIT Delhi(印度理工学院德里分校)
这些课堂讲稿试图在一个地方收集所需的数学背景,以了解一般的内核和随机傅立叶特征近似的Rahimi和Recht(NIPS 2007)。我们以支持向量机为例简要介绍了内核在机器学习中的使用。我们详细讨论了正定核和条件负定核。在简要讨论了Hilbert空间,包括再生核Hilbert空间的构造之后,我们给出了Mercer定理。我们讨论了随机傅立叶特征技术,然后提出,证明,标量和矩阵浓度的结果,帮助我们估计所产生的技术的错误。这些笔记是2020年1月至4月期间在IIT德里举行的10场讲座的转录。
2020-05-04 cs.LG math.PR stat.ML
Kernel-Based Function Approximation for Average Reward Reinforcement Learning: An Optimist No-Regret Algorithm
MediaTek Research(联发科研究院);TU Delft(代尔夫特理工大学)
该研究针对无限视野平均奖励强化学习场景,提出一种基于核函数逼近的乐观无悔算法,建立了对应性能保证,并推导了适用于多种强化学习问题的核基期望价值函数预测置信区间。
2024-10-30 cs.AI cs.LG stat.ML
Distributed Adaptive Sampling for Kernel Matrix Approximation
INRIA Lille - Nord Europe(法国国家信息与自动化研究所里尔-北欧分部)
大多数基于核的方法,如核或高斯过程回归、核PCA、ICA或$k$均值聚类,不能扩展到大数据集,因为构建和存储核矩阵$\mathbf{K}_n$至少需要$n$样本的$\mathcal{O}(n^2)$时间和空间。最近的工作表明,根据其岭杠杆分数(RLS)替换的采样点生成相关点的小字典与强谱近似保证$\mathbf{K}_n$。基于RLS的方法的缺点是计算精确的RLS需要构造和存储整个核矩阵。在本文中,我们介绍SQUEAK,一个新的算法的核近似的基础上RLS采样,顺序处理的数据集,存储一个字典,创建准确的核矩阵近似与一些点,只取决于有效的尺寸$d_{eff}(γ)$的数据集。此外,由于所有的RLS估计仅使用小字典有效地执行,SQUEAK是第一个不构造整个矩阵$\mathbf{K}_n$的RLS采样算法,在线性时间$\widetilde{\mathcal{O}}(nd_{eff}(γ)^3)$ w.r. t中运行。$n$,并且只需要对数据集进行一次遍历。我们还提出了一个并行和分布式版本的SQUEAK,在多台机器上线性扩展,在尽可能短的$\widetilde{\mathcal{O}}(\log(n)d_{eff}(γ)^3)$时间内实现类似的精度。
2018-03-27 cs.DS cs.LG stat.ML
Supervised Learning and Model Analysis with Compositional Data
University of Copenhagen(哥本哈根大学);Helmholtz Munich(亥姆霍兹慕尼黑中心);Technical University of Munich(慕尼黑工业大学)
针对成分数据监督学习现有方法的缺陷,提出核框架KernelBiome,兼具优异预测性能与可解释性,已应用于微生物组研究并开源。
2022-11-11 cs.LG stat.AP stat.ML
Fast Statistical Leverage Score Approximation in Kernel Ridge Regression
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
Nyström近似是一种快速随机化方法,通过对目标函数中出现的n乘n经验核矩阵进行子采样,快速解决核岭回归(KRR)问题。然而,这种子采样方法的性能严重依赖于正确估计用于形成采样分布的统计杠杆分数,这可能与求解原始KRR一样昂贵。在这项工作中,我们提出了一个线性时间(模poly-log项)算法,以准确地近似的统计杠杆分数在静态内核为基础的KRR与理论保证。特别地,通过分析KRR目标的一阶条件,我们推导出一个解析公式,该公式取决于输入分布和平稳核的谱密度,用于捕获统计杠杆分数的非均匀性。数值实验表明,在相同的预测精度,我们的方法是数量级更有效的比现有的方法在Nyström近似选择的代表性的子样本。
2021-03-09 cs.LG stat.CO stat.ML
Sampling-based Nyström Approximation and Kernel Quadrature
University of Oxford(牛津大学)
本文分析了正定核的Nyström近似,利用统计学习理论证明了i.i.d.抽样下传统方法的改进误差界,提出了适用于非i.i.d.地标点的子空间精炼选择方法,并探讨了其在凸核求积中的理论保证与数值表现。
2023-05-23 cs.LG cs.NA math.NA
Latent regularization for feature selection using kernel methods in tumor classification
Institut Charles Delaunay, Universite de Technologie de Troyes(特鲁瓦理工大学夏尔·德洛纳研究所);Biomedicine Research Institute of Buenos Aires - Max Planck Partner Institute(布宜诺斯艾利斯生物医学研究所-马克斯·普朗克伙伴研究所);Universidad Tecnologica Nacional Buenos Aires(布宜诺斯艾利斯国立理工大学)
癌症肿瘤的转录组学以数万个基因表达特征为特征。患者预后或肿瘤分期可以通过机器学习技术进行评估,如给定基因表达谱的监督分类任务。特征选择是一种有效的筛选肿瘤关键基因的方法。在这项工作中,我们提出了一种基于多核学习的特征选择方法,该方法可以减少基因子集和自定义内核,从而在用于支持向量分类时提高分类性能。在特征选择过程中,该方法通过引入从非线性降维模型学习的潜在空间获得的无监督结构来放松监督目标问题,从而执行新的潜在正则化。与其他有监督的特征选择方法相比,当用所提出的方法选择的特征训练分类器时,通过对新的未知测试样本的肿瘤分类性能来获得和评估泛化能力的提高。
2020-04-10 cs.CV cs.LG eess.IV
Non-linear reduced modeling of dynamical systems using kernel methods and low-rank approximation
本文提出将动力系统轨迹嵌入 RKHS,并结合低秩约束优化闭式解与核计算,实现非线性动力学的数据驱动高效降阶建模。
2025-02-19 stat.ML
Random Fourier Features for Kernel Ridge Regression: Approximation Bounds and Statistical Guarantees
Tel Aviv University(特拉维夫大学);EPFL(洛桑联邦理工学院);MIT(麻省理工学院)
随机傅立叶特征是扩展核方法(如核岭回归)的最流行技术之一。然而,尽管令人印象深刻的经验结果,随机傅立叶特征的统计特性仍然没有得到很好的理解。在本文中,我们将采取措施填补这一空白。具体而言,我们从谱矩阵近似的角度来处理随机傅立叶特征,给出实现谱近似所需的傅立叶特征的数量上的严格界限,并显示谱矩阵近似的界限如何意味着核岭回归的统计保证。定性地,我们的结果是双重的:一方面,我们表明,随机傅立叶特征近似可以证明在合理的假设下加快核岭回归。与此同时,我们表明,该方法是次优的,从傅立叶空间中的修改后的分布采样,由内核的杠杆函数,产生可证明更好的性能。我们研究了高斯核的最佳采样分布,实现了低维有界数据集的情况下几乎完整的表征。基于此特性,我们提出了一个有效的采样方案,保证优于随机傅立叶特征在这个政权。
2018-05-21 cs.DS cs.LG cs.NA
Supervised Machine Learning with a Novel Pointwise Density Estimator
提出了一种基于密度估计的有监督机器学习算法。该算法生成分类器的时间复杂度为O(n),其中n是训练数据集中的采样实例数。在涉及大型且仍在增长的数据库的当代应用中,此功能是非常理想的。与基于核密度估计的方法相比,该算法的数学基础不是基于训练样本数趋于无穷的假设。因此,在某些情况下,利用所提出的算法生成的分类器可以提供比基于核密度估计的分类器更高的预测准确度。
2007-11-06 math.ST stat.ML stat.TH