Scalable Learning in Reproducing Kernel Krein Spaces
King’s College London(伦敦国王学院);University of Nottingham(诺丁汉大学)
我们提供了第一个数学上完整的推导的Nyström方法的低秩近似的不定内核,并提出了一个有效的方法,找到一个近似的特征分解这样的内核矩阵。在此基础上,我们设计了高度可扩展的方法来学习再生核Kre \u <$n空间。所设计的方法提供了一个原则和理论上有充分依据的手段来解决大规模的学习问题与不确定的内核。我们工作的主要动机来自于结构化表示的问题(例如,图形、字符串、时间序列),其中相对容易基于领域专家的直觉和/或知识来设计成对(DIS)相似性函数。这些函数通常不是正定的,并且通常远远超出实践者的专业知识来验证这种情况。设计的方法的有效性进行评估经验上使用结构化和矢量数据表示定义的不确定内核。
2019-05-30 cs.LG stat.ML
Signed random Fourier features for fast density estimation with indefinite kernels
University of Oxford(牛津大学);Beijing Normal-Hong Kong Baptist University(北京师范大学-香港浸会大学联合国际学院)
该研究针对随机傅里叶特征仅适用于正定核的局限,提出适用于不定核的有符号随机傅里叶特征,实现了大规模核密度估计的加速,在百万点数据集上验证了其效率与准确性。
2026-09-01 cs.LG math.PR stat.CO
Coefficient-based Regularized Distribution Regression
Zhejiang University(浙江大学);Fudan University(复旦大学)
本文考虑再生核Hilbert空间(RKHS)上基于系数的正则化分布回归,其目的是从概率测度回归到实值响应,其中系数被正则化,核被假定为不确定的.该算法包括两个阶段的采样,第一阶段的样本由分布和第二阶段的样本从这些分布获得。研究了该算法在回归函数不同正则范围内的渐近行为,并通过积分算子技术推导出了学习率。在一定的条件下,得到了与一阶段抽样minimax最优速率相匹配的最优速率。与已有的分布回归的核方法相比,该算法不要求核是对称的和半正定的,从而为设计不确定的核方法提供了一个简单的范例,丰富了分布回归的研究内容.据我们所知,这是第一个不确定核分布回归的结果,我们的算法可以改善饱和效应。
2022-08-26 cs.LG stat.ML
Supervised Kernel Thinning
Cornell Tech, Cornell University(康奈尔科技学院,康奈尔大学)
本研究将核压缩(KT)算法推广至有监督核学习场景,结合Nadaraya-Watson回归与核岭回归实现训练推理的二次加速,证明其兼具更优计算与统计效率,并给出新的乘法误差保证,经实验验证有效。
2025-01-15 cs.LG math.ST stat.ML
Semi-supervised Deep Kernel Learning: Regression with Unlabeled Data by Minimizing Predictive Variance
Stanford University(斯坦福大学)
训练深度学习模型通常需要大量标记数据。然而,对于许多现实问题,获取额外的数据可能是昂贵的,甚至是不可能的。我们提出了半监督深度核学习(SSDKL),这是一种基于后验正则化框架中最小化预测方差的半监督回归模型。SSDKL将神经网络的分层表示学习与高斯过程的概率建模能力相结合。通过利用未标记的数据,我们展示了对各种现实回归任务的改进,这些任务优于有监督的深度内核学习和半监督方法,如适用于回归的VAT和平均教师。
2019-03-04 cs.AI cs.LG stat.ML
Gradient-based kernel dimension reduction for supervised learning
The Institute of Statistical Mathematics(统计数学研究所);National University of Singapore(新加坡国立大学)
本文提出了一种新的核方法,用于监督学习的线性降维。降维的目的是在输入空间中找到方向,以尽可能有效地解释输出。该方法基于再生核Hilbert空间上的协方差算子,对回归函数的梯度进行估计。与现有的方法相比,该方法具有广泛的适用性,无需对变量的分布或类型进行强假设,并且使用计算简单的特征分解。实验结果表明,该方法能够有效地找到有效的方向与高效的计算。
2011-09-02 cs.LG stat.ML
Joint Embedding Self-Supervised Learning in the Kernel Regime
MIT(麻省理工学院);Meta AI, FAIR(元人工智能 基础人工智能研究团队);Turing Inc.(图灵公司);NYU(纽约大学)
自监督学习(SSL)的基本目标是生成有用的数据表示,而无需访问用于对数据进行分类的任何标签。SSL中的现代方法基于样本之间已知或构建的关系形成表示,在此任务中特别有效。在这里,我们的目标是扩展这个框架,将算法的内核方法的基础上,嵌入构造的线性映射作用于内核的特征空间。在这个内核政权,我们推导出的方法来找到对比和非对比损失函数的输出表示的最佳形式。该过程产生具有表示为诱导核的内积的新表示空间,诱导核通常使通过核空间中的增广而相关的点相关,并且使点去相关。我们在小数据集上分析我们的内核模型,以识别自监督学习算法的共同特征,并从理论上了解它们在下游任务上的性能。
2022-09-29 cs.AI cs.LG stat.ML
Supervised Machine Learning with a Novel Kernel Density Estimator
近年来,核密度估计已被计算机科学家用来建模机器学习问题。基于核密度估计的方法由于构造分类器的O(n)或O(n*log(n))的低时间复杂度而受到关注,其中n是采样实例的数量。关于核密度估计器的设计,一个基本问题是逐点均方误差(MSE)和/或积分均方误差(IMSE)随着采样实例数的增加而减小的速度有多快。在这篇文章中,它表明,与建议的核函数是可行的,使点态MSE的密度估计收敛于O(n^-2/3)的向量空间的维数无关,只要在感兴趣的点的概率密度函数满足一定的条件。
2007-10-16 stat.ML
The Responsibility Weighted Mahalanobis Kernel for Semi-Supervised Training of Support Vector Machines for Classification
University of Kassel(卡塞尔大学)
支持向量机(SVM)中的核函数需要评估输入样本的相似性,以便例如对这些样本进行分类。除了诸如高斯(即,径向基函数(RBF)或多项式核,也有特定的核被定制为考虑数据中的结构以进行相似性评估。在本文中,我们将通过概率混合密度模型来捕获数据中的结构,例如在实值输入空间的情况下的高斯混合。从这些模型中固有包含的距离度量,例如,马氏距离的高斯混合的情况下,我们推导出一个新的核,责任加权马氏(RWM)核。基本上,该内核强调模型组件的影响,假设任何两个被比较的样本都来自模型组件(即“负责的”模型组件)。我们将看到,在许多部分标记数据可用的应用中,该内核优于RBF内核和其他捕获数据结构的内核(例如Laplacian SVM中的KNN内核),即,用于SVM的半监督训练。其他关键优点是RWM内核可以很容易地与标准SVM实现和训练算法(如顺序最小优化)一起使用,并且可以很容易地将C-SVM中RBF内核的参数化方法转移到这个新内核中。RWM内核的性能证明了20个基准数据集和训练数据中标记样本的百分比不断增加。
2015-02-16 cs.LG stat.ML
End-to-End Kernel Learning with Supervised Convolutional Kernel Networks
Inria(法国国家信息与自动化研究所);Laboratoire Jean Kuntzmann(让·昆茨曼实验室);CNRS(法国国家科学研究中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
在本文中,我们介绍了一种新的图像表示的多层核机器的基础上。与传统的核方法不同,在传统的方法中,数据表示与预测任务解耦,我们学习如何用监督来塑造核。我们首先在无监督学习的背景下提出对最近引入的卷积核网络(CKN)的改进;然后,我们推导出反向传播规则,以利用标记的训练数据。由此产生的模型是一种新型的卷积神经网络,其中优化每一层的滤波器相当于学习再生核希尔伯特空间(RKHS)中的线性子空间。我们表明,我们的方法在一些标准的“深度学习”数据集(如CIFAR-10和SVHN)上的图像分类以及图像超分辨率方面都取得了相当有竞争力的性能,证明了我们的方法适用于各种图像相关任务。
2016-10-25 cs.CV cs.LG stat.ML
Self-weighted Multiple Kernel Learning for Graph-based Clustering and Semi-supervised Classification
University of Electronic Science and Technology of China(电子科技大学);JD AI Research(京东人工智能研究院)
多核学习(MKL)方法通常被认为比单核方法性能更好。然而,一些实证研究表明,这并不总是正确的:多个内核的组合甚至可能产生比使用单个内核更差的性能。失败有两个可能的原因:(i)大多数现有的MKL方法假设最优内核是基本内核的线性组合,这可能不成立;以及(ii)由于噪声和粗心设计的算法,一些内核权重被不适当地分配。在本文中,我们提出了一种新的MKL框架,通过以下两个直观的假设:(i)每个内核是共识内核的扰动;(ii)接近共识内核的内核应该被分配一个大的权重。令人印象深刻的是,所提出的方法可以自动分配一个适当的权重,每个内核,而无需引入额外的参数,现有的方法。该框架被集成到一个统一的框架,基于图的聚类和半监督分类。我们在多个基准数据集上进行了实验,实验结果验证了该框架的优越性。
2018-06-20 cs.AI cs.CV cs.LG
Supervised quantum machine learning models are kernel methods
随着近期量子设备的问世和容错量子计算机的竞争如火如荼,研究人员开始对这样一个问题感兴趣:如果我们用量子线路取代监督机器学习模型,会发生什么。虽然这种“量子模型”有时被称为“量子神经网络”,但人们一再注意到,它们的数学结构实际上与核方法的关系更为密切:它们分析高维希尔伯特空间中的数据,我们只能通过测量揭示的内积来访问这些数据。这份技术手稿总结并扩展了系统地将监督量子模型作为核心方法的想法。有了这一点,许多近期和容错的量子模型可以取代一般的支持向量机,其内核计算数据编码量子态之间的距离。基于核的训练可以保证找到比变分电路训练更好或同样好的量子模型。总的来说,量子机器学习的核心观点告诉我们,数据编码成量子态的方式是可能将量子模型与经典机器学习模型区分开来的主要因素。
2021-04-17 quant-ph stat.ML
Supervised Multiple Kernel Learning approaches for multi-omics data integration
CNRS(法国国家科学研究中心);Université de Toulouse(图卢兹大学);Institut Pasteur(巴斯德研究所)
本文提出基于多种核融合策略的监督式MKL方法,并结合支持向量机与深度学习架构,证明其在多组学整合预测中可优于复杂的先进方法。
2024-12-03 cs.LG stat.AP stat.ML
Semi-supervised Kernel Metric Learning Using Relative Comparisons
UC - Santa Cruz(加州大学圣克鲁兹分校);Aalto University(阿尔托大学);Helsinki Institute for Information Technology(赫尔辛基信息技术研究所);Finnish Institute of Occupational Health(芬兰职业健康研究所)
我们考虑的问题的度量学习受一组约束的数据项之间的相对距离比较。这样的约束意味着反映没有直接在数据项的特征向量中表达的边信息。在这项工作中使用的相对距离约束是特别有效的表达结构在更精细的细节层次比必须链接(ML)和不能链接(CL)的约束,这是最常用的半监督聚类。因此,相对距离约束在提供ML或CL约束是困难的设置中是有用的,因为真实聚类的粒度是未知的。我们的主要贡献是一个有效的算法学习的核矩阵使用的对数行列式发散-一个变种的Bregman发散-受一组相对距离的限制。然后,学习的核矩阵可以在广泛的应用中被许多不同的核方法采用。在我们的实验评估中,我们考虑了半监督聚类设置,并根据经验表明,我们的算法发现的内核产生的聚类质量高于现有的方法,无论是使用ML/CL约束或不同的手段来实现使用相对比较的监督。
2016-12-03 cs.LG stat.ML
Convex Formulation for Kernel PCA and its Use in Semi-Supervised Learning
KU Leuven(鲁汶大学)
在本文中,核PCA被重新解释为凸优化问题的解决方案。实际上,每个主成分都有一个约束凸问题,因此约束保证主成分确实是一个解,而不仅仅是一个鞍点。虽然这些见解并不意味着任何算法的改进,但它们可以用于进一步理解该方法,制定可能的扩展并正确解决它们。作为一个例子,提出了一个新的半监督分类的凸优化问题,这似乎特别适合当已知标签的数量很小。我们的公式类似于最小二乘SVM问题,正则化参数乘以负号,结合核PCA的变分原理。我们的半监督学习的原始优化原则解决的拉格朗日乘子。在几个分类任务的数值实验说明了所提出的模型的性能问题,只有少数标记的数据。
2016-10-21 cs.LG stat.ML
Supervised Kernel PCA For Longitudinal Data
在统计学习中,协变量的高维性对稳健的预测和推断提出了挑战。为了解决这一挑战,通常执行监督降维,其中对于具有较小维度的所选协变量子空间,对结果的依赖性被最大化。普遍的降维技术假设数据是$i.i.d.$,这不适用于包含多个受试者的纵向数据,这些受试者随时间重复测量。在本文中,我们推导出一个分解的希尔伯特-施密特独立性准则作为监督损失函数的纵向数据,使集群之间和集群内分别降维,并提出了一个降维技术,$sklPCA$,执行这种分解的降维。我们还表明,这种技术产生优越的模型精度相比,它扩展的模型。
2018-08-23 stat.ME stat.ML
Feature space approximation for kernel-based supervised learning
Freie Universität Berlin(柏林自由大学);University of Surrey(萨里大学);Zalando SE(Zalando公司);Zuse Institute Berlin(柏林祖泽研究所)
我们提出了一种近似高维甚至无限维特征向量的方法,这些特征向量在监督学习中起着重要作用。目标是减少训练数据的大小,从而降低存储消耗和计算复杂性。此外,该方法可以被视为一种正则化技术,它提高了学习的目标函数的泛化能力。与涉及完整训练数据集的数据驱动预测的计算相比,我们展示了显着的改进。该方法适用于不同的应用领域,如图像识别,系统识别,海洋时间序列分析的分类和回归问题。
2021-03-15 cs.LG stat.ML
Unsupervised and Supervised Principal Component Analysis: Tutorial
University of Waterloo(滑铁卢大学)
这是一个详细的教程文件,其中解释了主成分分析(PCA),监督PCA(SPCA),内核PCA和内核SPCA。我们从投影开始,PCA与特征分解,PCA与一个和多个投影方向,投影矩阵的属性,重建误差最小化,我们连接到自动编码器。然后,PCA与奇异值分解,双PCA,核PCA。SPCA使用评分和希尔伯特-施密特独立性准则的解释。核SPCA使用直接和双重的方法,然后介绍。我们涵盖了训练和样本外数据的投影和重建的所有情况。最后,在Frey和AT&T人脸数据集上进行了仿真,验证了理论的可行性。
2022-08-01 cs.LG stat.ML
Kernel VICReg for Self-Supervised Learning in Reproducing Kernel Hilbert Space
Vision and Image Processing Group, Systems Design Engineering, University of Waterloo, ON, Canada.(图像与图像处理组,系统设计工程,滑铁卢大学,加拿大);Electrical and Computer Engineering, University of Waterloo, ON Canada.(电气与计算机工程,滑铁卢大学,加拿大)
核VICReg通过将VICReg目标引入再生核希尔伯特空间,实现了非线性特征学习,提升了在非线性结构数据上的表现。
2026-03-05 cs.CV cs.LG stat.ML
Graph Neural Network-Inspired Kernels for Gaussian Processes in Semi-Supervised Learning
University of Chicago(芝加哥大学);Argonne National Laboratory(阿贡国家实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
高斯过程(GP)是一类有吸引力的机器学习模型,因为它们的简单性和灵活性作为更复杂的贝叶斯模型的构建块。与此同时,图神经网络(GNNs)最近出现作为一类有前途的模型,图结构的数据在半监督学习和超越。他们的竞争力的表现往往是由于一个正确的捕捉图归纳偏差。在这项工作中,我们将这种归纳偏差引入GP,以提高其对图结构数据的预测性能。我们证明了GNNs的一个突出例子,图卷积网络,当它的层是无限宽时,等价于一些GP;我们深入分析了核的普适性和极限行为。我们进一步提出了一个可编程的程序来组成协方差内核的启发,这种等价性,并获得相应的几个有趣的成员的GNN家庭的示例内核。我们还提出了一个计算效率的近似的协方差矩阵可扩展的后验推理与大规模的数据。我们证明了这些基于图的内核与相应的GNN相比,具有竞争力的分类和回归性能,以及计算时间上的优势。
2023-02-12 cs.LG stat.ML
Discriminative Similarity for Clustering and Semi-Supervised Learning
Snap Research(Snap 研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院);National University of Singapore(新加坡国立大学);Beckman Institute, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校贝克曼研究所)
基于相似性的聚类和半监督学习方法根据数据之间的成对相似性将数据分成簇或类,而成对相似性对它们的性能至关重要。在本文中,我们提出了一种新的判别相似性学习框架,学习判别相似性的数据聚类或半监督学习。该框架从每个假设标签学习分类器,并通过最小化与假设标签相关联的学习分类器的泛化误差来搜索最优标签。核分类器在我们的框架。通过基于拉德马赫复杂度的泛化分析,将核分类器的泛化误差界表示为不同类数据的两两相似度之和,并通过核分类器的权值进行参数化.这种成对相似性作为判别相似性用于聚类和半监督学习的目的,并且具有相似形式的判别相似性也可以由用于核密度分类的积分平方误差界诱导。基于核分类器的判别相似性,我们提出了新的聚类和半监督学习方法。
2017-09-05 cs.LG stat.ML
Determinantal Clustering Processes - A Nonparametric Bayesian Approach to Kernel Based Semi-Supervised Clustering
University of Cambridge(剑桥大学)
半监督聚类是将数据点聚类成簇的任务,其中只有一小部分点被标记。数据中聚类的真实数量通常是未知的,大多数模型都需要这个参数作为输入。狄利克雷过程混合模型是有吸引力的,因为它们可以从数据中推断出聚类的数量。然而,这些模型不能很好地处理高维数据,并且在推理中会遇到困难。我们提出了一种新的非参数贝叶斯内核为基础的方法来聚类数据点,而不需要预先指定集群的数量或模型复杂的密度,数据点被假定为从生成。关键的见解是使用核矩阵的子矩阵的行列式作为一组点之间的距离的度量。我们探讨了模型的一些理论性质,并推导出一个基于自然吉布斯的算法与MCMC超参数学习。该模型在各种合成和真实世界的数据集上实现。
2013-09-26 cs.LG stat.ML
Kernel Multivariate Analysis Framework for Supervised Subspace Learning: A Tutorial on Linear and Kernel Multivariate Methods
特征提取和降维是信号处理和分析等许多科学领域的重要任务。这些技术的相关性正在增加,因为当前的传感器设备被开发为具有更高的分辨率,并且涉及多模式数据源的问题变得更加普遍。大量的特征提取方法可在文献中集体分组在多变量分析(MVA)领域下。本文对主成分分析(PCA)、偏最小二乘(PLS)、典型相关分析(CCA)和正交归一化PLS(OPLS)等方法进行了统一处理,并利用再生核Hilbert空间理论导出了它们的非线性推广。我们还回顾了它们与其他分类和统计依赖估计方法的联系,并介绍了一些最近的发展,以处理大规模和小规模问题的极端情况。为了说明这些方法在分类和回归问题中的广泛适用性,我们分析了它们在公开数据集基准中的性能,并特别注意涉及音乐流派预测音频处理和地球和气候监测高光谱卫星图像的具体实际应用。
2013-10-18 cs.LG stat.ML
Multi-Kernel Regression with Sparsity Constraint
EPFL(洛桑联邦理工学院)
在本文中,我们提供了一个广义全变差(gTV)正则化的监督学习的Banach空间公式。我们确定类的核函数,在这个框架中是允许的。然后,我们提出了一个变化的监督学习在连续域混合搜索空间与gTV正则化。我们表明,该解决方案承认一个自适应位置的多核扩展。在该表示中,活动内核的数量由数据点的数量上限,而gTV正则化对内核系数施加$\ell_1$惩罚。最后,我们数值说明我们的理论的结果。
2020-12-17 cs.LG stat.ML
On Kernel Method-Based Connectionist Models and Supervised Deep Learning Without Backpropagation
University of Florida(佛罗里达大学)
我们提出了一个新的家庭的连接模型的基础上内核机和考虑的问题,学习逐层的组成假设类,即,一个前馈的多层架构,在一个有监督的环境中。在模型方面,我们提出了一个原则性的方法来“内核化”(部分或完全)任何神经网络(NN)。通过这种方法,我们获得了任何给定NN的对应物,该NN由内核机器而不是神经元驱动。在学习方面,当在监督设置中学习前馈深度架构时,需要使用反向传播(BP)同时训练所有组件,因为隐藏层没有明确的目标(Rumelhart86)。我们认为不失一般性的两层的情况下,并提出了一个通用的框架,明确表征的隐藏层的目标是最佳的最小化网络的目标函数。然后,这种特征使得从输入层开始一次学习一层的纯贪婪训练方案成为可能。我们提供了一定的架构和目标函数下的抽象框架的实现。基于这些实现,我们提出了一个逐层训练算法的l层前馈网络的分类,其中l>=2可以是任意的。该算法可以给出一个直观的几何解释,使学习动态透明。实证结果提供补充我们的理论。我们表明,核化的网络,训练层的方式,相比之下,与经典的内核机器,以及其他连接模型训练的BP。我们还可视化了贪婪内核化模型的内部工作原理,以验证我们对逐层算法透明性的声明。
2019-08-22 cs.AI cs.LG stat.ML
Subsampling for supervised learning in reproducing kernel Hilbert spaces
针对大数据的计算成本问题,提出基于Horvitz-Thompson加权的经验风险最小化子采样方法,通过协方差算子迹的最优采样方案,实现非参数回归的降本增效。
2026-06-23 cs.LG stat.ML
Self-Supervised Learning with Kernel Dependence Maximization
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);DeepMind;UCL(伦敦大学学院);UBC(英属哥伦比亚大学);Amii(阿尔伯塔机器智能研究所)
我们从统计依赖的角度来研究图像表示的自监督学习,提出了基于希尔伯特-施密特独立准则的自监督学习(SSL-HSIC)。SSL-HSIC最大化图像变换的表示与图像身份之间的依赖性,同时最小化这些表示的核化方差。这个框架产生了一个新的理解InfoNCE,不同的转换之间的互信息(MI)的变分下界。虽然MI本身是已知的病理学,可以导致学习无意义的表示,它的界限是更好的表现:我们表明,它隐式近似SSL-HSIC(与略有不同的正则化)。我们的方法还让我们深入了解BYOL,一种无负SSL方法,因为SSL-HSIC类似地学习样本的局部邻域。SSL-HSIC允许我们直接优化批量大小中时间线性的统计相关性,而无需限制性数据假设或间接互信息估计。无论是否使用目标网络进行训练,SSL-HSIC都可以匹配ImageNet上的标准线性评估、半监督学习以及转移到其他分类和视觉任务(如语义分割、深度估计和对象识别)的最新技术水平。代码可在https://github.com/deepmind/ssl_hsic上获得。
2021-12-02 cs.AI cs.CV cs.LG
Manually Selecting The Data Function for Supervised Learning of small datasets
Shahid Beheshti University(沙希德·贝赫什提大学)
当缺乏信息时,监督学习问题可能会变得不适定,导致不稳定和非唯一的解决方案。然而,初始化一个信息量很大的不适定算子,而不是仅仅依赖于正则化,这类似于提出更好的问题来获得更准确的答案。第一类Fredholm积分方程(FIFK)是一种可靠的不适定算子,它可以将分布和先验知识作为输入信息进行积分。通过结合输入分布和先验知识,FIFK算子可以通过半监督假设来解决使用高维输入分布的局限性,从而导致积分算子的更精确近似。此外,FIFK的概率原则的结合,可以进一步提高解决方案的准确性和有效性。在噪声算子方程和有限数据的情况下,FIFK在使用先验信息或具有各种内核设计的交叉验证来定义问题方面的灵活性是特别有利的。此功能允许详细的问题定义,并有助于在解决方案中实现高水平的准确性和稳定性。在我们的研究中,我们通过两种不同的方法检查了FIFK。首先,我们通过使用相同的Fredholm算子核和数据函数核,并结合未标记的信息,实现了一个半监督的假设。其次,我们使用了MSDF方法,该方法涉及在方程的两侧选择不同的核来定义映射核与数据函数核何时不同。为了评估FIFK和所提出的方法在解决不适定问题中的有效性,我们在真实世界的数据集上进行了实验。我们的目标是将这些方法的性能与广泛使用的最小二乘法和其他类似方法进行比较。
2023-03-07 cs.LG stat.ML
Transformers are Deep Infinite-Dimensional Non-Mercer Binary Kernel Machines
University of California(加利福尼亚大学)
尽管它们在自然语言处理等核心人工智能领域无处不在,但像Transformer模型这样的基于深度注意力的神经网络的机制尚未完全理解。在这篇文章中,我们提出了一个新的视角来理解Transformers是如何工作的。特别是,我们表明,“点积注意”,这是Transformer的操作的核心,可以被描述为一对Banach空间上的核学习方法。特别地,Transformer的内核被表征为具有无限的特征维度。在此过程中,我们考虑将标准内核学习问题扩展到二进制设置,其中数据来自两个输入域,并且为每个跨域对定义响应。我们证明了一个新的表示定理,这些二进制核机器与非Mercer(不确定的,不对称的)内核(这意味着学习的功能是再生核Banach空间的元素,而不是希尔伯特空间),也证明了一个新的普遍逼近定理,表明Transformer计算可以学习任何二进制非Mercer再生核Banach空间对。我们在Transformers中对新内核进行了实验,并获得了表明标准Transformer内核的无限维度对其性能部分负责的结果。本文的研究结果为现代机器学习中一个非常重要但又知之甚少的模型提供了新的理论认识。
2021-06-02 cs.LG stat.ML
Improvements to Supervised EM Learning of Shared Kernel Models by Feature Space Partitioning
BandGapAI(BandGapAI公司)
期望最大化(EM)通常被认为是一种用于估计混合分布参数的无监督学习方法,然而当类别标签可用时,它也可以用于监督学习。因此,EM已被应用于训练神经网络,包括概率径向基函数(PRBF)网络或共享核(SK)模型。本文解决了以前的工作在这方面的两个主要缺点:缺乏严谨的EM训练算法的推导和计算复杂性的技术,这限制了它的低维数据集。我们首先提出了一个详细的推导EM高斯共享核模型PRBF分类器,利用数据关联理论,以获得完整的数据可能性,鲍姆的辅助功能(E-步骤)和随后的最大化(M-步骤)。为了降低SKEM算法的复杂性,我们将特征空间划分为$R$非重叠的变量子集。所得到的联合数据似然的产品分解,这是准确的,当特征分区是独立的,允许SKEM被并行实现,并在$R^2$倍较低的复杂性。分区SKEM算法的操作演示的MNIST数据集,并与其非分区对应。它最终以降低的复杂性提高性能是可以实现的。与标准分类算法的比较提供了一些其他基准数据集。
2022-05-31 cs.LG stat.ML
Transductive Kernels for Gaussian Processes on Graphs
University of Oxford(牛津大学);University of Cambridge(剑桥大学);Man AHL(曼恩AHL公司);Invenia Labs(Invenia实验室)
图上的核对于节点级问题的选择有限。为了解决这个问题,我们提出了一种新的,广义的内核与节点特征数据的图半监督学习。核是从正则化框架中导出的,将图形和特征数据视为两个希尔伯特空间。我们还展示了图上的许多基于内核的模型是我们设计的实例。以这种方式定义的内核具有转换属性,这导致在更少的训练点上学习的能力得到提高,以及更好地处理高度非欧几里德数据。我们使用合成数据证明了这些优势,其中整个图的分布可以告知标签的模式。最后,通过在核中使用一个灵活的图拉普拉斯多项式,该模型也可以有效地进行半监督分类的各种水平的同质图。
2022-11-28 cs.LG stat.ML
A Category Space Approach to Supervised Dimensionality Reduction
Florida Institute of Technology(佛罗里达理工学院);University of Florida(佛罗里达大学)
监督降维是近十年来的一个重要课题。尽管有过多的模型和公式,但缺乏一个简单的模型,其目的是将模式集投影到由类(或类别)定义的空间中。为此,我们建立了一个模型,其中每个类都表示为由特征形成的向量空间的1D子空间。假设类的集合不超过特征的基数,该模型导致多类监督学习,其中每个类的特征被投影到类子空间中。类歧视是自动保证通过强加的正交性的1D类子空间。由此产生的优化问题-公式化为Stiefel流形上的二次函数之和的最小化-虽然是非凸的(由于约束),但是具有当我们达到全局最小值时我们可以识别的结构。在制定一个版本与标准的内积,我们扩展配方再生核希尔伯特空间中一个简单的方式。优化方法也以类似的方式扩展到内核版本。与多类Fisher线性(和核)判别式和主成分分析(线性和核)的结果和比较展示了这种方法的相对优点降维。
2016-10-27 cs.LG stat.ML
The Weighted Kendall and High-order Kernels for Permutations
Wellcome Centre for Human Genetics, University of Oxford(牛津大学惠康人类遗传学中心);University of Oxford(牛津大学);MINES ParisTech, PSL Research University(巴黎高等矿业学院,巴黎文理研究大学);Institut Curie, PSL Research University(居里研究所,巴黎文理研究大学);INSERM(法国国家健康与医学研究院);CNRS(法国国家科学研究中心)
我们提出了新的正定核置换。首先,我们引入一个加权版本的肯德尔内核,它允许不平等的权重不同的项目对的排列,根据其排名的贡献。像肯德尔内核,我们表明,加权版本是不变的重新标记的项目,可以有效地计算在$O(n \ln(n))$操作,其中$n$是在排列中的项目数。其次,我们提出了一种有监督的方法来学习的权重,通过联合优化它们与内核机器估计的功能。第三,虽然Kendall核考虑项目之间的成对比较,但我们通过考虑项目元组之间的高阶比较来扩展它,并表明学习权重的监督方法可以系统地推广到高阶置换核。
2018-06-12 cs.LG stat.ML
Parameter-Free Spectral Kernel Learning
由于未标记数据的普遍存在,使用未标记数据进行学习在机器学习中引起了越来越多的关注。本文提出了一种新的半监督核学习方法,该方法可以无缝地结合未标记数据的流形结构和正则化最小二乘(RLS)来学习新的核。有趣的是,新的核矩阵可以通过使用图拉普拉斯矩阵的谱分解来解析地获得。因此,该算法不需要任何数值优化求解器。此外,通过最大化标记数据上的核目标对齐,我们还可以使用封闭形式的解决方案自动学习模型参数。对于给定的图拉普拉斯矩阵,我们提出的方法不需要调整任何模型参数,包括RLS中的权衡参数和未标记数据的平衡参数。在10个基准数据集上的大量实验表明,我们提出的两阶段无参数谱核学习算法在换能环境下可以获得与微调流形正则化方法相当的性能,在监督环境下优于多核学习。
2012-03-15 cs.LG stat.ML
Roweis Discriminant Analysis: A Generalized Subspace Learning Method
University of Waterloo(滑铁卢大学)
提出了一种基于特征值和广义特征值问题的子空间学习方法。这种方法,Roweis判别分析(RDA),是以Sam Roweis的名字命名的,他在子空间学习领域有着重要的贡献。RDA是一系列无限数量的算法,其中主成分分析(PCA)、监督PCA(SPCA)和Fisher判别分析(FDA)是特殊情况。一个极端的特殊情况,我们称之为双重监督判别分析(DSDA),使用两次标签;它是新颖的,并没有出现在其他地方。我们提出了一个双重的RDA的一些特殊情况。我们还提出了核RDA,推广核PCA,核SPCA和核FDA,使用双重RDA和表示理论。我们的理论分析解释了以前已知的事实,如为什么SPCA可以使用回归,但FDA不能,为什么PCA和SPCA有卷积,但FDA没有,为什么内核PCA和内核SPCA使用内核技巧,但内核FDA没有,以及为什么PCA是最好的线性重建方法。Roweisfaces和内核Roweisfaces也提出了推广的特征脸,Fisherfaces,监督特征脸,和他们的内核变种。我们还报告了一些基准数据集上的实验表明RDA和内核RDA的有效性。
2019-10-11 cs.CV cs.LG stat.ML
Latent regularization for feature selection using kernel methods in tumor classification
Institut Charles Delaunay, Universite de Technologie de Troyes(特鲁瓦理工大学夏尔·德洛纳研究所);Biomedicine Research Institute of Buenos Aires - Max Planck Partner Institute(布宜诺斯艾利斯生物医学研究所-马克斯·普朗克伙伴研究所);Universidad Tecnologica Nacional Buenos Aires(布宜诺斯艾利斯国立理工大学)
癌症肿瘤的转录组学以数万个基因表达特征为特征。患者预后或肿瘤分期可以通过机器学习技术进行评估,如给定基因表达谱的监督分类任务。特征选择是一种有效的筛选肿瘤关键基因的方法。在这项工作中,我们提出了一种基于多核学习的特征选择方法,该方法可以减少基因子集和自定义内核,从而在用于支持向量分类时提高分类性能。在特征选择过程中,该方法通过引入从非线性降维模型学习的潜在空间获得的无监督结构来放松监督目标问题,从而执行新的潜在正则化。与其他有监督的特征选择方法相比,当用所提出的方法选择的特征训练分类器时,通过对新的未知测试样本的肿瘤分类性能来获得和评估泛化能力的提高。
2020-04-10 cs.CV cs.LG eess.IV
Ensemble-based kernel learning for a class of data assimilation problems with imperfect forward simulators
模拟器的不完善性,通常被称为模式误差,是普遍存在的实际数据同化问题。尽管为解决这个问题付出了巨大的努力,但正确处理数据同化中的模拟器缺陷仍然是一项具有挑战性的任务。在这项工作中,我们提出了一种方法来处理模拟器的不完美性,从功能近似的角度来看,可以通过一定的机器学习方法,如基于内核的学习,在目前的工作中采用。为此,我们从考虑一类监督学习问题开始,然后确定监督学习和变分数据同化之间的相似之处。这些相似之处为我们开发基于集合的学习框架来解决监督学习问题奠定了基础,同时实现了基于集合的方法相对于变分方法的各种优势。在建立了基于集合的学习框架之后,我们继续研究基于集合的学习集成到基于集合的数据同化框架中以处理模拟器不完善。在我们的调查过程中,我们还开发了一个策略来解决监督学习问题中的多模态问题,并将此策略转移到数据同化问题,以帮助提高同化性能。为了演示,我们应用基于集成的学习框架和集成的,基于集成的数据同化框架的监督学习问题和数据同化问题与不完善的前向模拟器,分别。实验结果表明,这两个框架在相关的案例研究中取得了良好的性能,通过机器学习的功能近似可以作为一种可行的方式来解释模拟器不完善的数据同化问题。
2019-01-30 math.OC physics.data-an physics.geo-ph
Supervised Learning and Model Analysis with Compositional Data
University of Copenhagen(哥本哈根大学);Helmholtz Munich(亥姆霍兹慕尼黑中心);Technical University of Munich(慕尼黑工业大学)
针对成分数据监督学习现有方法的缺陷,提出核框架KernelBiome,兼具优异预测性能与可解释性,已应用于微生物组研究并开源。
2022-11-11 cs.LG stat.AP stat.ML
PDE-Inspired Algorithms for Semi-Supervised Learning on Point Clouds
给定一个数据集和一个标签子集,点云上的半监督学习问题是将标签扩展到整个数据集。在本文中,我们通过最小化约束离散$p$ -Dirichlet能量来扩展标签。在适当的条件下,离散的问题可以连接,在大数据限制,与加权连续$p$ -Dirichlet能量具有相同的约束的最小。我们利用这种联系,设计的数值方案,首先估计密度的数据,然后应用PDE方法,如准谱方法,以解决相应的欧拉-拉格朗日方程。我们证明了我们的方案对于核密度估计和样条核密度估计这两种密度估计方法在大数据范围内是一致的。
2019-09-23 cs.NA math.NA stat.ML
A Nonlinear Kernel Support Matrix Machine for Matrix Learning
Shanghai Jiao Tong University(上海交通大学)
在监督张量学习(STL)的许多问题中,真实世界的数据(如人脸图像或MRI扫描)自然地表示为矩阵,也称为二阶张量。现有的基于张量表示的分类器,如支持张量机(STM),需要迭代求解,耗时长,容易陷入局部极小。在本文中,我们提出了一个核支持矩阵机(KSMM)进行监督学习时,数据表示为矩阵。KSMM是构造基于矩阵的超平面以利用结构信息的通用框架。我们分析了一个统一的优化问题,我们提出了一个渐近收敛的算法。基于拉德马赫复杂度关于概率分布的理论分析,推导了泛化界。我们证明了所提出的方法的优点,通过详尽的实验模拟研究和一些真实的字数据集,从各种应用领域。
2018-01-04 cs.LG stat.ML
Learning in RKHM: a $C^*$-Algebraic Twist for Kernel Machines
NTT Corporation(日本电报电话公司);RIKEN(理化学研究所);Keio University(庆应义塾大学);Aix-Marseille University(艾克斯-马赛大学)
本文将监督学习从RKHS和vvRKHS推广到RKHM,利用$C^*$-代数扩大表示空间,构造超越现有方法的核,适用于图像数据分析。
2024-06-26 cs.LG math.OA stat.ML
Supervised learning with quantum enhanced feature spaces
机器学习和量子计算是两种技术,每种技术都有可能改变计算的执行方式,以解决以前无法解决的问题。机器学习的核方法在模式识别中无处不在,支持向量机(SVM)是分类问题中最知名的方法。然而,当特征空间变大时,成功解决这些问题存在局限性,并且估计核函数在计算上变得昂贵。量子算法提供的计算加速的核心要素是通过可控的纠缠和干涉来利用指数级大的量子态空间。在这里,我们提出并实验实现了两个新的方法在超导处理器。这两种方法都利用量子希尔伯特空间的高维性,通过量子态来表示分类问题的特征空间,以获得增强的解决方案。一种方法,量子变分分类器建立在[1,2]的基础上,并通过使用变分量子线路对训练集进行分类,直接类似于传统的SVM。第二种是量子核估计器,我们直接估计核函数并优化分类器。这两种方法提供了一类新的工具,用于探索有噪声的中间尺度量子计算机[3]在机器学习中的应用。
2018-06-05 quant-ph stat.ML
Deep Kernels with Probabilistic Embeddings for Small-Data Learning
Carnegie Mellon University(卡内基梅隆大学);PathAI;Lawrence Livermore National Laboratories(劳伦斯利弗莫尔国家实验室)
已知高斯过程(GP)通过其核函数捕获数据点之间的相似性,即使对于少量标记数据也能提供准确的预测和不确定性估计。然而,传统的GP核在捕获高维数据点之间的相似性方面不是很有效。神经网络可用于学习对高维数据中的复杂结构进行编码的良好表示,并且可用作GP内核的输入。然而,神经网络的巨大数据需求使得这种方法在小数据设置中无效。为了解决表示学习和数据效率的冲突问题,我们提出通过使用概率神经网络来学习概率嵌入上的深度内核。我们的方法将高维数据映射到低维子空间中的概率分布,然后计算这些分布之间的核以捕获相似性。为了实现端到端的学习,我们推导出一个函数梯度下降过程来训练模型。在各种数据集上的实验表明,我们的方法在监督和半监督设置中的GP核学习中的性能优于最先进的方法。我们还将我们的方法扩展到其他小数据范例,如Few-Shot分类,它在迷你Imagenet和CUB数据集上的性能优于以前的方法。
2021-11-14 cs.LG stat.ML
Similarity Kernel and Clustering via Random Projection Forests
University of Massachusetts Dartmouth(马萨诸塞大学达特茅斯分校);Linkedin Inc(领英公司);Indigo Agriculture Inc(靛蓝农业公司);DiDi Research America(滴滴美国研究院)
相似性在数据采掘、机器学习、统计学等许多应用领域都起着重要的作用。受集成方法的成功和树的灵活性的启发,我们提出通过随机投影森林(rpForests)学习一个称为rpf-kernel的相似性内核。我们的理论分析揭示了rpf内核的一个非常理想的属性:远(不相似)点具有低相似性值,而近(相似)点具有高相似性,并且相似性具有原生解释,即在rpForests的生长过程中,点保留在相同叶节点中的概率。学习的rpf核导致了一个有效的聚类算法-rpfCluster。在各种各样的真实和基准数据集上,rpfCluster与K-means聚类,谱聚类和最先进的聚类集成算法-Cluster Forests相比毫不逊色。我们的方法是简单的实现和容易适应的几何基础数据。鉴于其理想的理论属性和竞争力的经验性能时,应用于聚类,我们期望rpf核适用于许多问题的无监督性质或作为正则化在一些监督或弱监督设置。
2019-08-28 cs.LG stat.ME stat.ML
Gaussian process regression with Sliced Wasserstein Weisfeiler-Lehman graph kernels
Safran Tech(赛峰技术公司);Centre de Mathématiques Appliquées, Ecole Polytechnique, Institut Polytechnique de Paris(巴黎综合理工学院应用数学中心,巴黎理工学院);Univ Rennes, Ensai, CNRS, CREST(雷恩大学、法国国立统计与经济管理学校、法国国家科学研究中心、法国国家统计与经济研究所)
针对计算物理中大型稀疏带连续属性图的回归需求,提出具有正定性且复杂度更低的SWWL图核用于高斯过程回归,在分子分类及多物理场大规模图回归任务中验证了有效性与效率。
2024-03-11 cs.LG stat.ML
Sobolev Transport: A Scalable Metric for Probability Measures with Graph Metrics
RIKEN AIP(理化学研究所先进智能项目中心);The University of Akron(阿克伦大学);Monash University(莫纳什大学);VinAI Research(VinAI研究院)
最优运输(OT)是比较概率分布的一种常用方法。然而,OT具有一些缺点,如(i)计算复杂度高,(ii)不确定性,这限制了其适用于内核机器。在这项工作中,我们认为概率措施支持图度量空间,并提出了一种新的Sobolev运输度量。我们证明了Sobolev输运度规给出了一个用于快速计算的封闭公式,并且它是负定的。我们证明了赋予这种传输距离的概率测度空间是等距于欧氏空间中具有加权$\ell_p$距离的有界凸集。我们进一步利用Sobolev运输的负定性设计正定内核,并评估其性能对其他基线的文档分类与词嵌入和拓扑数据分析。
2022-02-22 cs.AI cs.LG stat.ML
On Sampling Random Features From Empirical Leverage Scores: Implementation and Theoretical Guarantees
Texas A&M University(得克萨斯农工大学);HRL Laboratories, LLC.(HRL实验室有限责任公司)
随机特征为大规模核近似和监督学习提供了一个实用的框架。已经表明,使用杠杆分数的随机特征的数据相关采样可以显着减少实现最佳学习边界所需的特征数量。杠杆分数引入了基于无限维积分算子(取决于输入分布)的优化特征分布,这是不切实际的采样。在本文中,专注于经验杠杆分数,我们建立了一个样本外的性能界,揭示了一个有趣的权衡近似内核和另一个内核的特征值衰减的随机特征定义的基础上,数据分布的域。我们的实验验证了经验算法始终优于香草蒙特卡罗采样,并且通过微小的修改,该方法甚至可以与监督数据依赖的内核学习竞争,而无需使用输出(标签)信息。
2019-03-20 cs.AI cs.LG stat.ML
Deep Embedding Kernel
Institute of Analytics and Data Science, Kennesaw State University(肯尼索州立大学分析与数据科学研究所);Department of Information Technology, Kennesaw State University(肯尼索州立大学信息技术系)
在本文中,我们提出了一种新的监督学习方法,称为深度嵌入核(DEK)。DEK将深度学习和核方法的优点结合在一个统一的框架中。更具体地说,DEK是一个可学习的内核,由新设计的深度架构表示。与预定义的内核相比,该内核可以显式地训练以将数据映射到优化的高级特征空间,其中数据可能具有对应用有利的特征。与使用SoftMax或逻辑斯谛回归作为顶层的典型深度学习相比,DEK预计将更适用于新数据。实验结果表明,DEK在身份检测、分类、回归、降维和迁移学习等方面都优于典型的机器学习方法。
2018-04-16 cs.LG stat.ML
Semi-supervised Ranking Pursuit
The Netherlands Organization for Applied Scientific Research(荷兰应用科学研究组织);Radboud University Nijmegen(奈梅亨拉德堡德大学)
我们提出了一种新的稀疏偏好学习/排序算法。我们的算法近似的真实效用函数的加权和的基函数使用的平方损失对数据点,是一个推广的核匹配追踪方法。它可以在监督和半监督设置中运行,并允许有效搜索多个接近最优的解决方案。此外,我们描述了该算法的扩展,适用于组合排名和回归任务。在我们的实验中,我们证明了所提出的算法在考虑未标记数据时优于几种最先进的学习方法,并在监督学习场景中执行重复,同时提供更稀疏的解决方案。
2013-07-02 cs.IR cs.LG stat.ML
On the Convergence and Stability of Upside-Down Reinforcement Learning, Goal-Conditioned Supervised Learning, and Online Decision Transformers
Dalle Molle Institute for Artificial Intelligence (IDSIA) - USI/SUPSI(达摩信息技术研究所(IDSIA)- USI/SUPSI);Center of Excellence for Generative AI, King Abdullah University of Science and Technology(生成人工智能卓越中心,国王阿卜杜勒阿齐兹大学科学与技术学院);NNAISENSE
本文严格分析了倒序强化学习、目标条件监督学习及在线决策Transformer的收敛性与稳定性,在广泛范式下奠定理论基础,证明转移核在确定性核小邻域内可实现近最优行为,并给出明确估计。
2025-11-11 cs.AI cs.LG cs.NE