Subsampling for supervised learning in reproducing kernel Hilbert spaces
针对大数据的计算成本问题,提出基于Horvitz-Thompson加权的经验风险最小化子采样方法,通过协方差算子迹的最优采样方案,实现非参数回归的降本增效。
2026-06-23 cs.LG stat.ML
Self-weighted Multiple Kernel Learning for Graph-based Clustering and Semi-supervised Classification
University of Electronic Science and Technology of China(电子科技大学);JD AI Research(京东人工智能研究院)
多核学习(MKL)方法通常被认为比单核方法性能更好。然而,一些实证研究表明,这并不总是正确的:多个内核的组合甚至可能产生比使用单个内核更差的性能。失败有两个可能的原因:(i)大多数现有的MKL方法假设最优内核是基本内核的线性组合,这可能不成立;以及(ii)由于噪声和粗心设计的算法,一些内核权重被不适当地分配。在本文中,我们提出了一种新的MKL框架,通过以下两个直观的假设:(i)每个内核是共识内核的扰动;(ii)接近共识内核的内核应该被分配一个大的权重。令人印象深刻的是,所提出的方法可以自动分配一个适当的权重,每个内核,而无需引入额外的参数,现有的方法。该框架被集成到一个统一的框架,基于图的聚类和半监督分类。我们在多个基准数据集上进行了实验,实验结果验证了该框架的优越性。
2018-06-20 cs.AI cs.CV cs.LG
Kernel VICReg for Self-Supervised Learning in Reproducing Kernel Hilbert Space
Vision and Image Processing Group, Systems Design Engineering, University of Waterloo, ON, Canada.(图像与图像处理组,系统设计工程,滑铁卢大学,加拿大);Electrical and Computer Engineering, University of Waterloo, ON Canada.(电气与计算机工程,滑铁卢大学,加拿大)
核VICReg通过将VICReg目标引入再生核希尔伯特空间,实现了非线性特征学习,提升了在非线性结构数据上的表现。
2026-03-05 cs.CV cs.LG stat.ML
Improvements to Supervised EM Learning of Shared Kernel Models by Feature Space Partitioning
BandGapAI(BandGapAI公司)
期望最大化(EM)通常被认为是一种用于估计混合分布参数的无监督学习方法,然而当类别标签可用时,它也可以用于监督学习。因此,EM已被应用于训练神经网络,包括概率径向基函数(PRBF)网络或共享核(SK)模型。本文解决了以前的工作在这方面的两个主要缺点:缺乏严谨的EM训练算法的推导和计算复杂性的技术,这限制了它的低维数据集。我们首先提出了一个详细的推导EM高斯共享核模型PRBF分类器,利用数据关联理论,以获得完整的数据可能性,鲍姆的辅助功能(E-步骤)和随后的最大化(M-步骤)。为了降低SKEM算法的复杂性,我们将特征空间划分为$R$非重叠的变量子集。所得到的联合数据似然的产品分解,这是准确的,当特征分区是独立的,允许SKEM被并行实现,并在$R^2$倍较低的复杂性。分区SKEM算法的操作演示的MNIST数据集,并与其非分区对应。它最终以降低的复杂性提高性能是可以实现的。与标准分类算法的比较提供了一些其他基准数据集。
2022-05-31 cs.LG stat.ML
Solving Interpretable Kernel Dimension Reduction
核降维(KDR)算法通过优化能够捕获非线性关系的核依赖度量来找到原始数据的低维表示。标准策略是首先使用核将数据映射到高维特征空间,然后投影到低维空间。虽然KDR方法可以通过保留核矩阵的最主要特征向量来轻松求解,但其特征不再容易解释。可解释KDR(Interpretable KDR,IKDR)的不同之处在于,它将核特征映射投影到子空间\textit{before}上,因此,投影矩阵可以指示原始特征如何线性组合以形成新特征。不幸的是,IKDR目标需要一个非凸流形优化,这是很难解决的,不能再解决的特征分解。最近,一个有效的迭代谱(特征分解)方法(ISM)已经提出了这个目标的上下文中的替代聚类。然而,ISM仅为高斯核提供理论保证。这极大地限制了ISM的使用,因为任何使用ISM的核方法现在都被限制在单个核中。这项工作扩展了ISM的理论保证,整个家庭的内核,从而使ISM解决任何核方法相同的目标。在确定这个家庭,我们证明了家庭内的每个内核有一个代理$Φ$矩阵和最佳的投影是由其最占主导地位的特征向量。有了这个扩展,我们建立了广泛的IKDR应用程序在不同的学习范式可以解决ISM。为了支持可重现的结果,源代码在\url{https://github.com/chieh-neu/ISM_supervised_DR}上公开。
2019-09-25 cs.LG stat.ML
On Kernel Method-Based Connectionist Models and Supervised Deep Learning Without Backpropagation
University of Florida(佛罗里达大学)
我们提出了一个新的家庭的连接模型的基础上内核机和考虑的问题,学习逐层的组成假设类,即,一个前馈的多层架构,在一个有监督的环境中。在模型方面,我们提出了一个原则性的方法来“内核化”(部分或完全)任何神经网络(NN)。通过这种方法,我们获得了任何给定NN的对应物,该NN由内核机器而不是神经元驱动。在学习方面,当在监督设置中学习前馈深度架构时,需要使用反向传播(BP)同时训练所有组件,因为隐藏层没有明确的目标(Rumelhart86)。我们认为不失一般性的两层的情况下,并提出了一个通用的框架,明确表征的隐藏层的目标是最佳的最小化网络的目标函数。然后,这种特征使得从输入层开始一次学习一层的纯贪婪训练方案成为可能。我们提供了一定的架构和目标函数下的抽象框架的实现。基于这些实现,我们提出了一个逐层训练算法的l层前馈网络的分类,其中l>=2可以是任意的。该算法可以给出一个直观的几何解释,使学习动态透明。实证结果提供补充我们的理论。我们表明,核化的网络,训练层的方式,相比之下,与经典的内核机器,以及其他连接模型训练的BP。我们还可视化了贪婪内核化模型的内部工作原理,以验证我们对逐层算法透明性的声明。
2019-08-22 cs.AI cs.LG stat.ML
A Category Space Approach to Supervised Dimensionality Reduction
Florida Institute of Technology(佛罗里达理工学院);University of Florida(佛罗里达大学)
监督降维是近十年来的一个重要课题。尽管有过多的模型和公式,但缺乏一个简单的模型,其目的是将模式集投影到由类(或类别)定义的空间中。为此,我们建立了一个模型,其中每个类都表示为由特征形成的向量空间的1D子空间。假设类的集合不超过特征的基数,该模型导致多类监督学习,其中每个类的特征被投影到类子空间中。类歧视是自动保证通过强加的正交性的1D类子空间。由此产生的优化问题-公式化为Stiefel流形上的二次函数之和的最小化-虽然是非凸的(由于约束),但是具有当我们达到全局最小值时我们可以识别的结构。在制定一个版本与标准的内积,我们扩展配方再生核希尔伯特空间中一个简单的方式。优化方法也以类似的方式扩展到内核版本。与多类Fisher线性(和核)判别式和主成分分析(线性和核)的结果和比较展示了这种方法的相对优点降维。
2016-10-27 cs.LG stat.ML
The Weighted Kendall and High-order Kernels for Permutations
Wellcome Centre for Human Genetics, University of Oxford(牛津大学惠康人类遗传学中心);University of Oxford(牛津大学);MINES ParisTech, PSL Research University(巴黎高等矿业学院,巴黎文理研究大学);Institut Curie, PSL Research University(居里研究所,巴黎文理研究大学);INSERM(法国国家健康与医学研究院);CNRS(法国国家科学研究中心)
我们提出了新的正定核置换。首先,我们引入一个加权版本的肯德尔内核,它允许不平等的权重不同的项目对的排列,根据其排名的贡献。像肯德尔内核,我们表明,加权版本是不变的重新标记的项目,可以有效地计算在$O(n \ln(n))$操作,其中$n$是在排列中的项目数。其次,我们提出了一种有监督的方法来学习的权重,通过联合优化它们与内核机器估计的功能。第三,虽然Kendall核考虑项目之间的成对比较,但我们通过考虑项目元组之间的高阶比较来扩展它,并表明学习权重的监督方法可以系统地推广到高阶置换核。
2018-06-12 cs.LG stat.ML
Randomized ICA and LDA Dimensionality Reduction Methods for Hyperspectral Image Classification
IRISA(法国国家信息与自动化研究所雷恩布列塔尼大西洋分校)
在高光谱图像处理中,降维是克服维数灾难问题的重要步骤。线性降维方法,如独立成分分析(ICA)和线性判别分析(LDA)通常用于降低HSI的维数。这些方法无法捕捉HSI数据中的非线性相关性,因为数据位于非线性流形中。为了解决这一问题,引入了基于核方法的非线性变换技术对HSI进行降维。然而,核方法在计算核矩阵时涉及三次计算复杂度,因此当像素(样本)的数量很大时,不能探索其潜力。在文献中,随机选择较少数量的像素来部分地克服这个问题,但是这种次优策略可能会忽略HSI中的重要信息。在本文中,我们提出了随机解决方案的ICA和LDA降维方法使用随机傅立叶特征,我们标记为RFFICA和RFFLDA。我们提出的方法克服了可扩展性问题,并更有效地处理数据中存在的非线性。两个真实世界的高光谱数据集进行的实验表明,我们提出的随机方法优于传统的内核ICA和内核LDA的整体,每类精度和计算时间。
2018-04-19 cs.LG stat.ML
Supervised quantum machine learning models are kernel methods
随着近期量子设备的问世和容错量子计算机的竞争如火如荼,研究人员开始对这样一个问题感兴趣:如果我们用量子线路取代监督机器学习模型,会发生什么。虽然这种“量子模型”有时被称为“量子神经网络”,但人们一再注意到,它们的数学结构实际上与核方法的关系更为密切:它们分析高维希尔伯特空间中的数据,我们只能通过测量揭示的内积来访问这些数据。这份技术手稿总结并扩展了系统地将监督量子模型作为核心方法的想法。有了这一点,许多近期和容错的量子模型可以取代一般的支持向量机,其内核计算数据编码量子态之间的距离。基于核的训练可以保证找到比变分电路训练更好或同样好的量子模型。总的来说,量子机器学习的核心观点告诉我们,数据编码成量子态的方式是可能将量子模型与经典机器学习模型区分开来的主要因素。
2021-04-17 quant-ph stat.ML
Self-Supervised Learning with Kernel Dependence Maximization
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);DeepMind;UCL(伦敦大学学院);UBC(英属哥伦比亚大学);Amii(阿尔伯塔机器智能研究所)
我们从统计依赖的角度来研究图像表示的自监督学习,提出了基于希尔伯特-施密特独立准则的自监督学习(SSL-HSIC)。SSL-HSIC最大化图像变换的表示与图像身份之间的依赖性,同时最小化这些表示的核化方差。这个框架产生了一个新的理解InfoNCE,不同的转换之间的互信息(MI)的变分下界。虽然MI本身是已知的病理学,可以导致学习无意义的表示,它的界限是更好的表现:我们表明,它隐式近似SSL-HSIC(与略有不同的正则化)。我们的方法还让我们深入了解BYOL,一种无负SSL方法,因为SSL-HSIC类似地学习样本的局部邻域。SSL-HSIC允许我们直接优化批量大小中时间线性的统计相关性,而无需限制性数据假设或间接互信息估计。无论是否使用目标网络进行训练,SSL-HSIC都可以匹配ImageNet上的标准线性评估、半监督学习以及转移到其他分类和视觉任务(如语义分割、深度估计和对象识别)的最新技术水平。代码可在https://github.com/deepmind/ssl_hsic上获得。
2021-12-02 cs.AI cs.CV cs.LG
Supervised learning with probabilistic morphisms and kernel mean embeddings
Institute of Mathematics of the Czech Academy of Sciences(捷克科学院数学研究所)
本文提出一种统一两种监督学习方法的生成式模型,利用外概率收敛刻画算法一致性,将 Cucker-Smale 结果扩展至条件概率估计,并提出正则化变体证明过参数化模型的泛化性。
2025-04-28 cs.LG math.CT math.FA
Dimensionality Reduction of Complex Metastable Systems via Kernel Embeddings of Transition Manifolds
提出了一种新的基于核的机器学习算法,用于识别高维多尺度随机系统有效动力学的低维几何。最近,作者开发了一个数学框架,用于计算此类系统的最佳反应坐标,该框架是基于学习某个函数空间中的低维过渡流形的参数化。在这篇文章中,我们通过在再生核希尔伯特空间中嵌入和学习这个过渡流形来增强这种方法,利用核嵌入的有利性质。在对核的温和假设下,流形结构在嵌入下被保持,并且可以导出失真界。与以前的参数化方法相比,这导致更鲁棒和更有效的算法。
2020-02-03 math.DS stat.ML
Balanced Reduction of Nonlinear Control Systems in Reproducing Kernel Hilbert Space
基于机器学习和统计降维的最新进展,提出了一种新的非线性控制系统数据驱动降阶方法。该方法依赖于假设的非线性系统线性行为时,提升到一个高(或无限)维的特征空间,平衡截断可以进行隐式。这导致了一个非线性的减少映射,它可以与属于再生核希尔伯特空间的系统的表示相结合,以给出一个封闭的,减少了顺序的动力系统,它捕获了原始模型的基本输入-输出特性。还提供了说明该方法的实证模拟。
2010-11-12 math.DS math.OC math.ST
Reproducing Kernel Hilbert Space, Mercer's Theorem, Eigenfunctions, Nyström Method, and Use of Kernels in Machine Learning: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一篇关于内核、核方法和相关领域的教程和综述论文。我们首先回顾核函数分析和机器学习的历史。然后,Mercer核,Hilbert和Banach空间,再生核Hilbert空间(RKHS),Mercer定理及其证明,常用的核,核构造距离度量,重要的核类别(包括有界,整体正定,泛,平稳,和特征核),核中心化和归一化,和特征函数进行了详细的解释。然后,我们介绍了核在机器学习中的使用类型,包括核方法(如核支持向量机),半定规划核学习,Hilbert-Schmidt独立性准则,最大均值差异,核均值嵌入和核降维。我们还涵盖了核矩阵的秩和因子分解以及使用Nystr{<$}m方法对特征函数和核的近似。这篇论文可以用于各种科学领域,包括机器学习,降维,数学中的泛函分析和量子力学中的数学物理。
2021-06-15 cs.LG math.FA stat.ML
Learning in RKHM: a $C^*$-Algebraic Twist for Kernel Machines
NTT Corporation(日本电报电话公司);RIKEN(理化学研究所);Keio University(庆应义塾大学);Aix-Marseille University(艾克斯-马赛大学)
本文将监督学习从RKHS和vvRKHS推广到RKHM,利用$C^*$-代数扩大表示空间,构造超越现有方法的核,适用于图像数据分析。
2024-06-26 cs.LG math.OA stat.ML
Partial differential equation regularization for supervised machine learning
本文概述了回归和分类的监督机器学习问题。主题包括:核方法、通过随机梯度下降进行训练、深度学习架构、分类损失、统计学习理论和维度独立的泛化界限。介绍了深度学习示例中的隐式正则化,包括数据增强、对抗性训练和加性噪声。这些方法被重新定义为显式梯度正则化。
2019-10-03 cs.LG math.AP stat.ML
Lepskii Principle in Supervised Learning
在使用再生核方法的监督学习的设置中,我们提出了一个依赖于数据的正则化参数选择规则,该规则自适应于目标函数的未知正则性,并且对于最小二乘(预测)误差和再生核希尔伯特空间(重建)范数误差都是最优的。它是基于修改后的Lepskii平衡原则,使用不同的家庭规范。
2019-05-26 math.ST stat.TH
Latent regularization for feature selection using kernel methods in tumor classification
Institut Charles Delaunay, Universite de Technologie de Troyes(特鲁瓦理工大学夏尔·德洛纳研究所);Biomedicine Research Institute of Buenos Aires - Max Planck Partner Institute(布宜诺斯艾利斯生物医学研究所-马克斯·普朗克伙伴研究所);Universidad Tecnologica Nacional Buenos Aires(布宜诺斯艾利斯国立理工大学)
癌症肿瘤的转录组学以数万个基因表达特征为特征。患者预后或肿瘤分期可以通过机器学习技术进行评估,如给定基因表达谱的监督分类任务。特征选择是一种有效的筛选肿瘤关键基因的方法。在这项工作中,我们提出了一种基于多核学习的特征选择方法,该方法可以减少基因子集和自定义内核,从而在用于支持向量分类时提高分类性能。在特征选择过程中,该方法通过引入从非线性降维模型学习的潜在空间获得的无监督结构来放松监督目标问题,从而执行新的潜在正则化。与其他有监督的特征选择方法相比,当用所提出的方法选择的特征训练分类器时,通过对新的未知测试样本的肿瘤分类性能来获得和评估泛化能力的提高。
2020-04-10 cs.CV cs.LG eess.IV
Learning ground states of gapped quantum Hamiltonians with Kernel Methods
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
本文提出一种基于核方法的统计学习方案,近似实现幂方法以高效求解带隙量子哈密顿量的基态,并通过核岭回归在一维和二维多体系统中验证其有效性与灵活性。
2023-08-10 cs.LG physics.comp-ph quant-ph
Sufficient Dimension Reduction for High-Dimensional Regression and Low-Dimensional Embedding: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一个教程和调查文件的各种方法充分降维(SDR)。我们涵盖了这些方法与统计高维回归的角度和机器学习的降维方法。我们首先介绍逆回归方法,包括切片逆回归(SIR),切片平均方差估计(SAVE),轮廓回归,方向回归,主拟合分量(PFC),Likestive Acquired Direction(LAD)和图形回归。然后,我们介绍了前向回归方法,包括主Hessian方向(pHd),最小平均方差估计(MAVE),条件方差估计(CVE)和深度SDR方法。最后,我们解释了核降维(KDR)的监督和无监督学习。我们还证明了监督KDR和监督PCA是等价的。
2021-10-18 cs.LG math.ST stat.ME
PDE-Inspired Algorithms for Semi-Supervised Learning on Point Clouds
给定一个数据集和一个标签子集,点云上的半监督学习问题是将标签扩展到整个数据集。在本文中,我们通过最小化约束离散$p$ -Dirichlet能量来扩展标签。在适当的条件下,离散的问题可以连接,在大数据限制,与加权连续$p$ -Dirichlet能量具有相同的约束的最小。我们利用这种联系,设计的数值方案,首先估计密度的数据,然后应用PDE方法,如准谱方法,以解决相应的欧拉-拉格朗日方程。我们证明了我们的方案对于核密度估计和样条核密度估计这两种密度估计方法在大数据范围内是一致的。
2019-09-23 cs.NA math.NA stat.ML
A new reproducing kernel based nonlinear dimension reduction method for survival data
基于切片逆回归(SIR)和再生核希尔伯特空间(RKHS)理论,提出并讨论了一种新的生存数据非线性降维方法RDSIR(RKHS-based Double SIR)。基于RKHS性质构造了一个等距同构,使得RKHS中的非线性函数可以用同构特征空间中两个元素的内积表示.由于生存数据的删失,使用双切片来估计权函数或条件生存函数以调整删失偏倚。充分降维(SDR)的子空间估计的广义特征分解问题。我们的方法是计算效率高,计算速度快,计算负担小。基于扰动理论讨论了估计量的渐近性质和收敛速度。最后,我们用模拟数据和实际数据说明了RDSIR的性能,以证实RDSIR与线性SDR方法相当。最重要的是,RDSIR还可以有效地提取生存数据中的非线性。
2019-09-05 math.ST stat.ME stat.TH
Kernel dimension reduction in regression
提出了一种新的充分降维方法。我们的方法直接从SDR的公式中推导出协变量$X$与响应$Y$的条件独立性,给定$X$在中心子空间上的投影[cf. J. Amer. Statistist. Assoc.86(1991)316- 342和Regression Graphics(1998)Wiley]。我们表明,这种条件独立断言可以在再生核希尔伯特空间的条件协方差算子的特点,我们展示了这种特性如何导致中央子空间的$M$估计。由此产生的估计是一致的弱条件下,特别是,我们不必施加线性或椭圆性条件的SDR方法通常调用的种类。我们还提出了实证结果表明,新的方法在实践中是有竞争力的。
2009-08-13 math.ST stat.TH
The Responsibility Weighted Mahalanobis Kernel for Semi-Supervised Training of Support Vector Machines for Classification
University of Kassel(卡塞尔大学)
支持向量机(SVM)中的核函数需要评估输入样本的相似性,以便例如对这些样本进行分类。除了诸如高斯(即,径向基函数(RBF)或多项式核,也有特定的核被定制为考虑数据中的结构以进行相似性评估。在本文中,我们将通过概率混合密度模型来捕获数据中的结构,例如在实值输入空间的情况下的高斯混合。从这些模型中固有包含的距离度量,例如,马氏距离的高斯混合的情况下,我们推导出一个新的核,责任加权马氏(RWM)核。基本上,该内核强调模型组件的影响,假设任何两个被比较的样本都来自模型组件(即“负责的”模型组件)。我们将看到,在许多部分标记数据可用的应用中,该内核优于RBF内核和其他捕获数据结构的内核(例如Laplacian SVM中的KNN内核),即,用于SVM的半监督训练。其他关键优点是RWM内核可以很容易地与标准SVM实现和训练算法(如顺序最小优化)一起使用,并且可以很容易地将C-SVM中RBF内核的参数化方法转移到这个新内核中。RWM内核的性能证明了20个基准数据集和训练数据中标记样本的百分比不断增加。
2015-02-16 cs.LG stat.ML
Semi-supervised Deep Kernel Learning: Regression with Unlabeled Data by Minimizing Predictive Variance
Stanford University(斯坦福大学)
训练深度学习模型通常需要大量标记数据。然而,对于许多现实问题,获取额外的数据可能是昂贵的,甚至是不可能的。我们提出了半监督深度核学习(SSDKL),这是一种基于后验正则化框架中最小化预测方差的半监督回归模型。SSDKL将神经网络的分层表示学习与高斯过程的概率建模能力相结合。通过利用未标记的数据,我们展示了对各种现实回归任务的改进,这些任务优于有监督的深度内核学习和半监督方法,如适用于回归的VAT和平均教师。
2019-03-04 cs.AI cs.LG stat.ML
Feature space approximation for kernel-based supervised learning
Freie Universität Berlin(柏林自由大学);University of Surrey(萨里大学);Zalando SE(Zalando公司);Zuse Institute Berlin(柏林祖泽研究所)
我们提出了一种近似高维甚至无限维特征向量的方法,这些特征向量在监督学习中起着重要作用。目标是减少训练数据的大小,从而降低存储消耗和计算复杂性。此外,该方法可以被视为一种正则化技术,它提高了学习的目标函数的泛化能力。与涉及完整训练数据集的数据驱动预测的计算相比,我们展示了显着的改进。该方法适用于不同的应用领域,如图像识别,系统识别,海洋时间序列分析的分类和回归问题。
2021-03-15 cs.LG stat.ML
Unsupervised and Supervised Principal Component Analysis: Tutorial
University of Waterloo(滑铁卢大学)
这是一个详细的教程文件,其中解释了主成分分析(PCA),监督PCA(SPCA),内核PCA和内核SPCA。我们从投影开始,PCA与特征分解,PCA与一个和多个投影方向,投影矩阵的属性,重建误差最小化,我们连接到自动编码器。然后,PCA与奇异值分解,双PCA,核PCA。SPCA使用评分和希尔伯特-施密特独立性准则的解释。核SPCA使用直接和双重的方法,然后介绍。我们涵盖了训练和样本外数据的投影和重建的所有情况。最后,在Frey和AT&T人脸数据集上进行了仿真,验证了理论的可行性。
2022-08-01 cs.LG stat.ML
Graph Neural Network-Inspired Kernels for Gaussian Processes in Semi-Supervised Learning
University of Chicago(芝加哥大学);Argonne National Laboratory(阿贡国家实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
高斯过程(GP)是一类有吸引力的机器学习模型,因为它们的简单性和灵活性作为更复杂的贝叶斯模型的构建块。与此同时,图神经网络(GNNs)最近出现作为一类有前途的模型,图结构的数据在半监督学习和超越。他们的竞争力的表现往往是由于一个正确的捕捉图归纳偏差。在这项工作中,我们将这种归纳偏差引入GP,以提高其对图结构数据的预测性能。我们证明了GNNs的一个突出例子,图卷积网络,当它的层是无限宽时,等价于一些GP;我们深入分析了核的普适性和极限行为。我们进一步提出了一个可编程的程序来组成协方差内核的启发,这种等价性,并获得相应的几个有趣的成员的GNN家庭的示例内核。我们还提出了一个计算效率的近似的协方差矩阵可扩展的后验推理与大规模的数据。我们证明了这些基于图的内核与相应的GNN相比,具有竞争力的分类和回归性能,以及计算时间上的优势。
2023-02-12 cs.LG stat.ML
Determinantal Clustering Processes - A Nonparametric Bayesian Approach to Kernel Based Semi-Supervised Clustering
University of Cambridge(剑桥大学)
半监督聚类是将数据点聚类成簇的任务,其中只有一小部分点被标记。数据中聚类的真实数量通常是未知的,大多数模型都需要这个参数作为输入。狄利克雷过程混合模型是有吸引力的,因为它们可以从数据中推断出聚类的数量。然而,这些模型不能很好地处理高维数据,并且在推理中会遇到困难。我们提出了一种新的非参数贝叶斯内核为基础的方法来聚类数据点,而不需要预先指定集群的数量或模型复杂的密度,数据点被假定为从生成。关键的见解是使用核矩阵的子矩阵的行列式作为一组点之间的距离的度量。我们探讨了模型的一些理论性质,并推导出一个基于自然吉布斯的算法与MCMC超参数学习。该模型在各种合成和真实世界的数据集上实现。
2013-09-26 cs.LG stat.ML
Multi-Kernel Regression with Sparsity Constraint
EPFL(洛桑联邦理工学院)
在本文中,我们提供了一个广义全变差(gTV)正则化的监督学习的Banach空间公式。我们确定类的核函数,在这个框架中是允许的。然后,我们提出了一个变化的监督学习在连续域混合搜索空间与gTV正则化。我们表明,该解决方案承认一个自适应位置的多核扩展。在该表示中,活动内核的数量由数据点的数量上限,而gTV正则化对内核系数施加$\ell_1$惩罚。最后,我们数值说明我们的理论的结果。
2020-12-17 cs.LG stat.ML
Supervised Multiple Kernel Learning approaches for multi-omics data integration
CNRS(法国国家科学研究中心);Université de Toulouse(图卢兹大学);Institut Pasteur(巴斯德研究所)
本文提出基于多种核融合策略的监督式MKL方法,并结合支持向量机与深度学习架构,证明其在多组学整合预测中可优于复杂的先进方法。
2024-12-03 cs.LG stat.AP stat.ML
Manually Selecting The Data Function for Supervised Learning of small datasets
Shahid Beheshti University(沙希德·贝赫什提大学)
当缺乏信息时,监督学习问题可能会变得不适定,导致不稳定和非唯一的解决方案。然而,初始化一个信息量很大的不适定算子,而不是仅仅依赖于正则化,这类似于提出更好的问题来获得更准确的答案。第一类Fredholm积分方程(FIFK)是一种可靠的不适定算子,它可以将分布和先验知识作为输入信息进行积分。通过结合输入分布和先验知识,FIFK算子可以通过半监督假设来解决使用高维输入分布的局限性,从而导致积分算子的更精确近似。此外,FIFK的概率原则的结合,可以进一步提高解决方案的准确性和有效性。在噪声算子方程和有限数据的情况下,FIFK在使用先验信息或具有各种内核设计的交叉验证来定义问题方面的灵活性是特别有利的。此功能允许详细的问题定义,并有助于在解决方案中实现高水平的准确性和稳定性。在我们的研究中,我们通过两种不同的方法检查了FIFK。首先,我们通过使用相同的Fredholm算子核和数据函数核,并结合未标记的信息,实现了一个半监督的假设。其次,我们使用了MSDF方法,该方法涉及在方程的两侧选择不同的核来定义映射核与数据函数核何时不同。为了评估FIFK和所提出的方法在解决不适定问题中的有效性,我们在真实世界的数据集上进行了实验。我们的目标是将这些方法的性能与广泛使用的最小二乘法和其他类似方法进行比较。
2023-03-07 cs.LG stat.ML
Supervised Dimensionality Reduction via Distance Correlation Maximization
Rutgers University(罗格斯大学)
在我们的工作中,我们提出了一种新的配方监督降维的基础上的非线性依赖性标准,称为统计距离相关,Szekely等。其他人(2007年)。我们提出了一个目标,这是免费的回归变量和回归模型假设的分布假设。我们提出的公式是基于学习一个低维特征表示$\mathbf{z}$,它最大化的平方和之间的距离相关性低维特征$\mathbf{z}$和响应$y$,也之间的功能$\mathbf{z}$和协变量$\mathbf{x}$。我们提出了一种新的算法来优化我们提出的目标使用广义最小化最大化方法的\Parizi等。(2015)。我们在多个数据集上显示了优越的经验结果,证明了我们提出的方法比几种相关的最先进的监督降维方法的有效性。
2016-01-03 cs.LG stat.ML
Introducing user-prescribed constraints in Markov chains for nonlinear dimensionality reduction
Columbia University(哥伦比亚大学)
基于随机核的降维方法在过去十年中变得流行。许多这些方法的中心组成部分是一个对称的内核,量化的数据点对之间的邻近和内核诱导的马尔可夫链的数据。通常,马尔可夫链由内核通过行规范化完全指定。然而,在许多情况下,它是可取的施加用户指定的静态和动态约束的马尔可夫链。不幸的是,没有系统的框架来强加这种用户定义的限制。在这里,我们引入了一个基于路径熵最大化的方法来推导马尔可夫链的转移概率使用内核和额外的用户指定的约束。我们举例说明这些马尔可夫链的有用性。
2018-08-06 cs.LG stat.ML
Supervised Learning with Indefinite Topological Kernels
拓扑数据分析(TDA)是一个新兴的统计学分支,致力于研究数据的形状。在这项工作中,我们研究了TDA在监督学习背景下的预测能力。由于拓扑摘要,最明显的持久性图,通常定义在复杂的空间,我们采用内核的方法来将它们转换为更熟悉的向量空间。我们定义了一个拓扑指数核,我们的特点,我们表明,尽管不是半正定的,它可以成功地用于回归和分类任务。
2017-09-20 math.ST stat.ML stat.TH
SRP: Efficient class-aware embedding learning for large-scale data via supervised random projections
University of Waterloo(滑铁卢大学)
有监督的降维策略已经引起了极大的兴趣。然而,当前的监督降维方法难以针对以大数据集为特征的情况进行缩放,因为与这种方法相关联的高计算复杂性。虽然已经探索了用于无监督降维的随机逼近策略以应对这一挑战,但这种方法并不适合加速有监督降维的计算速度。为了应对这一挑战,在这项研究中,我们探索了一个新的方向,通过监督随机投影(SRP)的概念,以监督的方式直接学习最佳类感知嵌入。SRP背后的关键思想是,而不是执行计算上禁止大规模数据的谱分解(或其近似),而是通过利用核近似理论和希尔伯特-施密特独立准则(HSIC)度量嵌入数据和标签之间的依赖性的对称性来执行直接分解。在五个不同的合成和真实世界数据集上的实验结果表明,所提出的用于类感知嵌入学习的SRP策略在产生与现有的监督降维方法(例如,SPCA和KSPCA),同时实现1-2个数量级更好的计算性能。因此,这种学习嵌入降维的有效方法可以成为大规模数据分析和可视化的强大工具。
2018-11-07 cs.LG stat.ML
Supervised Linear Dimension-Reduction Methods: Review, Extensions, and Comparisons
Wells Fargo & Company(富国银行)
主成分分析(PCA)是一种线性降维方法,在数据分析和建模中得到了广泛的应用。它是一种无监督学习技术,为包含最大变化的输入变量确定合适的线性子空间,并保留尽可能多的信息。PCA也被用于预测模型中,其中在进行回归分析之前,将预测因子的原始高维空间减少到更小、更易于管理的集合。然而,这种方法在降维阶段没有将信息纳入响应中,因此可能具有较差的预测性能。为了解决这个问题,在文献中已经提出了几种监督线性降维技术。本文回顾了选定的技术,扩展了其中的一些,并通过模拟比较它们的性能。其中两种技术,偏最小二乘(PLS)和最小二乘PCA(LSPCA),始终优于其他在这项研究中。
2021-09-09 cs.LG stat.ML
Supervised Discriminative Sparse PCA with Adaptive Neighbors for Dimensionality Reduction
Huazhong University of Science and Technology(华中科技大学);University of Technology Sydney(悉尼科技大学)
降维是信息可视化、特征提取、聚类、回归和分类等领域的一个重要操作,特别是在处理有噪声的高维数据时。然而,大多数现有的方法都保留了数据的全局或局部结构,但不能同时保留两者。只保留全局数据结构的方法,如主成分分析(PCA),通常对离群值敏感。仅保留局部数据结构的方法,例如局部保留投影,通常是无监督的(因此不能使用标签信息),并且使用固定的相似性图。我们提出了一种新的线性降维方法,监督判别稀疏PCA与自适应邻居(SDSPCAAN),集成无邻域监督判别稀疏PCA和投影聚类与自适应邻居。因此,全局和局部数据结构以及标签信息都用于更好的降维。在9个高维数据集上的分类实验验证了SDSPCAAN的有效性和鲁棒性。
2020-01-12 cs.LG stat.ML
Transductive Kernels for Gaussian Processes on Graphs
University of Oxford(牛津大学);University of Cambridge(剑桥大学);Man AHL(曼恩AHL公司);Invenia Labs(Invenia实验室)
图上的核对于节点级问题的选择有限。为了解决这个问题,我们提出了一种新的,广义的内核与节点特征数据的图半监督学习。核是从正则化框架中导出的,将图形和特征数据视为两个希尔伯特空间。我们还展示了图上的许多基于内核的模型是我们设计的实例。以这种方式定义的内核具有转换属性,这导致在更少的训练点上学习的能力得到提高,以及更好地处理高度非欧几里德数据。我们使用合成数据证明了这些优势,其中整个图的分布可以告知标签的模式。最后,通过在核中使用一个灵活的图拉普拉斯多项式,该模型也可以有效地进行半监督分类的各种水平的同质图。
2022-11-28 cs.LG stat.ML
Unified Framework for Spectral Dimensionality Reduction, Maximum Variance Unfolding, and Kernel Learning By Semidefinite Programming: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一篇关于谱降维方法、半定编程(SDP)、最大方差展开(MVU)或半定嵌入(SDE)及其变体的核学习的统一的教程和调查论文。我们首先解释了如何将光谱降维方法统一为具有不同核的核主成分分析(PCA)。这种统一可以解释为特征函数学习或核的距离矩阵表示。然后,由于谱方法被统一为核PCA,我们说让我们学习用于将数据流形展开到其最大方差的最佳核。首先,我们简要介绍了SDP用于转导任务的内核学习。然后,我们详细解释MVU。各种版本的监督MVU使用最近邻图,类明智的展开,Fisher准则,并通过彩色MVU的解释。我们还解释了MVU使用本征函数和核映射的样本外扩展。最后,我们介绍了MVU的其他变体,包括针对嵌入的动作,放松的MVU和大数据的地标MVU。
2022-08-03 cs.CV cs.LG stat.ML
Supervised Machine Learning with a Novel Kernel Density Estimator
近年来,核密度估计已被计算机科学家用来建模机器学习问题。基于核密度估计的方法由于构造分类器的O(n)或O(n*log(n))的低时间复杂度而受到关注,其中n是采样实例的数量。关于核密度估计器的设计,一个基本问题是逐点均方误差(MSE)和/或积分均方误差(IMSE)随着采样实例数的增加而减小的速度有多快。在这篇文章中,它表明,与建议的核函数是可行的,使点态MSE的密度估计收敛于O(n^-2/3)的向量空间的维数无关,只要在感兴趣的点的概率密度函数满足一定的条件。
2007-10-16 stat.ML
High Dimensional Bayesian Optimization via Supervised Dimension Reduction
Beijing Institute of Technology(北京理工大学);University of Technology Sydney(悉尼科技大学)
贝叶斯优化(BO)已被广泛应用于计算量大的问题,但它仍然是具有挑战性的,以扩大BO到高维。现有的工作通常是在严格的假设下,添加剂或线性嵌入结构的目标函数。本文将一种有监督的降维方法--切片逆回归(SIR)直接引入到高维贝叶斯优化中,该方法可以在优化过程中有效地学习目标函数的内在子结构。此外,一个核技巧,以减少计算复杂性和学习未知函数的非线性子集时,应用SIR极高维BO。我们提出了几个计算的好处,并推导出我们的算法理论上的遗憾界。大量的实验合成的例子和两个实际应用表明,我们的算法高维贝叶斯优化的优越性。
2019-07-21 cs.LG stat.ML
Deep Dimension Reduction for Supervised Representation Learning
University of Iowa(爱荷华大学);Wuhan University(武汉大学);Duke-NUS Medical School(杜克-新加坡国立大学医学院);East China Normal University(华东师范大学)
有监督表示学习的目标是构建有效的数据表示用于预测。在高维复杂数据的理想非参数表示的所有特征中,充分性、低维性和去纠缠性是最基本的特征。我们提出了一种深度降维方法来学习具有这些特征的表示。该方法是充分降维方法的非参数推广。我们制定了理想的表示学习任务,找到一个非参数表示,最大限度地减少了目标函数的特征条件独立性和促进解开人口水平。然后,我们使用深度神经网络在样本水平上非参数地估计目标表示。我们证明了估计的深度非参数表示在其超额风险收敛到零的意义上是一致的。我们使用模拟和真实基准数据进行的广泛数值实验表明,在分类和回归背景下,所提出的方法比几种现有的降维方法和标准深度学习模型具有更好的性能。
2022-09-01 cs.LG stat.ML
Parameter-Free Spectral Kernel Learning
由于未标记数据的普遍存在,使用未标记数据进行学习在机器学习中引起了越来越多的关注。本文提出了一种新的半监督核学习方法,该方法可以无缝地结合未标记数据的流形结构和正则化最小二乘(RLS)来学习新的核。有趣的是,新的核矩阵可以通过使用图拉普拉斯矩阵的谱分解来解析地获得。因此,该算法不需要任何数值优化求解器。此外,通过最大化标记数据上的核目标对齐,我们还可以使用封闭形式的解决方案自动学习模型参数。对于给定的图拉普拉斯矩阵,我们提出的方法不需要调整任何模型参数,包括RLS中的权衡参数和未标记数据的平衡参数。在10个基准数据集上的大量实验表明,我们提出的两阶段无参数谱核学习算法在换能环境下可以获得与微调流形正则化方法相当的性能,在监督环境下优于多核学习。
2012-03-15 cs.LG stat.ML
Supervised Kernel Thinning
Cornell Tech, Cornell University(康奈尔科技学院,康奈尔大学)
本研究将核压缩(KT)算法推广至有监督核学习场景,结合Nadaraya-Watson回归与核岭回归实现训练推理的二次加速,证明其兼具更优计算与统计效率,并给出新的乘法误差保证,经实验验证有效。
2025-01-15 cs.LG math.ST stat.ML
Noisy multi-label semi-supervised dimensionality reduction
UiT The Arctic University of Norway(挪威北极大学);Universidad Rey Juan Carlos(胡安·卡洛斯国王大学)
噪声标记数据代表了丰富的信息源,这些信息通常很容易获得,而且获取成本很低,但如果不考虑标签噪声,也可能产生许多负面后果。如何充分利用噪声标签已经在标准监督机器学习的框架内被广泛研究了几十年。然而,很少有研究已经进行了解决在非标准的设置嘈杂的标签所带来的挑战。这包括只有一小部分样本被标记(半监督)并且每个高维样本与多个标签相关联的情况。在这项工作中,我们提出了一种新的半监督和多标签的降维方法,有效地利用信息,从嘈杂的多标签和未标记的数据。提出的噪声多标签半监督降维(NMLSDR)方法,通过专门设计的标签传播算法对噪声多标签进行去噪,同时对未标记数据进行标记。然后,NMLSDR学习投影矩阵,通过最大化放大和去噪的多标签空间与投影空间中的特征之间的依赖性来降低维度。在合成数据、基准数据集以及真实案例研究上的大量实验证明了该算法的有效性,并表明其性能优于最先进的多标签特征提取算法。
2019-02-20 cs.LG stat.ML
Spectral feature scaling method for supervised dimensionality reduction
University of Tsukuba(筑波大学);JST/CREST(日本科学技术振兴机构/核心研究集群)
光谱降维方法能够在缩减的空间中对具有高维特征的复杂数据进行线性分离。然而,由于数据的不规则性或不确定性,这些方法并不总是给出期望的结果。因此,我们考虑积极地修改特征的尺度以获得所需的分类。利用部分样本标签上的先验知识来确定Fiedler向量,我们建立了特征向量具有特征尺度因子的线性矩阵束的特征值问题。由此产生的因素可以修改整个样本的特征,以形成集群在减少的空间中,根据已知的标签。在这项研究中,我们提出了新的降维方法监督使用的特征缩放与谱聚类。数值实验表明,所提出的方法优于成熟的监督方法的玩具问题,更多的样本比功能,更强大的聚类比现有的方法。此外,所提出的方法优于现有的方法分类的现实世界的问题,更多的功能比样本的基因表达谱的癌症疾病。此外,随着训练数据比例的增加,特征缩放倾向于提高现有无监督方法的聚类和分类精度。
2018-05-18 cs.LG stat.ML
Continuum directions for supervised dimension reduction
University of Pittsburgh(匹兹堡大学)
研究了辅助信息监督下的多元数据的降维问题。一系列的基础降维得到的一个新的标准的极小。所提出的方法类似于连续统回归,并且所得到的基础被称为连续统方向。在存在二进制监督数据的情况下,这些方向连续地桥接主分量、平均差和线性判别方向,从而从无监督到全监督的降维。高维渐近研究连续二进制监督方向揭示了几个有趣的事实。指定了样本连续体方向不一致但分类性能良好的条件。虽然所提出的方法可以直接用于二进制和多类别分类,其推广到任何形式的辅助数据也提出。该方法具有计算速度快,性能更好或与更多的计算机密集型的替代品。
2018-03-21 cs.LG stat.ME stat.ML
Supervised Kernel PCA For Longitudinal Data
在统计学习中,协变量的高维性对稳健的预测和推断提出了挑战。为了解决这一挑战,通常执行监督降维,其中对于具有较小维度的所选协变量子空间,对结果的依赖性被最大化。普遍的降维技术假设数据是$i.i.d.$,这不适用于包含多个受试者的纵向数据,这些受试者随时间重复测量。在本文中,我们推导出一个分解的希尔伯特-施密特独立性准则作为监督损失函数的纵向数据,使集群之间和集群内分别降维,并提出了一个降维技术,$sklPCA$,执行这种分解的降维。我们还表明,这种技术产生优越的模型精度相比,它扩展的模型。
2018-08-23 stat.ME stat.ML
A Supervised Tensor Dimension Reduction-Based Prognostics Model for Applications with Incomplete Imaging Data
North Carolina State University(北卡罗来纳州立大学)
本文提出一种监督张量降维预测模型,可处理不完整成像数据,并利用TTF监督低维特征提取,同时给出参数估计算法及特定分布下的解析解。
2023-06-05 cs.LG eess.IV stat.ML
Positive semi-definite embedding for dimensionality reduction and out-of-sample extensions
CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);KU Leuven(鲁汶大学)
在机器学习或统计学中,通常期望降低高维空间$\mathbb{R}^d$中的数据点样本的维度。本文介绍了一种降维方法,其中嵌入坐标是作为半定程序的无穷维模拟的解而获得的半正定核的特征向量。这种嵌入是自适应的和非线性的。我们讨论了这个问题,弱和强光滑性假设的学习内核。我们的方法的一个主要特点是在这两种情况下的嵌入坐标的样本外扩展公式的存在。该外推公式将核矩阵扩展为数据依赖的Mercer核函数。我们的实证结果表明,这种嵌入方法是更强大的离群值的影响,与谱嵌入方法相比。
2021-11-27 cs.LG stat.ML
Supervised Multiscale Dimension Reduction for Spatial Interaction Networks
Duke University(杜克大学)
我们介绍了一种多尺度监督降维方法的空间相互作用网络(SPIN)的数据,其中包括一个空间协调的相互作用的集合。当数据的采样单元由原始变量的集合组成时,这种类型的预测器出现,其中每个原始变量本质上是唯一的,因此有必要对变量进行分组,以简化表示并增强可解释性。在本文中,我们介绍了一种经验贝叶斯方法称为spinlets,它首先构建一个分区树,以指导减少多个空间粒度,然后根据相关性的响应细化的预测表示。本文考虑了一个逆Poisson回归模型,提出了一个新的多尺度广义双Pareto先验,它是通过一个树结构的参数展开方案推导出来的。我们的方法的动机是在足球分析中的应用程序,在其中我们获得紧凑的矢量表示和易于解释的复杂网络对象的可视化,由感兴趣的响应监督。
2019-06-08 cs.LG cs.SI stat.ML
Roweis Discriminant Analysis: A Generalized Subspace Learning Method
University of Waterloo(滑铁卢大学)
提出了一种基于特征值和广义特征值问题的子空间学习方法。这种方法,Roweis判别分析(RDA),是以Sam Roweis的名字命名的,他在子空间学习领域有着重要的贡献。RDA是一系列无限数量的算法,其中主成分分析(PCA)、监督PCA(SPCA)和Fisher判别分析(FDA)是特殊情况。一个极端的特殊情况,我们称之为双重监督判别分析(DSDA),使用两次标签;它是新颖的,并没有出现在其他地方。我们提出了一个双重的RDA的一些特殊情况。我们还提出了核RDA,推广核PCA,核SPCA和核FDA,使用双重RDA和表示理论。我们的理论分析解释了以前已知的事实,如为什么SPCA可以使用回归,但FDA不能,为什么PCA和SPCA有卷积,但FDA没有,为什么内核PCA和内核SPCA使用内核技巧,但内核FDA没有,以及为什么PCA是最好的线性重建方法。Roweisfaces和内核Roweisfaces也提出了推广的特征脸,Fisherfaces,监督特征脸,和他们的内核变种。我们还报告了一些基准数据集上的实验表明RDA和内核RDA的有效性。
2019-10-11 cs.CV cs.LG stat.ML