Kernelized Supervised Dictionary Learning
在本文中,我们提出了监督字典学习(SDL),将信息的类标签到学习的字典。为此,我们建议在信号与其相应标签之间的依赖性最大化的空间中学习字典。为了最大限度地提高这种依赖性,最近推出的希尔伯特施密特独立准则(HSIC)。SDL的这种新方法的主要优点之一是,它可以很容易地通过将一个内核,特别是一个数据派生的内核,如归一化压缩距离,到制定内核化。学习的字典是紧凑的,所提出的方法是快速的。我们使用真实世界的数据表明,它优于文献中的其他无监督和监督字典学习方法。
2013-11-26 cs.CV cs.LG
DuSK: A Dual Structure-preserving Kernel for Supervised Tensor Learning with Applications to Neuroimages
South China University of Technology(华南理工大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Northwestern University(西北大学);Guangdong University of Technology(广东工业大学)
随着数据汇集技术的进步,张量数据在许多应用中越来越突出,并且监督张量学习问题已经成为数据采掘和机器学习社区中具有重要意义的主题。传统的有监督张量学习方法主要集中在通过将张量扁平化为向量或矩阵来学习核函数,但是会丢失张量中的结构信息。在本文中,我们介绍了一种新的方案来设计结构保持核监督张量学习。具体来说,我们演示了如何利用张量表示中的自然可用结构来编码内核中的先验知识。基于对偶张量映射,我们提出了一种保持张量结构的张量核。双张量映射函数可以将输入空间中的每个张量实例映射到特征空间中的另一个张量,同时保持张量结构。从理论上讲,我们的方法是传统的核在向量空间张量空间的扩展。我们将我们的新内核与SVM结合应用于现实世界的张量分类问题,包括三种不同疾病的脑fMRI分类(即,阿尔茨海默病、多动症和艾滋病毒造成的脑损伤)。大量的实证研究表明,我们提出的方法可以有效地提高张量分类性能,特别是在小样本的情况下。
2014-08-05 cs.LG
KerJEPA: Kernel Discrepancies for Euclidean Self-Supervised Learning
Microsoft Research(微软研究院);Mila–Québec AI Institute(魁北克AI研究所);McGill University(麦吉尔大学)
KerJEPA通过引入基于核的正则化器,改进了自监督学习中欧几里得表示的稳定性与泛化能力。
2026-10-14 cs.CV cs.LG
Joint Embedding Self-Supervised Learning in the Kernel Regime
MIT(麻省理工学院);Meta AI, FAIR(元人工智能 基础人工智能研究团队);Turing Inc.(图灵公司);NYU(纽约大学)
自监督学习(SSL)的基本目标是生成有用的数据表示,而无需访问用于对数据进行分类的任何标签。SSL中的现代方法基于样本之间已知或构建的关系形成表示,在此任务中特别有效。在这里,我们的目标是扩展这个框架,将算法的内核方法的基础上,嵌入构造的线性映射作用于内核的特征空间。在这个内核政权,我们推导出的方法来找到对比和非对比损失函数的输出表示的最佳形式。该过程产生具有表示为诱导核的内积的新表示空间,诱导核通常使通过核空间中的增广而相关的点相关,并且使点去相关。我们在小数据集上分析我们的内核模型,以识别自监督学习算法的共同特征,并从理论上了解它们在下游任务上的性能。
2022-09-29 cs.AI cs.LG stat.ML
Non-Parametric Representation Learning with Kernels
Technical University of Munich(慕尼黑工业大学)
本文提出并分析了几种基于核的表示学习方法,包括两个核自监督学习模型和一个核自编码器模型,推导了新的表示定理和泛化误差界,并在小数据及与神经网络对比中验证了性能。
2023-09-05 cs.LG
Semi-Supervised Learning on Graphs with Feature-Augmented Graph Basis Functions
Università degli Studi di Padova(帕多瓦大学)
对于图上的半监督学习,我们研究了监督学习机制中的初始内核如何通过来自已知先验或无监督学习输出的额外信息来增强。这些增强的内核构造在一个简单的更新计划的基础上的Schur-Hadamard产品的内核与额外的功能内核。作为正定核的生成器,我们将专注于图形基函数(GBF),它允许通过图形傅立叶变换包含图形的几何信息。使用正则化最小二乘(RLS)的方法进行机器学习,我们将测试衍生的增广内核的分类数据的图形。
2020-03-17 cs.LG cs.NA eess.SP
Kernelized Locality-Sensitive Hashing for Semi-Supervised Agglomerative Clustering
Columbia University(哥伦比亚大学)
大规模的凝聚聚类受到计算负担的阻碍。我们提出了一种新的方案,其中精确的实例间距离计算被替换为核化局部敏感哈希(KLSH)哈希值之间的汉明距离。这导致了一种方法,大大减少了计算时间。此外,我们通过距离度量学习利用某些标记的数据点,以实现与K-Means相比具有竞争力的精确度和召回率,但计算时间要少得多。
2013-01-16 cs.CV cs.LG stat.ML
The Responsibility Weighted Mahalanobis Kernel for Semi-Supervised Training of Support Vector Machines for Classification
University of Kassel(卡塞尔大学)
支持向量机(SVM)中的核函数需要评估输入样本的相似性,以便例如对这些样本进行分类。除了诸如高斯(即,径向基函数(RBF)或多项式核,也有特定的核被定制为考虑数据中的结构以进行相似性评估。在本文中,我们将通过概率混合密度模型来捕获数据中的结构,例如在实值输入空间的情况下的高斯混合。从这些模型中固有包含的距离度量,例如,马氏距离的高斯混合的情况下,我们推导出一个新的核,责任加权马氏(RWM)核。基本上,该内核强调模型组件的影响,假设任何两个被比较的样本都来自模型组件(即“负责的”模型组件)。我们将看到,在许多部分标记数据可用的应用中,该内核优于RBF内核和其他捕获数据结构的内核(例如Laplacian SVM中的KNN内核),即,用于SVM的半监督训练。其他关键优点是RWM内核可以很容易地与标准SVM实现和训练算法(如顺序最小优化)一起使用,并且可以很容易地将C-SVM中RBF内核的参数化方法转移到这个新内核中。RWM内核的性能证明了20个基准数据集和训练数据中标记样本的百分比不断增加。
2015-02-16 cs.LG stat.ML
Quantum Kernel Estimation With Neutral Atoms For Supervised Classification: A Gate-Based Approach
Politecnico di Torino(都灵理工大学)
本文提出了一种基于门模型的中性原子量子核估计方法,通过从激光脉冲推导门并构建特征映射来训练支持向量机,解决了超导设备连通性不足的问题,并验证了其在小数据集上的高准确率。
2023-07-28 cs.LG quant-ph
End-to-End Kernel Learning with Supervised Convolutional Kernel Networks
Inria(法国国家信息与自动化研究所);Laboratoire Jean Kuntzmann(让·昆茨曼实验室);CNRS(法国国家科学研究中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
在本文中,我们介绍了一种新的图像表示的多层核机器的基础上。与传统的核方法不同,在传统的方法中,数据表示与预测任务解耦,我们学习如何用监督来塑造核。我们首先在无监督学习的背景下提出对最近引入的卷积核网络(CKN)的改进;然后,我们推导出反向传播规则,以利用标记的训练数据。由此产生的模型是一种新型的卷积神经网络,其中优化每一层的滤波器相当于学习再生核希尔伯特空间(RKHS)中的线性子空间。我们表明,我们的方法在一些标准的“深度学习”数据集(如CIFAR-10和SVHN)上的图像分类以及图像超分辨率方面都取得了相当有竞争力的性能,证明了我们的方法适用于各种图像相关任务。
2016-10-25 cs.CV cs.LG stat.ML
Self-weighted Multiple Kernel Learning for Graph-based Clustering and Semi-supervised Classification
University of Electronic Science and Technology of China(电子科技大学);JD AI Research(京东人工智能研究院)
多核学习(MKL)方法通常被认为比单核方法性能更好。然而,一些实证研究表明,这并不总是正确的:多个内核的组合甚至可能产生比使用单个内核更差的性能。失败有两个可能的原因:(i)大多数现有的MKL方法假设最优内核是基本内核的线性组合,这可能不成立;以及(ii)由于噪声和粗心设计的算法,一些内核权重被不适当地分配。在本文中,我们提出了一种新的MKL框架,通过以下两个直观的假设:(i)每个内核是共识内核的扰动;(ii)接近共识内核的内核应该被分配一个大的权重。令人印象深刻的是,所提出的方法可以自动分配一个适当的权重,每个内核,而无需引入额外的参数,现有的方法。该框架被集成到一个统一的框架,基于图的聚类和半监督分类。我们在多个基准数据集上进行了实验,实验结果验证了该框架的优越性。
2018-06-20 cs.AI cs.CV cs.LG
On Kernelization of Supervised Mahalanobis Distance Learners
Chulalongkorn University(朱拉隆功大学)
本文主要研究了现有的有监督马氏距离学习器的核化问题。本文包括以下特点。首先,三个流行的学习器,即“邻域成分分析”,“大间隔最近邻”和“判别邻域嵌入”,这是没有核版本的核化,以提高其分类性能。其次,提出了一种称为“KPCA技巧”的核化框架。在新的框架中实现一个学习者获得了几个优势,在标准的框架,例如,没有数学公式,没有重新编程需要一个内核的实现,框架避免了麻烦的问题,如奇异性等第三,而真理的代表定理只是假设在以前的文件与我们有关,在这里,代表定理正式证明。证明验证了核技巧和KPCA技巧的Mahalanobis远程学习的上下文中。第四,不同于以往的作品,总是采用蛮力的方法来选择一个内核,我们研究了两种方法,可以有效地采用构造一个合适的内核为给定的数据集。最后,各种现实世界的数据集上的数值结果。
2009-01-30 cs.AI cs.LG
Geodesic Flow Kernels for Semi-Supervised Learning on Mixed-Variable Tabular Dataset
University of Oxford(牛津大学)
针对混合变量表格数据,提出GFTab半监督框架,结合变量特定损坏、测地流核相似度和树嵌入,在21个数据集上优于现有模型,尤其适合标注数据稀缺场景。
2025-04-23 cs.LG
Scalable Semi-supervised Learning with Graph-based Kernel Machine
Deakin University(迪肯大学)
获取标签通常成本高昂,而在现代机器学习应用中,未标记的数据通常很容易获得。半监督学习提供了一个原则性的机器学习框架来解决这种情况,并已成功应用于许多实际应用和行业。然而,大多数现有的半监督学习方法在应用于现代和大规模数据集时遇到两个严重的限制:计算负担和内存使用需求。为此,我们在本文中提出了基于图的半监督核机器(GKM),一种方法,利用基于核的方法的泛化能力与几何和分布的信息,制定通过频谱图诱导数据的半监督学习的目的。我们提出的GKM可以直接求解的原始形式,使用随机梯度下降法与理想的收敛速度$O(\frac{1}{T})$。此外,我们的公式适用于机器学习文献中广泛的重要损失函数(例如,铰链、平滑铰链、Logistic、L1和ε不敏感)和平滑函数(即,$l_p(t) = |t|^p$与$p\ge1$)。我们进一步表明,著名的拉普拉斯支持向量机是一个特殊的情况下,我们的配方。我们在几个基准数据集上验证了我们提出的方法,以证明GKM适用于大规模数据集,因为它在内存使用方面是最佳的,并且产生了优异的分类精度,同时与最先进的基线相比,实现了显着的计算速度提高。
2017-04-06 cs.LG
Supervised Multiple Kernel Learning approaches for multi-omics data integration
CNRS(法国国家科学研究中心);Université de Toulouse(图卢兹大学);Institut Pasteur(巴斯德研究所)
本文提出基于多种核融合策略的监督式MKL方法,并结合支持向量机与深度学习架构,证明其在多组学整合预测中可优于复杂的先进方法。
2024-12-03 cs.LG stat.AP stat.ML
Semi-supervised Kernel Metric Learning Using Relative Comparisons
UC - Santa Cruz(加州大学圣克鲁兹分校);Aalto University(阿尔托大学);Helsinki Institute for Information Technology(赫尔辛基信息技术研究所);Finnish Institute of Occupational Health(芬兰职业健康研究所)
我们考虑的问题的度量学习受一组约束的数据项之间的相对距离比较。这样的约束意味着反映没有直接在数据项的特征向量中表达的边信息。在这项工作中使用的相对距离约束是特别有效的表达结构在更精细的细节层次比必须链接(ML)和不能链接(CL)的约束,这是最常用的半监督聚类。因此,相对距离约束在提供ML或CL约束是困难的设置中是有用的,因为真实聚类的粒度是未知的。我们的主要贡献是一个有效的算法学习的核矩阵使用的对数行列式发散-一个变种的Bregman发散-受一组相对距离的限制。然后,学习的核矩阵可以在广泛的应用中被许多不同的核方法采用。在我们的实验评估中,我们考虑了半监督聚类设置,并根据经验表明,我们的算法发现的内核产生的聚类质量高于现有的方法,无论是使用ML/CL约束或不同的手段来实现使用相对比较的监督。
2016-12-03 cs.LG stat.ML
Convex Formulation for Kernel PCA and its Use in Semi-Supervised Learning
KU Leuven(鲁汶大学)
在本文中,核PCA被重新解释为凸优化问题的解决方案。实际上,每个主成分都有一个约束凸问题,因此约束保证主成分确实是一个解,而不仅仅是一个鞍点。虽然这些见解并不意味着任何算法的改进,但它们可以用于进一步理解该方法,制定可能的扩展并正确解决它们。作为一个例子,提出了一个新的半监督分类的凸优化问题,这似乎特别适合当已知标签的数量很小。我们的公式类似于最小二乘SVM问题,正则化参数乘以负号,结合核PCA的变分原理。我们的半监督学习的原始优化原则解决的拉格朗日乘子。在几个分类任务的数值实验说明了所提出的模型的性能问题,只有少数标记的数据。
2016-10-21 cs.LG stat.ML
Graph Convolutional Networks using Heat Kernel for Semi-supervised Learning
CAS Key Laboratory of Network Data Science and Technology(中国科学院网络数据科学与技术重点实验室);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);School of Computer Science and Technology(计算机科学与技术学院);University of Chinese Academy of Sciences(中国科学院大学)
图卷积网络在图结构数据的半监督学习中取得了显著的成功。基于图的半监督学习的关键是捕捉图结构施加在节点上的标签或特征的平滑性。以前的方法,谱方法和空间方法,致力于将图卷积定义为相邻节点上的加权平均,然后学习图卷积核以利用平滑性来提高基于图的半监督学习的性能。一个开放的挑战是如何确定适当的邻域,反映相关信息的光滑性表现在图结构。在本文中,我们提出了GraphHeat,利用热核来增强低频滤波器,并在图上的信号变化中实现平滑。GraphHeat利用热扩散下目标节点的局部结构,灵活地确定其邻近节点,不受以往方法的顺序约束。GraphHeat在三个基准数据集上实现了基于图的半监督分类任务:Cora,Citeseer和Pubmed。
2020-07-27 cs.LG cs.SI
Feature space approximation for kernel-based supervised learning
Freie Universität Berlin(柏林自由大学);University of Surrey(萨里大学);Zalando SE(Zalando公司);Zuse Institute Berlin(柏林祖泽研究所)
我们提出了一种近似高维甚至无限维特征向量的方法,这些特征向量在监督学习中起着重要作用。目标是减少训练数据的大小,从而降低存储消耗和计算复杂性。此外,该方法可以被视为一种正则化技术,它提高了学习的目标函数的泛化能力。与涉及完整训练数据集的数据驱动预测的计算相比,我们展示了显着的改进。该方法适用于不同的应用领域,如图像识别,系统识别,海洋时间序列分析的分类和回归问题。
2021-03-15 cs.LG stat.ML
Infinite Width Limits of Self Supervised Neural Networks
Technical University of Munich(慕尼黑技术大学);IIT Madras(马德拉斯理工学院)
本文首次从理论上证明,在Barlow Twins自监督损失下训练的两层宽神经网络的NTK会随宽度趋于无穷而变为常数,从而为用经典核理论分析自监督宽网络提供依据,并进一步推导出泛化误差界。
2025-05-03 cs.LG
Semi-Supervised Learning on Graphs through Reach and Distance Diffusion
Google Research(谷歌研究院)
半监督学习(SSL)是一个不可或缺的工具,当有几个标记的实体和许多未标记的实体,我们想要预测标签。对于基于图的方法,实体对应于图中的节点,边表示强关系。SSL算法的核心是来自图结构的成对亲和值的密集{ \em内核}的规范。然后,在内核上与标记的实体一起训练学习算法。最流行的内核是{ \em谱},包括高度可扩展的“对称”拉普拉斯方法,使用Jacobi迭代计算软标签,以及“非对称”方法,包括个性化页面排名(PPR),使用短随机游走并应用有向关系,如喜欢,跟随或超链接。我们引入{ \em到达扩散}和{ \em距离扩散}内核,它们建立在网络中心性和影响力的强大社会和经济模型基础上,并捕获强调社会影响力的有向成对关系。受社会影响力作为光谱中心性(如Page Rank)的替代方案的成功启发,我们用我们的内核探索SSL,并开发高度可扩展的参数设置,标签学习和采样算法。我们进行初步的实验,证明我们的内核的属性和潜力。
2017-01-20 cs.LG
Unsupervised and Supervised Principal Component Analysis: Tutorial
University of Waterloo(滑铁卢大学)
这是一个详细的教程文件,其中解释了主成分分析(PCA),监督PCA(SPCA),内核PCA和内核SPCA。我们从投影开始,PCA与特征分解,PCA与一个和多个投影方向,投影矩阵的属性,重建误差最小化,我们连接到自动编码器。然后,PCA与奇异值分解,双PCA,核PCA。SPCA使用评分和希尔伯特-施密特独立性准则的解释。核SPCA使用直接和双重的方法,然后介绍。我们涵盖了训练和样本外数据的投影和重建的所有情况。最后,在Frey和AT&T人脸数据集上进行了仿真,验证了理论的可行性。
2022-08-01 cs.LG stat.ML
Kernel VICReg for Self-Supervised Learning in Reproducing Kernel Hilbert Space
Vision and Image Processing Group, Systems Design Engineering, University of Waterloo, ON, Canada.(图像与图像处理组,系统设计工程,滑铁卢大学,加拿大);Electrical and Computer Engineering, University of Waterloo, ON Canada.(电气与计算机工程,滑铁卢大学,加拿大)
核VICReg通过将VICReg目标引入再生核希尔伯特空间,实现了非线性特征学习,提升了在非线性结构数据上的表现。
2026-03-05 cs.CV cs.LG stat.ML
Mixture Proportion Estimation and Weakly-supervised Kernel Test for Conditional Independence
Institute of Science Tokyo(东京科学大学);RIKEN AIP(理化学研究所革新智能综合研究中心)
本文提出基于条件独立性的新假设,解决了混合比例估计中的可识别性问题,并开发了弱监督核检验方法,用于验证条件独立性假设,提升了估计性能和检验准确性。
2026-04-08 cs.AI cs.LG
Graph Neural Network-Inspired Kernels for Gaussian Processes in Semi-Supervised Learning
University of Chicago(芝加哥大学);Argonne National Laboratory(阿贡国家实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
高斯过程(GP)是一类有吸引力的机器学习模型,因为它们的简单性和灵活性作为更复杂的贝叶斯模型的构建块。与此同时,图神经网络(GNNs)最近出现作为一类有前途的模型,图结构的数据在半监督学习和超越。他们的竞争力的表现往往是由于一个正确的捕捉图归纳偏差。在这项工作中,我们将这种归纳偏差引入GP,以提高其对图结构数据的预测性能。我们证明了GNNs的一个突出例子,图卷积网络,当它的层是无限宽时,等价于一些GP;我们深入分析了核的普适性和极限行为。我们进一步提出了一个可编程的程序来组成协方差内核的启发,这种等价性,并获得相应的几个有趣的成员的GNN家庭的示例内核。我们还提出了一个计算效率的近似的协方差矩阵可扩展的后验推理与大规模的数据。我们证明了这些基于图的内核与相应的GNN相比,具有竞争力的分类和回归性能,以及计算时间上的优势。
2023-02-12 cs.LG stat.ML
Discriminative Similarity for Clustering and Semi-Supervised Learning
Snap Research(Snap 研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院);National University of Singapore(新加坡国立大学);Beckman Institute, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校贝克曼研究所)
基于相似性的聚类和半监督学习方法根据数据之间的成对相似性将数据分成簇或类,而成对相似性对它们的性能至关重要。在本文中,我们提出了一种新的判别相似性学习框架,学习判别相似性的数据聚类或半监督学习。该框架从每个假设标签学习分类器,并通过最小化与假设标签相关联的学习分类器的泛化误差来搜索最优标签。核分类器在我们的框架。通过基于拉德马赫复杂度的泛化分析,将核分类器的泛化误差界表示为不同类数据的两两相似度之和,并通过核分类器的权值进行参数化.这种成对相似性作为判别相似性用于聚类和半监督学习的目的,并且具有相似形式的判别相似性也可以由用于核密度分类的积分平方误差界诱导。基于核分类器的判别相似性,我们提出了新的聚类和半监督学习方法。
2017-09-05 cs.LG stat.ML
Determinantal Clustering Processes - A Nonparametric Bayesian Approach to Kernel Based Semi-Supervised Clustering
University of Cambridge(剑桥大学)
半监督聚类是将数据点聚类成簇的任务,其中只有一小部分点被标记。数据中聚类的真实数量通常是未知的,大多数模型都需要这个参数作为输入。狄利克雷过程混合模型是有吸引力的,因为它们可以从数据中推断出聚类的数量。然而,这些模型不能很好地处理高维数据,并且在推理中会遇到困难。我们提出了一种新的非参数贝叶斯内核为基础的方法来聚类数据点,而不需要预先指定集群的数量或模型复杂的密度,数据点被假定为从生成。关键的见解是使用核矩阵的子矩阵的行列式作为一组点之间的距离的度量。我们探讨了模型的一些理论性质,并推导出一个基于自然吉布斯的算法与MCMC超参数学习。该模型在各种合成和真实世界的数据集上实现。
2013-09-26 cs.LG stat.ML
Deep Kernel Supervised Hashing for Node Classification in Structural Networks
Beijing Institute of Technology(北京理工大学);Huazhong University of Science and Technology(华中科技大学)
结构网络中的节点分类已被证明是有用的,在许多现实世界的应用。随着网络嵌入的发展,节点分类的性能得到了很大的提高。然而,现有的基于网络嵌入的方法在低维空间中存在线性不可分问题,难以捕捉节点的实际类别特征,同时也无法将网络结构信息和节点标签信息同时融入到网络嵌入中。为了解决上述问题,在本文中,我们提出了一种新的深度核监督哈希(DKSH)方法来学习节点的哈希表示用于节点分类。具体来说,首先提出了一种深度多核学习,将节点映射到合适的Hilbert空间,以处理线性不可分问题。然后,而不是只考虑两个节点之间的结构相似性,一个新的相似性矩阵的设计,合并网络结构信息和节点标签信息。在相似性矩阵的监督下,学习到的节点的哈希表示同时很好地保留了学习到的希尔伯特空间中的两种信息。大量的实验表明,该方法显着优于国家的最先进的基线在三个真实世界的基准数据集。
2021-04-03 cs.LG cs.SI
Kernel Multivariate Analysis Framework for Supervised Subspace Learning: A Tutorial on Linear and Kernel Multivariate Methods
特征提取和降维是信号处理和分析等许多科学领域的重要任务。这些技术的相关性正在增加,因为当前的传感器设备被开发为具有更高的分辨率,并且涉及多模式数据源的问题变得更加普遍。大量的特征提取方法可在文献中集体分组在多变量分析(MVA)领域下。本文对主成分分析(PCA)、偏最小二乘(PLS)、典型相关分析(CCA)和正交归一化PLS(OPLS)等方法进行了统一处理,并利用再生核Hilbert空间理论导出了它们的非线性推广。我们还回顾了它们与其他分类和统计依赖估计方法的联系,并介绍了一些最近的发展,以处理大规模和小规模问题的极端情况。为了说明这些方法在分类和回归问题中的广泛适用性,我们分析了它们在公开数据集基准中的性能,并特别注意涉及音乐流派预测音频处理和地球和气候监测高光谱卫星图像的具体实际应用。
2013-10-18 cs.LG stat.ML
Self-supervised Representation Learning on Electronic Health Records with Graph Kernel Infomax
National Institutes of Health(美国国立卫生研究院);Boston College(波士顿学院);Georgetown University(乔治城大学)
本文提出Graph Kernel Infomax方法,通过核子空间增强在EHR图表示上进行自监督对比学习,在不改变图结构的前提下提升临床下游任务性能并超越现有最先进方法。
2024-02-20 cs.CY cs.LG
Multi-Kernel Regression with Sparsity Constraint
EPFL(洛桑联邦理工学院)
在本文中,我们提供了一个广义全变差(gTV)正则化的监督学习的Banach空间公式。我们确定类的核函数,在这个框架中是允许的。然后,我们提出了一个变化的监督学习在连续域混合搜索空间与gTV正则化。我们表明,该解决方案承认一个自适应位置的多核扩展。在该表示中,活动内核的数量由数据点的数量上限,而gTV正则化对内核系数施加$\ell_1$惩罚。最后,我们数值说明我们的理论的结果。
2020-12-17 cs.LG stat.ML
Supervised Kernel Thinning
Cornell Tech, Cornell University(康奈尔科技学院,康奈尔大学)
本研究将核压缩(KT)算法推广至有监督核学习场景,结合Nadaraya-Watson回归与核岭回归实现训练推理的二次加速,证明其兼具更优计算与统计效率,并给出新的乘法误差保证,经实验验证有效。
2025-01-15 cs.LG math.ST stat.ML
Supervised learning with probabilistic morphisms and kernel mean embeddings
Institute of Mathematics of the Czech Academy of Sciences(捷克科学院数学研究所)
本文提出一种统一两种监督学习方法的生成式模型,利用外概率收敛刻画算法一致性,将 Cucker-Smale 结果扩展至条件概率估计,并提出正则化变体证明过参数化模型的泛化性。
2025-04-28 cs.LG math.CT math.FA
Subsampling for supervised learning in reproducing kernel Hilbert spaces
针对大数据的计算成本问题,提出基于Horvitz-Thompson加权的经验风险最小化子采样方法,通过协方差算子迹的最优采样方案,实现非参数回归的降本增效。
2026-06-23 cs.LG stat.ML
KGNN: Harnessing Kernel-based Networks for Semi-supervised Graph Classification
Peking University(北京大学);Mila - Québec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
半监督图分类是社会网络分析和生物信息学中的一个重要问题,本文对它进行了研究。这个问题通常通过使用图神经网络(GNN)来解决,GNN仍然依赖于大量的标记图进行训练,并且无法利用未标记的图。我们通过提出基于核的图神经网络(KGNN)来解决这些局限性。KGNN由一个基于GNN的网络和一个由内存网络参数化的基于内核的网络组成。基于GNN的网络通过学习图表示来执行分类,以隐式地捕获查询图和标记图之间的相似性,而基于核的网络使用图核来显式地将每个查询图与存储在存储器中的所有标记图进行比较以进行预测。这两个网络是从互补的角度出发的,因此将它们结合起来可以使KGNN更有效地使用标记图。我们联合训练这两个网络,通过后验正则化最大化它们在未标记图上的一致性,使未标记图作为桥梁,让两个网络相互增强。在一系列知名基准数据集上的实验表明,KGNN在竞争基线上取得了令人印象深刻的性能。
2022-05-21 cs.AI cs.IR cs.LG
On Kernel Method-Based Connectionist Models and Supervised Deep Learning Without Backpropagation
University of Florida(佛罗里达大学)
我们提出了一个新的家庭的连接模型的基础上内核机和考虑的问题,学习逐层的组成假设类,即,一个前馈的多层架构,在一个有监督的环境中。在模型方面,我们提出了一个原则性的方法来“内核化”(部分或完全)任何神经网络(NN)。通过这种方法,我们获得了任何给定NN的对应物,该NN由内核机器而不是神经元驱动。在学习方面,当在监督设置中学习前馈深度架构时,需要使用反向传播(BP)同时训练所有组件,因为隐藏层没有明确的目标(Rumelhart86)。我们认为不失一般性的两层的情况下,并提出了一个通用的框架,明确表征的隐藏层的目标是最佳的最小化网络的目标函数。然后,这种特征使得从输入层开始一次学习一层的纯贪婪训练方案成为可能。我们提供了一定的架构和目标函数下的抽象框架的实现。基于这些实现,我们提出了一个逐层训练算法的l层前馈网络的分类,其中l>=2可以是任意的。该算法可以给出一个直观的几何解释,使学习动态透明。实证结果提供补充我们的理论。我们表明,核化的网络,训练层的方式,相比之下,与经典的内核机器,以及其他连接模型训练的BP。我们还可视化了贪婪内核化模型的内部工作原理,以验证我们对逐层算法透明性的声明。
2019-08-22 cs.AI cs.LG stat.ML
S4L: Self-Supervised Semi-Supervised Learning
Google Research(谷歌研究院)
这项工作解决了图像分类器的半监督学习问题。我们的主要观点是,半监督学习领域可以受益于快速发展的自监督视觉表示学习领域。结合这两种方法,我们提出了自监督半监督学习的框架,并使用它来获得两个新的半监督图像分类方法。我们证明了这些方法的有效性相比,精心调整的基线,和现有的半监督学习方法。然后,我们证明了我们的方法和现有的半监督方法可以联合训练,在半监督ILSVRC-2012上产生了一个新的最先进的结果,标签数为10%。
2019-07-23 cs.CV cs.LG
A Review of Semi Supervised Learning Theories and Recent Advances
Shanghai Jiao Tong University(上海交通大学)
半监督学习是本世纪初兴起的一种介于传统监督学习和无监督学习之间的新型学习方法。半监督学习的主要思想是在模型训练过程中引入未标记样本,以避免由于标记样本不足而导致的性能(或模型)退化。半监督学习在许多领域都有着成功的应用。回顾了半监督学习的发展历程和主要理论,并介绍了半监督学习研究的最新进展,最后结合应用实例分析了半监督学习在解决实际问题中的重要作用.
2019-05-28 cs.LG
Manually Selecting The Data Function for Supervised Learning of small datasets
Shahid Beheshti University(沙希德·贝赫什提大学)
当缺乏信息时,监督学习问题可能会变得不适定,导致不稳定和非唯一的解决方案。然而,初始化一个信息量很大的不适定算子,而不是仅仅依赖于正则化,这类似于提出更好的问题来获得更准确的答案。第一类Fredholm积分方程(FIFK)是一种可靠的不适定算子,它可以将分布和先验知识作为输入信息进行积分。通过结合输入分布和先验知识,FIFK算子可以通过半监督假设来解决使用高维输入分布的局限性,从而导致积分算子的更精确近似。此外,FIFK的概率原则的结合,可以进一步提高解决方案的准确性和有效性。在噪声算子方程和有限数据的情况下,FIFK在使用先验信息或具有各种内核设计的交叉验证来定义问题方面的灵活性是特别有利的。此功能允许详细的问题定义,并有助于在解决方案中实现高水平的准确性和稳定性。在我们的研究中,我们通过两种不同的方法检查了FIFK。首先,我们通过使用相同的Fredholm算子核和数据函数核,并结合未标记的信息,实现了一个半监督的假设。其次,我们使用了MSDF方法,该方法涉及在方程的两侧选择不同的核来定义映射核与数据函数核何时不同。为了评估FIFK和所提出的方法在解决不适定问题中的有效性,我们在真实世界的数据集上进行了实验。我们的目标是将这些方法的性能与广泛使用的最小二乘法和其他类似方法进行比较。
2023-03-07 cs.LG stat.ML
Self-Supervised Learning with Kernel Dependence Maximization
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);DeepMind;UCL(伦敦大学学院);UBC(英属哥伦比亚大学);Amii(阿尔伯塔机器智能研究所)
我们从统计依赖的角度来研究图像表示的自监督学习,提出了基于希尔伯特-施密特独立准则的自监督学习(SSL-HSIC)。SSL-HSIC最大化图像变换的表示与图像身份之间的依赖性,同时最小化这些表示的核化方差。这个框架产生了一个新的理解InfoNCE,不同的转换之间的互信息(MI)的变分下界。虽然MI本身是已知的病理学,可以导致学习无意义的表示,它的界限是更好的表现:我们表明,它隐式近似SSL-HSIC(与略有不同的正则化)。我们的方法还让我们深入了解BYOL,一种无负SSL方法,因为SSL-HSIC类似地学习样本的局部邻域。SSL-HSIC允许我们直接优化批量大小中时间线性的统计相关性,而无需限制性数据假设或间接互信息估计。无论是否使用目标网络进行训练,SSL-HSIC都可以匹配ImageNet上的标准线性评估、半监督学习以及转移到其他分类和视觉任务(如语义分割、深度估计和对象识别)的最新技术水平。代码可在https://github.com/deepmind/ssl_hsic上获得。
2021-12-02 cs.AI cs.CV cs.LG
Self-Contrastive Learning based Semi-Supervised Radio Modulation Classification
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);US Army Research Laboratory(美国陆军研究实验室)
本文提出了一个半监督学习框架,是新的设计自动调制分类(AMC)。通过仔细利用具有自监督对比学习预训练步骤的未标记信号数据,我们的框架在给定少量标记数据的情况下实现了更高的性能,从而大大减少了深度学习的标记负担。我们评估了我们的半监督框架在公共数据集上的性能。评估结果表明,我们的半监督方法显着优于监督框架,从而大大提高了我们的能力,训练深度神经网络自动调制分类的方式,利用未标记的数据。
2022-03-29 cs.LG
On the Stepwise Nature of Self-Supervised Learning
UC Berkeley(加州大学伯克利分校);Generally Intelligent;University of Tokyo(东京大学)
本文通过分析Barlow Twins的线性化模型,揭示联合嵌入自监督学习以逐步方式逐维学习高维嵌入,并在深度ResNet上验证该现象,提出核PCA可作为自监督学习的有效模型。
2023-05-30 cs.LG
Multitask Kernel-based Learning with Logic Constraints
University of Siena(锡耶纳大学)
本文提出一种将逻辑约束形式的先验知识集成到核机器的通用多任务学习框架,通过结合监督拟合、正则化和约束惩罚项构建优化问题,实验证明该方法能有效提升高维稀疏数据下的分类准确率。
2024-02-16 cs.AI cs.LG
TV-SVM: Total Variation Support Vector Machine for Semi-Supervised Data Classification
City University of Hong Kong(香港城市大学)
介绍了基于全变分(TV)、再生核希尔伯特空间(RKHS)、支持向量机(SVM)、Cheeger割、标记和未标记数据点的半监督数据分类算法。我们设计了二进制和多类半监督分类算法。我们比较了基于电视的分类算法与相关的基于拉普拉斯的算法,并表明,电视分类表现出显着更好的标记数据的数量是小的。
2012-10-02 cs.LG
Improvements to Supervised EM Learning of Shared Kernel Models by Feature Space Partitioning
BandGapAI(BandGapAI公司)
期望最大化(EM)通常被认为是一种用于估计混合分布参数的无监督学习方法,然而当类别标签可用时,它也可以用于监督学习。因此,EM已被应用于训练神经网络,包括概率径向基函数(PRBF)网络或共享核(SK)模型。本文解决了以前的工作在这方面的两个主要缺点:缺乏严谨的EM训练算法的推导和计算复杂性的技术,这限制了它的低维数据集。我们首先提出了一个详细的推导EM高斯共享核模型PRBF分类器,利用数据关联理论,以获得完整的数据可能性,鲍姆的辅助功能(E-步骤)和随后的最大化(M-步骤)。为了降低SKEM算法的复杂性,我们将特征空间划分为$R$非重叠的变量子集。所得到的联合数据似然的产品分解,这是准确的,当特征分区是独立的,允许SKEM被并行实现,并在$R^2$倍较低的复杂性。分区SKEM算法的操作演示的MNIST数据集,并与其非分区对应。它最终以降低的复杂性提高性能是可以实现的。与标准分类算法的比较提供了一些其他基准数据集。
2022-05-31 cs.LG stat.ML
Deep Semi-Supervised Learning for Time Series Classification
LMU Munich(慕尼黑大学);Fraunhofer Institute for Integrated Circuits (IIS)(弗劳恩霍夫集成电路研究所)
虽然半监督学习在图像数据的计算机视觉中得到了广泛的关注,但其在时间序列域中的适用性研究有限。在这项工作中,我们研究了最先进的深度半监督模型从图像到时间序列分类的可移植性。我们讨论了必要的模型调整,特别是一个适当的模型骨干架构和使用量身定制的数据增强策略。基于这些调整,我们探索深度半监督学习在时间序列分类的背景下,通过评估我们的方法对大型公共时间序列分类问题与不同数量的标记样本的潜力。我们进行了广泛的比较下一个决定性的现实和适当的评估计划与统一的重新实现的所有算法考虑,这是尚未在该领域缺乏。我们发现,这些转移的半监督模型比强监督、半监督和自监督模型显示出显着的性能增益,特别是对于标记样本很少的情况。
2022-02-16 cs.LG
Intentional Choreography with Semi-Supervised Recurrent VAEs
UC Santa Barbara(加州大学圣巴巴拉分校);Lawrence Berkeley National Lab(劳伦斯伯克利国家实验室)
我们总结了PirouNet,一个半监督的循环变分自编码器的模型和结果。给定少量标记有定性编舞注释的舞蹈序列,PirouNet有条件地生成编舞风格的舞蹈序列。
2022-09-20 cs.LG
Learning Loss Functions for Semi-supervised Learning via Discriminative Adversarial Networks
AI Foundations, IBM Research(IBM研究院人工智能基础部);IBM T.J Watson Research Center(IBM托马斯·J·沃森研究中心)
我们提出了区分对抗网络(DAN)的半监督学习和损失函数学习。我们的DAN方法建立在生成对抗网络(GANs)和条件GANs的基础上,但包括使用两个鉴别器而不是生成器和鉴别器的关键区别。DAN可以被看作是一个学习预测器的损失函数的框架,它还以简单的方式实现了半监督学习。我们针对两种不同的预测任务提出了DAN的实例:分类和排名。我们在三个不同任务的数据集上的实验结果表明,DAN是一个很有前途的框架,用于半监督学习和学习预测器的损失函数。对于所有任务,DAN的半监督能力可以显着提高小标记集的预测器性能,而任务之间的架构变化较小。此外,由DAN自动学习的损失函数是非常有竞争力的,并且通常优于半监督学习和监督学习的标准成对和负对数似然损失函数。
2017-07-07 cs.LG
Vehicle Trajectory Prediction by Transfer Learning of Semi-Supervised Models
Columbia University(哥伦比亚大学)
在这项工作中,我们表明,用于车辆轨迹预测的半监督模型显着提高了最先进的现实世界基准上的监督模型的性能。从监督模型到半监督模型允许通过使用未标记数据进行扩展,将预训练中的图像数量从数百万增加到10亿。我们进行消融研究,比较半监督和监督模型的迁移学习,同时保持所有其他因素相同。在半监督模型中,我们比较了对比学习与师生方法,以及预测少量轨迹的网络与预测大轨迹集上概率的网络。我们的结果使用低级别和中级表示的驾驶环境证明了半监督方法的适用性,为现实世界的车辆轨迹预测。
2020-10-10 cs.CV cs.LG
Task-Driven Kernel Flows: Label Rank Compression and Laplacian Spectral Filtering
School of Computer Science and Engineering(计算机科学与工程学院);Sun Yat-sen University(中山大学);Boya Junior High School(Boyaa 初中);Guangxi Hope High School(广西希望高中)
该研究提出任务驱动的核流理论,通过标签排名压缩和拉普拉斯谱滤波,揭示监督学习的低秩特性,并对比自监督学习的高秩表示。
2026-01-01 cs.LG
LaplaceNet: A Hybrid Graph-Energy Neural Network for Deep Semi-Supervised Classification
半监督学习近年来受到了广泛的关注,因为它需要大量的标记数据,这些数据通常是昂贵的,需要专家知识并且收集起来很耗时。最近在深度半监督分类方面的发展已经达到了前所未有的性能,监督学习和半监督学习之间的差距正在不断缩小。这种性能上的改进是基于包括许多技术技巧、强增强技术和具有多项损失函数的昂贵优化方案。我们提出了一个新的框架,LaplaceNet,深度半监督分类,大大降低了模型的复杂性。我们利用一种混合的方法,其中伪标签通过最小化图上的拉普拉斯能量来产生。这些伪标签然后被用于迭代地训练神经网络骨干。在几个基准数据集上,我们的模型优于最先进的深度半监督分类方法。此外,我们认为强增广神经网络的应用理论和证明使用多采样方法的半监督学习。我们证明,通过严格的实验,多采样增强方法提高了泛化能力,降低了网络对增强的敏感性。
2022-09-28 cs.LG
DeepCorn: A Semi-Supervised Deep Learning Method for High-Throughput Image-Based Corn Kernel Counting and Yield Estimation
Iowa State University(爱荷华州立大学);Syngenta Seeds(先正达种子公司)
现代农业和植物育种的成功依赖于准确有效的数据收集。对于管理大量作物的商业组织来说,收集准确和一致的数据是一个瓶颈。由于有限的时间和劳动力,准确地对作物进行表型分析以记录颜色、头数、高度、重量等受到严重限制。然而,这些信息与其他遗传和环境因素相结合,对于开发新的优质作物物种至关重要,有助于养活世界不断增长的人口。机器学习的最新进展,特别是深度学习,已经显示出缓解这一瓶颈的希望。在本文中,我们提出了一种新的深度学习方法,用于在田间对穗上玉米粒进行计数,以帮助收集实时数据,并最终改善决策,以最大限度地提高产量。我们将这种方法命名为DeepCorn,并表明这种框架在各种条件下都是鲁棒的。DeepCorn估计玉米穗图像中玉米粒的密度,并根据估计的密度图预测玉米粒的数量。DeepCorn使用截断的VGG-16作为特征提取的主干,并合并来自网络多个尺度的特征图,使其对图像尺度变化具有鲁棒性。我们还采用了半监督学习的方法,以进一步提高我们提出的方法的性能。我们提出的方法在玉米籽粒计数任务中分别实现了41.36和60.27的MAE和RMSE。我们的实验结果表明,我们所提出的方法相比,其他国家的最先进的方法的优越性和有效性。
2021-02-25 cs.CV cs.LG eess.IV
Colour augmentation for improved semi-supervised semantic segmentation
University of East Anglia(东英吉利大学)
一致性正则化描述了一类已经产生了最先进的半监督分类结果的方法。虽然半监督语义分割被证明是更具挑战性的,但最近已经提出了许多成功的方法。最近的工作探讨了使用一致性正则化分割问题所涉及的挑战。Chen等人在他们的自监督工作中发现,颜色增强阻止了分类网络使用图像颜色统计作为通过实例判别进行自监督学习的捷径。从中汲取灵感,我们发现类似的问题阻碍了半监督语义分割,并提供颜色增强作为解决方案,提高了半监督语义分割在具有挑战性的摄影图像上的性能。
2021-10-09 cs.CV cs.LG
Transductive Kernels for Gaussian Processes on Graphs
University of Oxford(牛津大学);University of Cambridge(剑桥大学);Man AHL(曼恩AHL公司);Invenia Labs(Invenia实验室)
图上的核对于节点级问题的选择有限。为了解决这个问题,我们提出了一种新的,广义的内核与节点特征数据的图半监督学习。核是从正则化框架中导出的,将图形和特征数据视为两个希尔伯特空间。我们还展示了图上的许多基于内核的模型是我们设计的实例。以这种方式定义的内核具有转换属性,这导致在更少的训练点上学习的能力得到提高,以及更好地处理高度非欧几里德数据。我们使用合成数据证明了这些优势,其中整个图的分布可以告知标签的模式。最后,通过在核中使用一个灵活的图拉普拉斯多项式,该模型也可以有效地进行半监督分类的各种水平的同质图。
2022-11-28 cs.LG stat.ML