Monte Carlo with kernel-based Gibbs measures: Guarantees for probabilistic herding
Univ. Lille, CNRS, Centrale Lille, UMR 9189 – CRIStAL(里尔大学,法国国家科学研究中心,中央里尔,UMR 9189 – CRIStAL);Univ. Lille, CNRS, UMR 8524 – Laboratoire Paul Painlevé(里尔大学,法国国家科学研究中心,UMR 8524 – 保罗·潘勒韦实验室)
提出一种基于吉布斯分布的联合概率分布用于积分节点,通过降低温度参数使节点集中于MMD最小化器,理论上证明该方法优于独立同分布蒙特卡洛,获得更紧的置信区间。
2026-06-29 cs.LG math.PR stat.ML
Continuous Herded Gibbs Sampling
羊群效应是一种从概率分布中顺序生成确定性样本的技术。在这项工作中,我们提出了一个连续放牧吉布斯采样器,结合内核放牧连续密度与吉布斯抽样的想法。我们的算法允许从高维多变量概率密度确定性采样,而不直接从联合密度采样。使用高斯混合密度的实验表明,L2误差的降低与内核羊群相似,而计算时间明显更低,即,在维数上是线性的。
2022-01-13 cs.LG eess.SP stat.CO
Conditional Distribution Compression via the Kernel Conditional Mean Embedding
School of Mathematics University of Bristol(数学系 伯明翰大学);Mathematical Institute University of Oxford(数学研究所 奥克斯福德大学)
本文提出ACKH和ACKIP方法,通过线性时间贪心算法压缩条件分布,实验表明其在条件分布压缩任务中优于联合分布压缩和贪心选择方法。
2026-01-16 cs.LG stat.CO stat.ME
Bayesian quadrature and energy minimization for space-filling design
在计算机实验中的一个标准目标是近似的行为,一个未知的功能在一个紧凑的领域内的一些评价。当对函数知之甚少时,建议进行空间填充设计:通常,通过最小化几何(例如,覆盖半径)或测量均匀性距离的差异标准来获得分布在可用空间中的评估点。本文研究了积分设计(正交设计),(连续)BLUE的位置模型,空间填充设计,能量最小化(核差异)的带号测度之间的联系。积分严格正定核定义了严格凸的能量泛函,具有势和方向导数的概念之间的等价性,显示了差异最小化和更传统的最优实验设计之间的强关系。特别是,核放牧算法,这是特殊的情况下,顶点方向的方法用于最优设计,可以应用到建设的点序列具有适当的空间填充性能。
2018-08-31 math.ST stat.TH
Graph Neural Network-Inspired Kernels for Gaussian Processes in Semi-Supervised Learning
University of Chicago(芝加哥大学);Argonne National Laboratory(阿贡国家实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
高斯过程(GP)是一类有吸引力的机器学习模型,因为它们的简单性和灵活性作为更复杂的贝叶斯模型的构建块。与此同时,图神经网络(GNNs)最近出现作为一类有前途的模型,图结构的数据在半监督学习和超越。他们的竞争力的表现往往是由于一个正确的捕捉图归纳偏差。在这项工作中,我们将这种归纳偏差引入GP,以提高其对图结构数据的预测性能。我们证明了GNNs的一个突出例子,图卷积网络,当它的层是无限宽时,等价于一些GP;我们深入分析了核的普适性和极限行为。我们进一步提出了一个可编程的程序来组成协方差内核的启发,这种等价性,并获得相应的几个有趣的成员的GNN家庭的示例内核。我们还提出了一个计算效率的近似的协方差矩阵可扩展的后验推理与大规模的数据。我们证明了这些基于图的内核与相应的GNN相比,具有竞争力的分类和回归性能,以及计算时间上的优势。
2023-02-12 cs.LG stat.ML
Revisiting Thinning Methods for Kernel Learning Problems
Universidad Autónoma de Madrid(马德里自治大学)
本文提出反向核拾取与灵活核稀疏化两种改进的核方法数据缩减算法,在保持预测性能的同时显著提升训练效率,并系统比较了不同场景下的适用性。
2026-09-09 cs.AI cs.LG
Determinantal Clustering Processes - A Nonparametric Bayesian Approach to Kernel Based Semi-Supervised Clustering
University of Cambridge(剑桥大学)
半监督聚类是将数据点聚类成簇的任务,其中只有一小部分点被标记。数据中聚类的真实数量通常是未知的,大多数模型都需要这个参数作为输入。狄利克雷过程混合模型是有吸引力的,因为它们可以从数据中推断出聚类的数量。然而,这些模型不能很好地处理高维数据,并且在推理中会遇到困难。我们提出了一种新的非参数贝叶斯内核为基础的方法来聚类数据点,而不需要预先指定集群的数量或模型复杂的密度,数据点被假定为从生成。关键的见解是使用核矩阵的子矩阵的行列式作为一组点之间的距离的度量。我们探讨了模型的一些理论性质,并推导出一个基于自然吉布斯的算法与MCMC超参数学习。该模型在各种合成和真实世界的数据集上实现。
2013-09-26 cs.LG stat.ML
Transductive Kernels for Gaussian Processes on Graphs
University of Oxford(牛津大学);University of Cambridge(剑桥大学);Man AHL(曼恩AHL公司);Invenia Labs(Invenia实验室)
图上的核对于节点级问题的选择有限。为了解决这个问题,我们提出了一种新的,广义的内核与节点特征数据的图半监督学习。核是从正则化框架中导出的,将图形和特征数据视为两个希尔伯特空间。我们还展示了图上的许多基于内核的模型是我们设计的实例。以这种方式定义的内核具有转换属性,这导致在更少的训练点上学习的能力得到提高,以及更好地处理高度非欧几里德数据。我们使用合成数据证明了这些优势,其中整个图的分布可以告知标签的模式。最后,通过在核中使用一个灵活的图拉普拉斯多项式,该模型也可以有效地进行半监督分类的各种水平的同质图。
2022-11-28 cs.LG stat.ML
Semi-supervised Deep Kernel Learning: Regression with Unlabeled Data by Minimizing Predictive Variance
Stanford University(斯坦福大学)
训练深度学习模型通常需要大量标记数据。然而,对于许多现实问题,获取额外的数据可能是昂贵的,甚至是不可能的。我们提出了半监督深度核学习(SSDKL),这是一种基于后验正则化框架中最小化预测方差的半监督回归模型。SSDKL将神经网络的分层表示学习与高斯过程的概率建模能力相结合。通过利用未标记的数据,我们展示了对各种现实回归任务的改进,这些任务优于有监督的深度内核学习和半监督方法,如适用于回归的VAT和平均教师。
2019-03-04 cs.AI cs.LG stat.ML
The Responsibility Weighted Mahalanobis Kernel for Semi-Supervised Training of Support Vector Machines for Classification
University of Kassel(卡塞尔大学)
支持向量机(SVM)中的核函数需要评估输入样本的相似性,以便例如对这些样本进行分类。除了诸如高斯(即,径向基函数(RBF)或多项式核,也有特定的核被定制为考虑数据中的结构以进行相似性评估。在本文中,我们将通过概率混合密度模型来捕获数据中的结构,例如在实值输入空间的情况下的高斯混合。从这些模型中固有包含的距离度量,例如,马氏距离的高斯混合的情况下,我们推导出一个新的核,责任加权马氏(RWM)核。基本上,该内核强调模型组件的影响,假设任何两个被比较的样本都来自模型组件(即“负责的”模型组件)。我们将看到,在许多部分标记数据可用的应用中,该内核优于RBF内核和其他捕获数据结构的内核(例如Laplacian SVM中的KNN内核),即,用于SVM的半监督训练。其他关键优点是RWM内核可以很容易地与标准SVM实现和训练算法(如顺序最小优化)一起使用,并且可以很容易地将C-SVM中RBF内核的参数化方法转移到这个新内核中。RWM内核的性能证明了20个基准数据集和训练数据中标记样本的百分比不断增加。
2015-02-16 cs.LG stat.ML
Gradient-based kernel dimension reduction for supervised learning
The Institute of Statistical Mathematics(统计数学研究所);National University of Singapore(新加坡国立大学)
本文提出了一种新的核方法,用于监督学习的线性降维。降维的目的是在输入空间中找到方向,以尽可能有效地解释输出。该方法基于再生核Hilbert空间上的协方差算子,对回归函数的梯度进行估计。与现有的方法相比,该方法具有广泛的适用性,无需对变量的分布或类型进行强假设,并且使用计算简单的特征分解。实验结果表明,该方法能够有效地找到有效的方向与高效的计算。
2011-09-02 cs.LG stat.ML
Multi-Kernel Regression with Sparsity Constraint
EPFL(洛桑联邦理工学院)
在本文中,我们提供了一个广义全变差(gTV)正则化的监督学习的Banach空间公式。我们确定类的核函数,在这个框架中是允许的。然后,我们提出了一个变化的监督学习在连续域混合搜索空间与gTV正则化。我们表明,该解决方案承认一个自适应位置的多核扩展。在该表示中,活动内核的数量由数据点的数量上限,而gTV正则化对内核系数施加$\ell_1$惩罚。最后,我们数值说明我们的理论的结果。
2020-12-17 cs.LG stat.ML
Feature space approximation for kernel-based supervised learning
Freie Universität Berlin(柏林自由大学);University of Surrey(萨里大学);Zalando SE(Zalando公司);Zuse Institute Berlin(柏林祖泽研究所)
我们提出了一种近似高维甚至无限维特征向量的方法,这些特征向量在监督学习中起着重要作用。目标是减少训练数据的大小,从而降低存储消耗和计算复杂性。此外,该方法可以被视为一种正则化技术,它提高了学习的目标函数的泛化能力。与涉及完整训练数据集的数据驱动预测的计算相比,我们展示了显着的改进。该方法适用于不同的应用领域,如图像识别,系统识别,海洋时间序列分析的分类和回归问题。
2021-03-15 cs.LG stat.ML
Subsampling for supervised learning in reproducing kernel Hilbert spaces
针对大数据的计算成本问题,提出基于Horvitz-Thompson加权的经验风险最小化子采样方法,通过协方差算子迹的最优采样方案,实现非参数回归的降本增效。
2026-06-23 cs.LG stat.ML
Joint Embedding Self-Supervised Learning in the Kernel Regime
MIT(麻省理工学院);Meta AI, FAIR(元人工智能 基础人工智能研究团队);Turing Inc.(图灵公司);NYU(纽约大学)
自监督学习(SSL)的基本目标是生成有用的数据表示,而无需访问用于对数据进行分类的任何标签。SSL中的现代方法基于样本之间已知或构建的关系形成表示,在此任务中特别有效。在这里,我们的目标是扩展这个框架,将算法的内核方法的基础上,嵌入构造的线性映射作用于内核的特征空间。在这个内核政权,我们推导出的方法来找到对比和非对比损失函数的输出表示的最佳形式。该过程产生具有表示为诱导核的内积的新表示空间,诱导核通常使通过核空间中的增广而相关的点相关,并且使点去相关。我们在小数据集上分析我们的内核模型,以识别自监督学习算法的共同特征,并从理论上了解它们在下游任务上的性能。
2022-09-29 cs.AI cs.LG stat.ML
Kernel VICReg for Self-Supervised Learning in Reproducing Kernel Hilbert Space
Vision and Image Processing Group, Systems Design Engineering, University of Waterloo, ON, Canada.(图像与图像处理组,系统设计工程,滑铁卢大学,加拿大);Electrical and Computer Engineering, University of Waterloo, ON Canada.(电气与计算机工程,滑铁卢大学,加拿大)
核VICReg通过将VICReg目标引入再生核希尔伯特空间,实现了非线性特征学习,提升了在非线性结构数据上的表现。
2026-03-05 cs.CV cs.LG stat.ML
Supervised Kernel Thinning
Cornell Tech, Cornell University(康奈尔科技学院,康奈尔大学)
本研究将核压缩(KT)算法推广至有监督核学习场景,结合Nadaraya-Watson回归与核岭回归实现训练推理的二次加速,证明其兼具更优计算与统计效率,并给出新的乘法误差保证,经实验验证有效。
2025-01-15 cs.LG math.ST stat.ML
DuSK: A Dual Structure-preserving Kernel for Supervised Tensor Learning with Applications to Neuroimages
South China University of Technology(华南理工大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Northwestern University(西北大学);Guangdong University of Technology(广东工业大学)
随着数据汇集技术的进步,张量数据在许多应用中越来越突出,并且监督张量学习问题已经成为数据采掘和机器学习社区中具有重要意义的主题。传统的有监督张量学习方法主要集中在通过将张量扁平化为向量或矩阵来学习核函数,但是会丢失张量中的结构信息。在本文中,我们介绍了一种新的方案来设计结构保持核监督张量学习。具体来说,我们演示了如何利用张量表示中的自然可用结构来编码内核中的先验知识。基于对偶张量映射,我们提出了一种保持张量结构的张量核。双张量映射函数可以将输入空间中的每个张量实例映射到特征空间中的另一个张量,同时保持张量结构。从理论上讲,我们的方法是传统的核在向量空间张量空间的扩展。我们将我们的新内核与SVM结合应用于现实世界的张量分类问题,包括三种不同疾病的脑fMRI分类(即,阿尔茨海默病、多动症和艾滋病毒造成的脑损伤)。大量的实证研究表明,我们提出的方法可以有效地提高张量分类性能,特别是在小样本的情况下。
2014-08-05 cs.LG
Reconstructing Kernel-based Machine Learning Force Fields with Super-linear Convergence
Technische Universität Berlin(柏林工业大学);Korea University(高丽大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Google Research(谷歌研究院)
本文针对核机器在力场重构中因二次内存和三次运行时间导致的可扩展性瓶颈,提出基于Nyström型低秩近似的预条件子构造方法,以实现超线性收敛并改善计算效率。
2023-04-20 cs.LG physics.chem-ph physics.comp-ph
Geodesic Flow Kernels for Semi-Supervised Learning on Mixed-Variable Tabular Dataset
University of Oxford(牛津大学)
针对混合变量表格数据,提出GFTab半监督框架,结合变量特定损坏、测地流核相似度和树嵌入,在21个数据集上优于现有模型,尤其适合标注数据稀缺场景。
2025-04-23 cs.LG
On Kernelization of Supervised Mahalanobis Distance Learners
Chulalongkorn University(朱拉隆功大学)
本文主要研究了现有的有监督马氏距离学习器的核化问题。本文包括以下特点。首先,三个流行的学习器,即“邻域成分分析”,“大间隔最近邻”和“判别邻域嵌入”,这是没有核版本的核化,以提高其分类性能。其次,提出了一种称为“KPCA技巧”的核化框架。在新的框架中实现一个学习者获得了几个优势,在标准的框架,例如,没有数学公式,没有重新编程需要一个内核的实现,框架避免了麻烦的问题,如奇异性等第三,而真理的代表定理只是假设在以前的文件与我们有关,在这里,代表定理正式证明。证明验证了核技巧和KPCA技巧的Mahalanobis远程学习的上下文中。第四,不同于以往的作品,总是采用蛮力的方法来选择一个内核,我们研究了两种方法,可以有效地采用构造一个合适的内核为给定的数据集。最后,各种现实世界的数据集上的数值结果。
2009-01-30 cs.AI cs.LG
Correction Filter for Single Image Super-Resolution: Robustifying Off-the-Shelf Deep Super-Resolvers
Tel Aviv University(特拉维夫大学)
单图像超分辨率问题是近十年来研究最多的逆问题之一。近年来,深度神经网络(DNN)在采集过程使用固定的已知下采样内核(通常为双三次内核)时,表现出优于替代方法的性能。然而,最近的几项工作表明,在实际场景中,测试数据与训练数据不匹配(例如,当下采样内核不是双三次内核或在训练时不可用时),领先的DNN方法遭受巨大的性能下降。受广义采样文献的启发,在这项工作中,我们提出了一种方法,用于提高DNN的性能,DNN已经用固定的内核对其他内核获得的观察进行了训练。对于一个已知的内核,我们设计了一个封闭形式的校正滤波器,该滤波器修改低分辨率图像以匹配由另一个内核(例如双三次)获得的图像,从而改进了现有预训练DNN的结果。对于一个未知的内核,我们扩展了这个想法,并提出了一个算法所需的校正滤波器的盲估计。我们表明,我们的方法优于其他超分辨率的方法,这是专为一般的下采样内核。
2020-05-24 cs.CV cs.LG eess.IV
Semi-Supervised Learning on Graphs through Reach and Distance Diffusion
Google Research(谷歌研究院)
半监督学习(SSL)是一个不可或缺的工具,当有几个标记的实体和许多未标记的实体,我们想要预测标签。对于基于图的方法,实体对应于图中的节点,边表示强关系。SSL算法的核心是来自图结构的成对亲和值的密集{ \em内核}的规范。然后,在内核上与标记的实体一起训练学习算法。最流行的内核是{ \em谱},包括高度可扩展的“对称”拉普拉斯方法,使用Jacobi迭代计算软标签,以及“非对称”方法,包括个性化页面排名(PPR),使用短随机游走并应用有向关系,如喜欢,跟随或超链接。我们引入{ \em到达扩散}和{ \em距离扩散}内核,它们建立在网络中心性和影响力的强大社会和经济模型基础上,并捕获强调社会影响力的有向成对关系。受社会影响力作为光谱中心性(如Page Rank)的替代方案的成功启发,我们用我们的内核探索SSL,并开发高度可扩展的参数设置,标签学习和采样算法。我们进行初步的实验,证明我们的内核的属性和潜力。
2017-01-20 cs.LG
Temporal Kernel Consistency for Blind Video Super-Resolution
University of Cambridge(剑桥大学);Samsung AI Center, Cambridge(三星剑桥人工智能中心);University of Warwick(华威大学)
基于深度学习的盲超分辨率(SR)方法最近在提升具有未知退化的帧方面取得了前所未有的性能。这些模型能够从给定的低分辨率(LR)图像中准确地估计未知的降尺度内核,以便在恢复过程中利用内核。虽然这些方法在很大程度上是成功的,但它们主要是基于图像的,因此不利用多个视频帧中内核的时间特性。在本文中,我们研究了内核的时间特性,并强调了其在盲视频超分辨率任务中的重要性。具体来说,我们测量了真实世界的视频的内核时间一致性,并说明了估计的内核如何在场景及其对象的动态性不同的视频中每帧发生变化。有了这个新的见解,我们重新审视了以前流行的视频SR方法,并表明,在整个恢复过程中使用一个固定的内核之前的假设可能会导致视觉伪影时,放大现实世界的视频。为了抵消这一点,我们定制了现有的单图像和视频SR技术,以利用内核的一致性,在内核估计和视频放大过程。对合成视频和真实视频的大量实验表明,在定量和定性上都有很大的恢复收益,实现了盲视频SR的最新技术水平,并强调了利用内核时间一致性的潜力。
2021-08-18 cs.AI cs.CV cs.LG
Quantum Semi-Supervised Kernel Learning
Virginia Commonwealth University(弗吉尼亚联邦大学)
量子计算利用量子效应来构建比其经典变体更快的算法。在机器学习中,对于给定的模型架构,训练模型的速度通常由训练数据集的大小确定。因此,量子机器学习方法有可能促进使用极大数据集的学习。虽然用于训练机器学习模型的数据的可用性正在稳步增加,但通常更容易收集特征向量以获得相应的标签。解决这个问题的方法之一是使用半监督学习,它不仅利用标记的样本,而且还利用未标记的特征向量。在这里,我们提出了一个量子机器学习算法训练半监督核支持向量机。该算法利用量子样本哈密顿模拟的最新进展,扩展现有的量子LS-SVM算法,以处理损失中的半监督项。通过对该算法的计算复杂性的理论研究,我们证明了它保持了与全监督量子LS-SVM相同的加速比。
2022-04-22 cs.LG quant-ph
Single Image Inpainting and Super-Resolution with Simultaneous Uncertainty Guarantees by Universal Reproducing Kernels
Institute for Computer Science and Control (SZTAKI)(计算机科学与控制研究所);Institute of Mathematics, Budapest University of Technology and Economics (BME)(布达佩斯技术大学数学研究所)
本文提出基于RKHS的SGKI方法,在估计图像缺失像素的同时提供非渐近置信带,实现图像修复与超分辨率中的不确定性量化。
2025-06-29 cs.CV cs.LG
Deep Kernel Supervised Hashing for Node Classification in Structural Networks
Beijing Institute of Technology(北京理工大学);Huazhong University of Science and Technology(华中科技大学)
结构网络中的节点分类已被证明是有用的,在许多现实世界的应用。随着网络嵌入的发展,节点分类的性能得到了很大的提高。然而,现有的基于网络嵌入的方法在低维空间中存在线性不可分问题,难以捕捉节点的实际类别特征,同时也无法将网络结构信息和节点标签信息同时融入到网络嵌入中。为了解决上述问题,在本文中,我们提出了一种新的深度核监督哈希(DKSH)方法来学习节点的哈希表示用于节点分类。具体来说,首先提出了一种深度多核学习,将节点映射到合适的Hilbert空间,以处理线性不可分问题。然后,而不是只考虑两个节点之间的结构相似性,一个新的相似性矩阵的设计,合并网络结构信息和节点标签信息。在相似性矩阵的监督下,学习到的节点的哈希表示同时很好地保留了学习到的希尔伯特空间中的两种信息。大量的实验表明,该方法显着优于国家的最先进的基线在三个真实世界的基准数据集。
2021-04-03 cs.LG cs.SI
Zero-shot super-resolution with a physically-motivated downsampling kernel for endomicroscopy
University College London(伦敦大学学院);UCLH(伦敦大学学院医院);Mauna Kea Technologies(莫纳克亚技术公司);Medtronic(美敦力公司);Royal Academy of Engineering(英国皇家工程学院)
由于卷积神经网络(CNN)的发展,超分辨率(SR)方法已经取得了重大进展。CNN已经成功地用于提高显微内镜成像的质量。然而,显微内镜中SR研究的固有局限性仍然是缺乏地面实况高分辨率(HR)图像,通常用于监督训练和基于参考的图像质量评估(IQA)。因此,正在探索替代方法,例如无监督SR。为了解决非参考图像质量改善的需求,我们设计了一种新的zero-shot超分辨率(ZSSR)方法,该方法仅依赖于以自监督方式处理的显微内镜数据,而不需要地面真实HR图像。我们量身定制的建议管道的特质,显微内镜通过引入:一个物理动机的Voronoi降尺度内核占显微内镜的不规则的基于纤维的采样模式,和现实的噪声模式。我们还利用视频序列来利用图像序列进行自我监督的zero-shot图像质量改进。我们进行消融研究,以评估我们在降尺度内核和噪声模拟方面的贡献。我们验证我们的方法在合成和原始数据。合成实验进行了评估与参考为基础的IQA,而我们的原始图像的结果进行了评估,在与专家和非专家观察员进行的用户研究。结果表明,ZSSR重建的图像质量优于基线方法。与监督单图像SR相比,ZSSR也具有竞争力,特别是专家首选的重建技术。
2021-03-25 cs.CV cs.LG eess.IV