ROCK: A variational formulation for occupation kernel methods in Reproducing Kernel Hilbert Spaces
Department of Mathematics(数学系);Portland State University(波特兰州立大学);Translational Genomics Research Institution(转化基因组研究机构)
本文提出弱形式问题的表示定理,并据此推广多元占用核(MOCK)方法,提出更通用的 Riesz 占用核(ROCK)方法用于从数据学习动态系统,在多数基准上提升了计算效率与性能。
2025-06-30 cs.LG stat.ML
A Unifying View of Multiple Kernel Learning
University of California, Berkeley(加州大学伯克利分校)
最近对多核学习的研究已经导致了许多在正则化风险最小化中组合核的方法。所提出的方法包括不同的目标公式和不同的正则化策略。在本文中,我们提出了一个统一的通用多核学习的优化标准,并展示了如何将现有的配方作为特殊情况。我们还导出了该准则的对偶表示,它适用于一般的光滑优化算法。最后,我们评估多核学习在这个框架中分析使用拉德马赫复杂度的泛化误差和经验上的一组实验。
2010-05-04 cs.LG stat.ML
Provably Strict Generalisation Benefit for Invariance in Kernel Methods
University of Oxford(牛津大学)
这是一个普遍持有的信念,强制执行不变性提高概括。虽然这种方法受到广泛欢迎,但直到最近才建立了这种好处的严格理论证明。在这项工作中,我们建立在Elesedy和Zaidi arXiv:2102.10333的函数空间的角度来推导一个严格的非零泛化的好处,将不变性的内核岭回归时,目标是不变的一个紧凑的组的行动。我们研究不变性强制执行的功能平均,并发现泛化是由一个概念的有效尺寸,产生的内核和组之间的相互作用。在建立这一结果,我们发现,行动的组诱导正交分解的再生核希尔伯特空间和它的内核,这可能是感兴趣的本身。
2021-12-19 cs.LG stat.ML
Generalization error bounds for kernel matrix completion and extrapolation
Universitat Politècnica de Catalunya-Barcelona Tech(加泰罗尼亚理工大学-巴塞罗那理工);University of Minnesota(明尼苏达大学)
先验信息可以被合并到矩阵补全中,以提高估计精度并外推缺失的条目。再生核希尔伯特空间提供了利用所述先验信息的工具,并且导出更可靠的算法。本文分析了这种方法的推广误差,并给出了数值试验证实了理论结果。
2019-06-20 cs.LG stat.ML
Generalized Spectral Kernels
在本文中,我们提出了一个家庭的易处理的内核,是密集的家庭有界半正定函数(即可以近似任何有界核任意精度)。我们首先讨论的情况下,平稳内核,并提出了一个家庭的频谱内核扩展现有的方法,如频谱混合内核和稀疏频谱内核。我们的扩展有两个主要优势。首先,与现有的产生无穷可微性的谱方法不同,我们引入的核允许学习高斯过程(GP)模型中的潜在函数和其他核方法中的再生核希尔伯特空间(RKHS)中的函数的可微性程度。其次,我们表明,我们提出的一些内核需要更少的参数比现有的谱内核相同的精度,从而导致更快,更强大的推理。最后,我们推广我们的方法,并提出了一个灵活的和易于处理的家庭的谱内核,我们证明可以近似任何连续有界非平稳内核。
2015-10-09 stat.ML
Feature maps for the Laplacian kernel and its generalizations
University of YYY(YYY大学);Institute of WWW(WWW研究所);IIT Bombay(印度理工学院孟买分校);Center for Machine Intelligence(机器智能中心)
针对拉普拉斯核不可分离导致RFF近似困难的问题,提出适用于拉普拉斯核、Matérn核及指数幂核的高效随机特征采样方案,并通过真实数据集实验验证了其有效性。
2025-02-21 cs.AI cs.LG stat.ML
On Power-law Kernels, corresponding Reproducing Kernel Hilbert Space and Applications
Indian Institute of Science(印度科学学院)
内核的作用是机器学习的核心。基于幂律分布在统计建模中的重要性,本文提出了幂律核的概念来研究学习问题中的幂律分布。我们通过推广高斯核和拉普拉斯核提出了两个幂律核。这种推广是基于分布的,它产生于被称为非广延熵的广义信息测度的最大化,在统计力学中得到了很好的研究。我们证明了所提出的内核是正定的,并提供了一些见解,关于相应的再生核希尔伯特空间(RKHS)。我们还研究了这两种核在分类和回归中的实际意义,并给出了一些模拟结果。
2013-04-01 cs.IT cs.LG math.IT
Generalized Kernel-Based Dynamic Mode Decomposition
INRIA(法国国家信息与自动化研究所);IRMAR(雷恩数学研究所);IRISA(信息与随机系统研究所);Univ. Rennes(雷恩大学)
高维再生核希尔伯特空间中的简化建模提供了有效近似非线性动力学的机会。在这项工作中,我们设计了一个算法的基础上低秩约束优化和基于核的计算,推广了最近的方法称为“基于核的动态模式分解”。这种新算法的特点是在近似精度的增益,证明了数值模拟,并在计算复杂性。
2020-02-11 cs.LG math.OC stat.ML
Robust Kernel (Cross-) Covariance Operators in Reproducing Kernel Hilbert Space toward Kernel Methods
据我们所知,统计无监督学习还没有普遍的有充分依据的鲁棒方法。大多数无监督方法显式或隐式地依赖于核协方差算子(核CO)或核互协方差算子(核CCO)。他们是敏感的污染数据,即使使用有界正定核。首先,我们提出了鲁棒核协方差算子(鲁棒核CO)和鲁棒核互协方差算子(鲁棒核CCO)的基础上,而不是二次损失函数的广义损失函数。其次,提出了经典核典型相关分析的影响函数。第三,使用这个影响函数,我们提出了一个可视化的方法来检测两组数据的有影响力的意见。最后,我们提出了一种基于鲁棒核CO和鲁棒核CCO的方法,称为鲁棒核CCA,它是针对污染数据而设计的,对噪声的敏感性低于经典的核CCA。我们描述的原则也适用于许多必须处理内核CO或内核CCO问题的核方法。合成和成像遗传学分析的实验表明,所提出的可视化和鲁棒的核CCA可以有效地应用于理想数据和污染数据。鲁棒方法显示出优于最先进方法的性能。
2016-02-17 stat.ML
A General $\widetildeΩ(\sqrt{T γ_T})$ Lower Bound for Kernel Bandits
National University of Singapore(新加坡国立大学)
针对核函数多臂老虎机现有下界仅适用于特定核的问题,本文建立了非恒定连续核的通用极小极大后悔下界,明确了其近最优性及对数因子的不可避免性,还推导了特定核的最优缩放规律。
2026-10-09 cs.IT cs.LG math.IT
Influence Function and Robust Variant of Kernel Canonical Correlation Analysis
许多无监督的核方法依赖于核协方差算子(核CO)或核互协方差算子(核CCO)的估计。核CO和核CCO都对污染数据敏感,即使使用有界正定核。据我们所知,统计无监督学习的稳健核方法很少。此外,虽然估计量的影响函数(IF)可以表征其稳健性、渐近性和标准误,但标准核典型相关分析(standard kernelcanonical correlation analysis,简称CCA)的IF还没有得到。为了填补这一空白,我们首先提出了一个强大的核协方差算子(鲁棒核CO)和鲁棒核互协方差算子(鲁棒核CCO)的基础上,而不是二次损失函数的广义损失函数。其次,我们推导出了鲁棒内核CCO和标准内核CCA的IF。使用标准核CCA的IF,我们可以从两组数据中检测出有影响的观测值。最后,我们提出了一种基于鲁棒核CO和鲁棒核CCO的方法,称为{ \bf鲁棒核CCA},它比标准核CCA对噪声更不敏感。所介绍的原理也可以应用于涉及内核CO或内核CCO的许多其他核方法。我们的合成数据和成像遗传学分析的实验表明,建议的IF标准核CCA可以识别离群值。它也可以看出,建议的鲁棒核CCA方法比标准的核CCA更好地执行理想和污染的数据。
2017-05-09 stat.ML
Kernel interpolation generalizes poorly
Tsinghua University(清华大学)
本文证明在温和条件下核插值的泛化误差下界为 $Ω(n^{-\varepsilon})$,表明一大类核插值泛化能力较差,并推论球面上的过拟合宽神经网络同样泛化不佳。
2023-08-01 cs.LG math.ST stat.TH
A general framework for the analysis of kernel-based tests
基于核的测试提供了一个简单而有效的框架,使用再生核希尔伯特空间的理论来设计非参数测试程序。在本文中,我们提出了新的理论工具,可用于研究渐近行为的基于内核的测试在几个数据的情况下,在许多不同的测试问题。与目前的方法不同,我们的方法避免使用冗长的$U$和$V$统计扩展和极限定理,通常出现在文献中,并直接与随机泛函希尔伯特空间。因此,我们的框架导致了一个更简单和干净的内核测试分析,只需要温和的规则性条件。此外,我们表明,在一般情况下,我们的分析不能通过证明我们的方法所需的正则性条件是充分和必要的。为了说明我们方法的有效性,我们针对条件独立性测试问题提出了一个新的内核测试,以及对已知的基于内核的测试的新分析。
2022-08-31 math.ST stat.ME stat.ML
Kernel Estimates as General Concept for the Measuring of Pedestrian Density
本文提出基于多种核的行人密度估计通用框架,将行人参数化为密度源,并通过实验数据验证其平滑性及与 Voronoi 图等非核方法的对应关系。
2023-07-10 cs.MA nlin.AO physics.soc-ph
Probability-Generating Function Kernels for Spherical Data
The University of Manchester(曼彻斯特大学);University of Glasgow(格拉斯哥大学)
该研究提出适用于球面数据分析的单位超球面PGF核,推广了球面场景下的RBF核,研究其性质并提出配套半参数学习算法以支撑实际应用。
2024-02-01 cs.LG stat.ML
On the generalization of Tanimoto-type kernels to real valued functions
Aalto University(阿alto大学)
本文提出一种更一般的Tanimoto核公式,通过统一属性表示为集合,度量任意实值函数的相似性,并提取显式特征表示及平滑近似。
2025-06-19 cs.LG stat.ML
Generalized RBF kernel for incomplete data
Jagiellonian University(雅盖隆大学)
我们构造了$\bf genRBF$核函数,它将经典的高斯RBF核函数推广到不完全数据的情况。我们利用数据分布对缺失属性中包含的不确定性进行建模,并将每个点与条件概率密度函数相关联。这允许将不完整的数据嵌入到函数空间中,并基于$L_2$中的标量积在两个缺失的数据点之间定义核。实验结果表明,引入核函数的SVM分类器的分类效果优于其他现有方法,特别是在大量特征缺失的情况下。此外,它易于实现,可以与任何内核方法一起使用,无需额外修改。
2017-05-02 cs.LG stat.ML
Why Do Deep Residual Networks Generalize Better than Deep Feedforward Networks? -- A Neural Tangent Kernel Perspective
Peking University(北京大学);Georgia Institute of Technology(佐治亚理工学院)
深度残差网络(ResNets)比深度前馈网络(FFNets)具有更好的泛化性能。然而,这种现象背后的理论在很大程度上仍然是未知的。本文从所谓的“神经切线核“的角度研究了深度学习中的这个基本问题。具体来说,我们首先证明,在适当的条件下,随着宽度趋于无穷大,训练深度ResNets可以被视为学习具有某些核函数的再生核函数。然后,我们将深度ResNets的内核与深度FFNets的内核进行比较,发现由FFNets的内核诱导的函数类是渐进不可学习的,因为深度是无穷大的。相比之下,由ResNets的内核诱导的函数类并没有表现出这种退化。我们的发现部分证明了深度ResNets在泛化能力方面优于深度FFNets。数值结果支持我们的主张。
2020-12-22 cs.LG stat.ML
On RKHS Choices for Assessing Graph Generators via Kernel Stein Statistics
University of Oxford(牛津大学);The Alan Turing Institute(阿兰·图灵研究所)
基于分数的核化Stein差异(KSD)测试已经成为拟合优度测试的强大工具,特别是在高维中;然而,测试性能可能取决于底层再生核希尔伯特空间(RKHS)中的核的选择。在这里,我们评估了随机网络模型的KSD测试中RKHS选择的影响,Xu和Reinert(2021)为指数随机图模型(ERGM)开发,Xu和Reinert(2022)为合成图生成器开发。我们调查的电源性能和计算运行时间的测试在不同的情况下,包括密集和稀疏的图形制度。模型评估任务的内核性能的实验结果显示和讨论合成和现实世界的网络应用程序。
2022-10-11 cs.LG stat.ML
Gene-Gene association for Imaging Genetics Data using Robust Kernel Canonical Correlation Analysis
在全基因组相互作用研究中,检测基因间相互作用的方法主要分为基于单核苷酸多态性(SNP)和基于基因的方法。基本上,基于基因的方法比基于单个SNP的方法更有效。近年来,基于U统计量的核典型相关分析(经典核CCA)被提出来检测基因间的非线性关系。为了估计KCCU中的方差,他们使用了计算密集度很高的基于回归的方法。此外,经典的核CCA对污染数据的鲁棒性较差。因此,我们首先讨论了鲁棒核均值元,鲁棒核协方差和互协方差算子。其次,提出了一种基于影响函数的KCCU方差估计方法。第三,我们提出了一种基于鲁棒核CCA的非参数鲁棒KCCU方法,该方法是针对污染数据而设计的,对噪声的敏感性低于经典核CCA。最后,我们研究所提出的方法来合成数据和成像的遗传数据集。基于基因本体和途径分析,综合和遗传学分析表明,所提出的鲁棒方法显示了最先进的方法的优越性能。
2016-06-01 stat.ML
Learning Schizophrenia Imaging Genetics Data Via Multiple Kernel Canonical Correlation Analysis
采用核和多核典型相关分析(CCA)对精神分裂症患者和健康人进行分类,基于他们的SNPs,DNA甲基化和fMRI数据。核和多核CCA是用于发现高维数据集之间的非线性相关性的流行方法。数据收集自183名患者,79名精神分裂症患者和104名健康对照。核和多核CCA代表了研究精神分裂症的新途径,因为据我们所知,这些方法以前没有在这些数据上使用过。通过对核和多核CCA算法的核矩阵输出进行k均值聚类来执行分类。核和多核CCA分类的准确性进行比较,正则化的线性CCA算法分类,并被发现是显着更准确。这两种算法都表现出最大的准确性时,DNA甲基化和fMRI数据的组合使用,和经验较低的准确性时,SNP数据被纳入。
2016-09-15 q-bio.QM stat.ML
Extension of Convolutional Neural Network with General Image Processing Kernels
Stony Brook University(石溪大学);The State University of New York Korea(纽约州立大学韩国分校)
我们将为图像处理开发的预定义内核(也称为过滤器或掩码)应用于卷积神经网络。我们没有让神经网络找到自己的内核,而是在卷积神经网络的第一层使用了41种不同的通用内核,包括模糊、边缘检测、锐化、离散余弦变换等。这种结构被称为通用滤波卷积神经网络(GFNN),与常规卷积神经网络(CNN)相比,可以减少30%的训练时间,并具有更好的准确性。GFNN也可以通过500个样本训练达到90%的准确率。此外,即使这些内核不是专门针对MNIST数据集的,我们也在没有集成或任何其他特殊算法的情况下实现了99.56%的准确率。
2019-01-16 cs.CV cs.LG eess.IV
Identifying Outliers using Influence Function of Multiple Kernel Canonical Correlation Analysis
成像遗传学研究基本上集中在发现独特的和共同的关联效应,但通常忽略了识别遗传和非遗传变量中的离群值或非典型对象。识别显著异常值是成像遗传学和多源数据分析的一个重要且具有挑战性的问题。因此,我们需要检查已识别离群值的转录错误。首先,我们讨论了核均值元素、核协方差算子、核互协方差算子、核典型相关分析(核CCA)和多核CCA的影响函数。其次,我们提出了一种多核CCA的IF,它可以应用于两个以上的数据集。第三,我们提出了一种基于核CCA和多核CCA的IF的多源数据有影响观测的可视化检测方法。最后,所提出的方法是能够分析离群的主题通常发现在生物医学应用中,其中的维数是大的。为了检查异常值,我们使用茎叶显示。对合成和成像遗传学数据的实验(例如,SNP,fMRI和DNA甲基化)表明,所提出的可视化可以有效地应用。
2016-06-01 stat.ML
Generalized support vector regression: duality and tensor-kernel representation
本文研究了Banach函数空间中支持向量回归机的变分问题。利用Fenchel-Rockafellar对偶理论,我们给出了对偶问题的显式表达式以及相关的最优性条件。此外,我们提供了一个新的计算框架来解决依赖于张量核表示的问题。这种分析克服了典型的困难,在巴拿赫空间学习。最后,我们提出了一个大类的张量核,我们的理论完全适用:幂级数张量核。这种类型的内核描述了解析函数的巴拿赫空间,包括指数和多项式内核的推广,以及在复杂的情况下,Szegö和Bergman内核的推广。
2017-05-05 math.FA math.OC stat.ML
Learning rates for the risk of kernel based quantile regression estimators in additive models
可加模型在半参数统计中起着重要的作用。本文给出了正则化核方法的学习率。这些学习率比较有利,特别是在高维度的最佳学习率为纯粹的非参数正则化内核为基础的分位数回归使用高斯径向基函数内核的最近的结果,提供了一个加性模型的假设是有效的。另外,通过一个具体例子说明了只依赖于一个变量的高斯函数位于由加性高斯核生成的再生核Hilbert空间中,而不属于由相同方差的多元高斯核生成的再生核Hilbert空间.
2014-05-14 stat.ML