Approximate Inference for Spectral Mixture Kernel
KAIST(韩国科学技术院)
光谱混合(SM)核是用于对任何平稳协方差函数建模的灵活核。虽然它在建模数据中是有用的,但SM内核的学习通常是困难的,因为优化SM内核的大量参数通常会引起过拟合,特别是当使用基于梯度的优化时。此外,还需要更长的培训时间。为了提高训练,我们提出了一个近似的贝叶斯推断的SM内核。具体地说,我们采用的光谱点的变分分布近似SM核与随机傅立叶特征。我们优化变分参数应用基于采样的变分推断推导出的证据下界(ELBO)估计构造的近似内核。为了改进推理,我们进一步提出了两个额外的策略:(1)谱点的采样策略,以可靠地估计ELBO估计量及其相关梯度,以及(2)近似自然梯度,以加速参数的收敛。提出的推理结合两种策略,加快了参数的收敛速度,并导致更好的最优参数。
2020-06-12 cs.LG stat.ML
Convolutional Spectral Kernel Learning
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
近年来,非平稳谱核由于其在揭示长程相关性和输入依赖性方面的强大特征表示能力而受到广泛关注。然而,非平稳谱核仍然是浅层模型,因此它们在学习分层特征和局部相互依赖性方面存在不足。在本文中,为了获得分层和局部知识,我们基于逆傅立叶变换构建了一个可解释的卷积谱核网络(\texttt{CSKN}),其中我们将深度架构和卷积滤波器引入非平稳谱核表示。此外,基于Rademacher复杂度,我们推导了泛化误差界,并引入了两个正则化器来提高性能。结合正则化器和随机初始化的最新进展,我们最终完成了\texttt{CSKN}的学习框架。在真实数据集上的大量实验结果验证了学习框架的有效性,并与我们的理论研究结果相吻合。
2020-02-28 cs.LG stat.ML
Hypergraph Modeling via Spectral Embedding Connection: Hypergraph Cut, Weighted Kernel $k$-means, and Heat Kernel
University College London(伦敦大学学院)
我们提出了一个理论框架的多路相似性模型的实值数据到超图聚类通过谱嵌入。对于基于图割的谱聚类,通常通过使用核函数建模成对相似性来将实值数据建模为图。这是因为核函数与图割有理论上的联系。对于使用多路相似性比成对相似性更合适的问题,很自然地将其建模为超图,超图是图的推广。然而,尽管超图割已经得到了很好的研究,但还没有建立一个基于超图割的框架来建模多路相似性。在本文中,我们制定了多路相似性利用核函数的理论基础。我们表明我们的配方和超图切在两种方式,推广加权核$k$ -手段和热核,我们证明我们的配方之间的理论联系。我们还提供了一个快速算法的谱聚类。我们的算法经验显示出更好的性能比现有的图和其他启发式建模方法。
2022-08-16 cs.LG stat.ML
Spectral Properties of Radial Kernels and Clustering in High Dimensions
UCA INRIA(蔚蓝海岸大学法国国家信息与自动化研究所)
本文研究了$\mathbb{R}^n$中混合分布径向核的谱和特征向量。我们的方法专注于高维度,仅依赖于混合物中组分的浓度特性。我们给出了几个结果描述的核矩阵的结构,从这样的混合物中抽取的样本。基于这些结果,我们分析了核PCA聚类高维混合的能力。特别是,我们展示了一个特定的内核,导致一个简单的频谱算法聚类可能共同的手段,但不同的协方差阵的混合物。我们表明,所需的算法成功的协方差阵之间的最小角间距趋于$0$的$n$走向无穷大。
2020-01-06 cs.LG stat.ML
Short-Term Wind-Speed Forecasting Using Kernel Spectral Hidden Markov Models
The University of Electro-Communications(电气通信大学)
在机器学习中,提出了一种用于时间序列数据的非参数预测算法,称为核谱隐马尔可夫模型(KSHMM)。在本文中,我们提出了一种基于KSHMM的短期风速预测技术。我们使用国家可再生能源实验室提供的风速数据,将我们基于KSHMM的预测技术与其他机器学习技术的性能进行了数值比较。我们的研究结果表明,与这些方法相比,所提出的技术提供了相当或更好的性能。
2018-11-15 cs.LG stat.ML
The Minecraft Kernel: Modelling correlated Gaussian Processes in the Fourier domain
Secondmind
在单变量情况下,使用核谱表示是生成平稳协方差函数的一种有吸引力的方法。然而,对多输出高斯过程执行相同的任务更具挑战性。我们表明,目前的方法来建模的光谱混合内核的互协方差具有一个关键的盲点。对于给定的一对过程,除了它们的谱密度具有相同形状的特殊情况外,互协方差在允许的相关性的整个范围内是不可再现的。我们提出了一个解决这个问题的方法,用有限带宽的块分量(即矩形阶跃函数)取代传统的高斯分量的光谱混合。建议的家庭内核代表了第一个多输出概括的光谱混合内核,可以近似任何固定的多输出内核到任意精度。
2021-03-11 cs.LG stat.ML
Learning spectrograms with convolutional spectral kernels
Helsinki Institute for Information Technology, HIIT(赫尔辛基信息技术研究所(HIIT));Aalto University(阿尔托大学)
我们介绍了卷积谱核(CSK),一个新的家庭的非平稳,非参数协方差核的高斯过程(GP)模型,来自两个虚径向基函数之间的卷积。我们提出了一个原则性的框架来解释CSK,以及其他深概率模型,使用近似傅立叶变换,得到一个简洁的表示输入频谱图。通过光谱图的镜头观察,我们提供了对深层模型可解释性的见解。然后,我们推断的功能超参数使用可扩展变分和MCMC方法。在小型和中型的时空数据集上,我们证明了配备CSK时GP模型的改进泛化,以及它们提取非平稳周期模式的能力。
2019-10-14 cs.LG stat.ML
Multi-Output Convolution Spectral Mixture for Gaussian Processes
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Shenzhen College of Advanced Technology, University of Chinese Academy of Sciences(中国科学院大学深圳先进技术学院);Institute for Computing and Information Sciences, Radboud University(拉德堡德大学计算与信息科学研究所);Faculty of Management, Science and Technology, Open University of The Netherlands(荷兰开放大学管理、科学与技术学院)
多输出高斯过程(MOGP)是高斯过程(GP)的扩展,用于同时预测多个输出变量(也称为通道,任务)。在本文中,我们使用卷积定理来设计一个新的内核MOGP,通过建模跨信道的依赖性,通过交叉卷积的时间和相位延迟分量在频谱域。得到的核称为多输出卷积光谱混合(MOCSM)核。合成和现实生活中的数据集上的大量实验结果表明,所提出的内核的优点和其最先进的性能。当考虑单通道时,MOCSM具有降低到众所周知的光谱混合(SM)核的理想性质。与最近推出的多输出频谱混合内核的比较表明,这是不是后者的内核,其中包含二次项,产生不良的尺度效应时,不同通道的频谱密度是非常接近或非常远离对方在频域中的情况。
2021-10-08 cs.LG stat.ML
Compressible Spectral Mixture Kernels with Sparse Dependency Structures for Gaussian Processes
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Central South University(中南大学)
本文提出一种具有稀疏依赖结构的可压缩谱混合核(SMD),通过互协方差和互卷积推广依赖结构,并用时间-相位延迟增强表达力,结合结构自适应算法,提升高斯过程的泛化性能。
2023-07-26 cs.LG stat.ML
Spectral Truncation Kernels: Noncommutativity in $C^*$-algebraic Kernel Machines
NTT, Inc.(NTT公司);Center for Advanced Intelligence Project, RIKEN(RIKEN高级智能项目);Graduate School of Mathematical Sciences, The University of Tokyo(东京大学数学科学研究生院);Graduate School of Information Science and Technology, The university of Osaka(大阪大学信息科学与技术研究生院);Department of Computer Science, Aix-Marseille University, CNRS, LIS(阿维尼昂-马赛大学计算机科学系,CNRS,LIS)
提出基于谱截断和C*-代数的谱截断核,通过允许非交换乘积实现函数域上的交互,填补了可分离核与交换核之间的空白,并降低了计算成本。
2026-06-08 cs.LG math.OA stat.ML
Unified Framework for Spectral Dimensionality Reduction, Maximum Variance Unfolding, and Kernel Learning By Semidefinite Programming: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一篇关于谱降维方法、半定编程(SDP)、最大方差展开(MVU)或半定嵌入(SDE)及其变体的核学习的统一的教程和调查论文。我们首先解释了如何将光谱降维方法统一为具有不同核的核主成分分析(PCA)。这种统一可以解释为特征函数学习或核的距离矩阵表示。然后,由于谱方法被统一为核PCA,我们说让我们学习用于将数据流形展开到其最大方差的最佳核。首先,我们简要介绍了SDP用于转导任务的内核学习。然后,我们详细解释MVU。各种版本的监督MVU使用最近邻图,类明智的展开,Fisher准则,并通过彩色MVU的解释。我们还解释了MVU使用本征函数和核映射的样本外扩展。最后,我们介绍了MVU的其他变体,包括针对嵌入的动作,放松的MVU和大数据的地标MVU。
2022-08-03 cs.CV cs.LG stat.ML
Scaling Continuous Kernels with Sparse Fourier Domain Learning
Southern Methodist University(南卫理公会大学);University of California San Diego(加州大学圣迭戈分校)
针对连续核学习中计算与内存需求高、存在谱偏差的问题,提出傅里叶域稀疏学习方法,可高效扩展连续核、降低资源需求并缓解谱偏差。
2024-09-15 cs.LG stat.ML
Spectral Mixture Kernels for Multi-Output Gaussian Processes
Universidad de Chile(智利大学)
多输出高斯过程(MOGP)的早期方法依赖于独立的、潜在的、单输出高斯过程(GP)的线性组合。这导致交叉协方差函数具有有限的参数解释,从而与单输出GP理解长度尺度、频率和幅度的能力相冲突。相反,目前的方法MOGP能够更好地解释不同的通道之间的关系,通过直接建模的互协方差作为一个频谱混合内核与相移。我们扩展了这一基本原理,并提出了一个参数家庭的复值互谱密度,然后建立在Cramér定理(博克纳定理的多元版本),提供了一个原则性的方法来设计多元协方差函数。如此构造的内核能够建模通道之间的延迟,除了相位差,因此比以前的方法更有表现力,同时还提供跨通道的关系的完整参数解释。该方法首先验证合成数据,然后比较现有的MOGP方法在两个现实世界的例子。
2017-11-03 cs.LG stat.ML
Kernel Spectral Clustering and applications
在本章中,我们回顾了与核谱聚类(KSC)相关的主要文献,KSC是一种在基于核的优化设置中进行聚类的方法。KSC表示基于最小二乘支持向量机的谱聚类公式,由加权核PCA目标描述。正如在分类器的情况下,二进制聚类模型是由一个核诱导的高维空间中的超平面表示。此外,多路聚类可以通过经由纠错输出码(ECOC)编码方案组合一组二元决策函数来获得。由于其基于模型的性质,KSC方法包括三个主要步骤:训练,验证,测试。在验证阶段,执行模型选择以获得调优参数,如数据中存在的聚类数。这是一个主要的优势相比,经典的谱聚类的聚类参数的确定是不清楚的,依赖于遗传学。一旦KSC模型在整个数据的一个小子集上进行训练,它就能够很好地推广到看不见的测试点。除了基本公式,稀疏KSC算法的基础上不完全Cholesky分解(ICD)和$L_0$,$L_1, L_0 + L_1$,组Lasso正则化。在这方面,我们展示了如何处理大规模数据。此外,两种可能的方式来执行层次聚类和软聚类方法。最后,考虑了实际应用,如图像分割,电力负荷时间序列聚类,文档聚类和大数据学习。
2015-05-03 cs.LG stat.ML
Robust One-Class Kernel Spectral Regression
Bilkent university(比尔肯特大学);university of Surrey(萨里大学)
核零空间技术及其基于回归的公式(称为一类核谱回归,a.k.a. OC-KSR)是一种有效的、计算上有吸引力的一类分类框架。尽管其出色的性能,核零空间方法的适用性是有限的,由于其敏感性可能的训练数据腐败和无法排名的训练观察,根据其符合模型。这项工作解决了这些缺点,通过研究的零空间核Fisher方法的解决方案的背景下,其回归为基础的配方(OC-KSR)正规化的效果。在这方面,首先,吉洪诺夫正则化在希尔伯特空间中的影响进行了分析,其中一类学习问题中存在的污染的训练集作为一个敏感性分析问题。接下来,驱动的稀疏表示方法的成功,稀疏正则化的解决方案的效果进行了研究。对于这两种替代正则化方案,提出了迭代算法,该算法递归地更新标签置信度并根据它们与模型的拟合对训练观测值进行排名。通过在不同的数据集上进行广泛的实验,发现所提出的方法与基线核零空间技术以及其他现有的方法相比,在一类分类范例中,提高了对训练集中污染的鲁棒性,同时提供了有效地对训练样本进行排名的功能。
2019-02-06 cs.LG stat.ML
A spectral mixture representation of isotropic kernels with application to random Fourier features
Beijing Normal-Hong Kong Baptist University(北京师范大学-香港浸会大学联合国际学院);EDF Lab Paris-Saclay(法国电力集团巴黎-萨克雷实验室)
本文提出各向同性核的谱混合表示方法,为多种核函数提供简单的谱采样公式,适用于支持向量机等机器学习技术。
2026-02-22 cs.LG math.PR stat.CO
Spectrally Transformed Kernel Regression
Carnegie Mellon University(卡内基梅隆大学)
本研究重新探讨谱变换核回归(STKR),提出可利用无标记数据的通用可扩展STKR估计器,证明其通用性,给出归纳场景下的可扩展实现,并推导两种场景的统计保证,深化对无标记数据利用的理解。
2024-02-01 cs.LG stat.ML
Random feature approximation for general spectral methods
Technical University of Braunschweig(布伦瑞克工业大学)
本文分析结合随机特征的一大类谱正则化方法的泛化性质,在正则性类上获得最优学习率,改进或完善了先前特定核算法的结果。
2023-08-29 cs.LG stat.ML
Gaussian Processes on Graphs via Spectral Kernel Learning
Department of Engineering Science, University of Oxford(牛津大学工程科学系);Man AHL(Man AHL(可能是一个机构或部门,但根据现有信息无法确定具体中文名称,此处按原文保留))
我们提出了一个基于图谱的高斯过程的预测信号定义在节点上的图。该模型的目的是捕捉各种图形信号结构,通过一个高度自适应的内核,采用了灵活的多项式函数在图形频谱域。与大多数现有的方法不同,我们建议学习这样的谱核,其中多项式设置使学习不需要图拉普拉斯算子的特征分解。此外,该内核具有通过定制的最大似然学习算法实现的图形过滤的可解释性,该算法强制执行频谱的正性。我们在合成实验中展示了模型的可解释性,从中我们可以准确地恢复各种地面实况光谱滤波器,并且适应性转化为预测各种特征的真实世界图形数据的卓越性能。
2020-10-28 cs.LG eess.SP stat.ML
FlashDiffusion: Fused Tiled Kernel Spectral Decomposition
SparseTrace LLC(SparseTrace有限责任公司)
FlashDiffusion提出一种无矩阵的融合分块核谱分解方法,通过GPU分块评估高斯核并耦合β流选择分辨率,降低内存开销并加速谱求解。
2026-10-01 cs.LG
One-Class Kernel Spectral Regression
Bilkent university(比尔肯特大学);university of Surrey(萨里大学)
本文介绍了一种新的高效的非线性一类分类器制定的瑞利商准则优化。该方法,在再生核希尔伯特空间中操作,最小化目标分布沿最佳投影方向的分散,同时保持正观测的投影远离负类的平均值。我们提供了一个图形嵌入视图的问题,然后可以有效地解决使用谱回归方法。从这个意义上说,不像以前的类似方法,往往需要昂贵的密集矩阵的特征计算,所提出的方法投下的问题考虑到一个回归框架,这是计算上更有效。特别是,它表明,所提出的方法的主要复杂性是计算的核矩阵的复杂性。所提出的单类分类器的其他吸引人的特征是:1-以增量方式训练的能力(允许在流数据场景中的应用,同时还降低非流操作模式中的计算复杂性); 2-无监督,但提供用于在可用时使用负训练样本来精炼解决方案的选项;最后但并非最不重要的是,3-使用核技巧,这有助于将数据非线性映射到高维特征空间,以寻求更好的解决方案。
2019-02-10 cs.LG stat.ML
Stein Random Feature Regression
DATA61 CSIRO(联邦科学与工业研究组织DATA61分部);NVIDIA(英伟达公司)
针对大规模回归中随机傅里叶特征依赖谱测度采样质量的问题,提出Stein随机特征,利用Stein变分梯度下降生成高质量样本并近似非解析后验,在核近似与贝叶斯核学习中取得更优性能。
2024-06-04 cs.LG stat.ML
Deep Kernel Learning for Clustering
Northeastern University(东北大学)
我们提出了一种深度学习方法,用于发现针对样本数据识别聚类的内核。我们的神经网络产生的样本嵌入是由谱聚类激发的,并且至少与谱聚类一样具有表达力。我们的训练目标,基于Hilbert Schmidt信息准则,可以通过Stiefel流形上的梯度自适应来优化,从而显著加速依赖于特征分解的谱方法。最后,我们训练的嵌入可以直接应用于样本外数据。我们的实验表明,我们的方法优于几个国家的最先进的深度聚类方法,以及传统的方法,如$k$ -手段和谱聚类在广泛的现实生活和合成数据集。
2020-01-02 cs.LG stat.ML
Spectral Norm of Random Kernel Matrices with Applications to Privacy
Samsung Research America(三星美国研究院);General Electric Research(通用电气研究院);University of Michigan(密歇根大学)
核方法是一组非常流行的技术,用于许多重要的机器学习和数据分析应用。除了具有良好的实际性能,这些方法是由一个发达的理论支持。核方法使用输入数据到由核函数定义的高维特征空间的隐式映射,即,返回特征空间中两个数据点的图像之间的内积的函数。任何核方法的核心都是核矩阵,它是通过对给定的样本数据集计算核函数而构建的。本文主要研究随机核矩阵的非渐近谱理论。这些是n × n随机矩阵,其第(i,j)项通过对$x_i$和$x_j$上的核函数求值而获得,其中$x_1,...,x_n$是n个独立随机高维向量的集合。我们的主要贡献是获得紧的上界的谱范数(最大特征值)的随机核矩阵构造常用的核函数的基础上多项式和高斯径向基。作为这些结果的应用,我们提供的失真释放下属性隐私,一般的隐私概念,捕捉了一大类的隐私定义的内核岭回归的系数所需的下限。核岭回归是用于执行非参数回归的标准方法,其在各个领域中经常优于传统回归方法。我们的隐私失真下限是任何内核技术的第一个,我们的分析假设现实的情况下输入,不像所有以前的下限,其他发布的问题,只有在非常严格的输入设置。
2015-04-22 cs.CR cs.LG stat.ML
Spectral Clustering with Jensen-type kernels and their multi-point extensions
Indian Institute of Science(印度科学院)
多分布的分歧,起源于信息论,我们提出了一个概念的“多点”内核,并研究其应用。我们研究了一类基于詹森型分歧的内核,并表明这些可以扩展到多个点之间的相似性测量。研究了张量平坦化方法,提出了一种多点(核)谱聚类方法。我们进一步强调所提出的内核,这是一个多点扩展的线性(点积)内核的特殊情况下,并显示在这种情况下的立方时间张量平坦算法的存在。最后,我们使用标准数据集和图像分割任务说明了我们的贡献的有用性。
2014-03-18 cs.LG
Scalable Lévy Process Priors for Spectral Kernel Learning
Cornell University(康奈尔大学)
高斯过程是函数上的丰富分布,具有由核函数确定的泛化特性。当用于长程外推时,预测对核参数的选择特别敏感。因此,在我们的预测分布中考虑内核的不确定性是至关重要的。我们提出了一个分布的内核通过建模的频谱混合密度与Lévy过程。由此产生的分布支持所有平稳协方差-包括流行的RBF,周期性和Matérn内核-结合归纳偏差,实现自动和数据有效的学习,长距离外推和最先进的预测性能。所提出的模型还提出了一种谱正则化的方法,因为Lévy过程引入了混合成分的稀疏诱导先验,允许自动选择模型阶数和修剪无关成分。我们利用所提出的过程的代数结构的$\mathcal{O}(n)$培训和$\mathcal{O}(1)$预测。我们进行外推合理的不确定性估计的几个基准,表明该模型可以恢复灵活的地面真协方差,它是鲁棒的初始化错误。
2018-02-02 cs.AI cs.LG stat.ML
Regret Bounds for Noise-Free Kernel-Based Bandits
MediaTek Research(联发科技研究院)
基于核的强盗问题是一个被广泛研究的黑箱优化问题,其中的目标函数被假设为存在于一个已知的再生核希尔伯特空间中。虽然在噪声环境中建立了接近最优的遗憾界限(最多对数因子),但令人惊讶的是,对无噪声环境(当底层函数的精确值在没有观测噪声的情况下可访问时)的了解较少。我们讨论了几个上界遗憾,没有一个似乎顺序最优,并提供了一个猜想顺序最优的遗憾界。
2022-06-24 cs.LG stat.ML
Spectral Bias Outside the Training Set for Deep Networks in the Kernel Regime
UCLA(加州大学洛杉矶分校);MPI MIS(马克斯·普朗克数学科学研究所)
我们提供了定量界限测量函数空间中的$L^2$差异之间的轨迹的有限宽度的网络训练的许多样本从理想化的内核动态的无限宽度和无限的数据。边界的含义是,网络不仅在训练集上,而且在整个输入空间上都偏向于学习神经切线核的顶部特征函数。这种偏差仅取决于模型架构和输入分布,因此不依赖于不需要在内核的RKHS中的目标函数。结果对于具有全连接层、卷积层和残差层的深度架构有效。此外,宽度不需要随着样本的数量多项式地增长,以便获得直到停止时间的高概率边界。该证明利用了初始化时费舍尔信息矩阵的低有效秩属性,这意味着模型的有效维度较低(远小于参数的数量)。我们的结论是,从费舍尔信息矩阵的低有效秩的本地容量控制仍然是理论上探索不足。
2022-10-14 cs.LG stat.ML
Spectral Concentration at the Edge of Stability: Information Geometry of Kernel Associative Memory
Department of Information Science, Aichi Institute of Technology(信息科学系,爱知技术大学)
本文通过信息几何方法揭示了核关联记忆网络中稳定性边缘与谱集中度的关系,利用最小描述长度原理统一了学习动态与容量问题。
2025-12-22 cs.LG cs.NE stat.ML
Concentration of kernel matrices with application to kernel spectral clustering
University of California, Los Angeles(加州大学洛杉矶分校);Cedars-Sinai Medical Center(西达赛奈医疗中心)
研究了随机核矩阵在其均值附近的集中度。假设数据点独立于$\mathbb R^d$上的一类多元分布(包括仿射变换下的强对数凹分布),得到了Lipschitz核的非渐近指数浓度不等式.我们的结果的一个特点是,数据点不需要具有相同的分布或零均值,这在某些应用中是关键,如聚类。我们对Lipschitz核的界是无量纲的,并且一直到常数。为了比较,我们还推导出了一类次高斯分布的欧氏(内积)核的伴随结果。这两种情况之间的一个显著区别是,与欧几里得核相反,在Lipschitz情况下,浓度不等式不依赖于基础向量的均值。作为这些不等式的应用,我们得到了一个核谱聚类(KSC)算法的误分类率的界,扰动下的非参数混合模型。我们展示了一个例子,这个界限建立高维的一致性(作为$d \to \infty$)的KSC,当应用高斯内核,噪声模型嵌套的非线性流形。
2020-01-27 cs.LG math.ST stat.ML
Multi-kernel spectral clustering: Entrywise eigenvector perturbation bounds and exact recovery
Nanyang Technological University(南洋理工大学);University of Macau(澳门大学);Dalian University of Technology(大连理工大学)
针对高维多尺度数据的单一带宽核谱聚类不足问题,提出多核谱聚类方法,建立逐元素特征向量扰动界,证明其结合近似K-means可高概率实现数据精确恢复。
2026-08-11 cs.LG math.ST stat.ML
Weighted Spectral Filters for Kernel Interpolation on Spheres: Estimates of Prediction Accuracy for Noisy Data
Xi’an Jiaotong University(西安交通大学)
本文针对球面核插值在含噪数据下条件数大、不稳定的问题,提出加权谱滤波器方法以降低条件数并稳定插值,理论证明其突破瓶颈且不损害预测精度,并通过模拟与真实数据实验验证有效性。
2024-01-16 cs.LG
Nonstationary multi-output Gaussian processes via harmonizable spectral mixtures
Universidad de Chile(智利大学)
多输出高斯过程的核设计问题近年来受到了广泛的关注。特别地,多输出光谱混合内核(MOSM)arXiv:1709.01298方法已经被称赞为通用模型,因为它扩展了其他方法,例如相关化的线性模型、内在相关化模型和交叉光谱混合。MOSM依赖于Cramér定理将功率谱密度(PSD)参数化为高斯混合,因此具有结构限制:通过假设PSD的存在,该方法仅适用于多输出稳态应用。我们开发了一个非平稳扩展MOSM提出家庭的和谐内核MOGP,一类内核,包含固定和绝大多数的非平稳过程。所提出的可协调内核的主要贡献在于,它们自动识别可能的非平稳行为,这意味着从业者不需要在平稳或非平稳内核之间进行选择。该方法首先在合成数据上进行验证,目的是说明我们方法的关键特性,然后将其与现有的MOGP方法在金融和脑电图两个真实环境中进行比较。
2022-02-18 cs.LG eess.SP stat.ML
Learning Tensors in Reproducing Kernel Hilbert Spaces with Multilinear Spectral Penalties
Katholieke Universiteit Leuven(鲁汶天主教大学)
我们提出了一个通用的框架来学习张量积再生核希尔伯特空间(TP-RKHS)中的函数。该方法是基于一个新的代表定理适用于现有的以及新的频谱张量的罚款。当TP-RKHS中的函数被定义在有限离散集的笛卡尔积上时,特别是,我们的主要问题制定承认作为一种特殊情况存在的张量完成问题。其他特殊情况包括具有多模态边信息的迁移学习和多线性多任务学习。对于后一种情况,我们的基于内核的视图是工具,以获得现有的模型类的非线性扩展。我们给出了一个新的算法,并在实验中显示所提出的扩展的有用性。
2013-10-18 cs.LG
Generative Kernel Spectral Clustering
ESAT-Stadius(ESAT-斯蒂杜斯);KU Leuven(库勒文大学);Leuven.AI - KU Leuven institute for AI(勒文人工智能-库勒文大学人工智能研究所)
针对深度学习聚类可解释性差的问题,提出生成式核谱聚类(GenKSC),结合核谱聚类与生成建模,通过重建和聚类损失增强加权方差最大化,在MNIST和FashionMNIST上学习到可解释的簇表示。
2025-02-04 cs.LG
Spectral Analysis of the Neural Tangent Kernel for Deep Residual Networks
Weizmann Institute of Science(魏茨曼科学研究所)
深度残差网络架构已被证明比经典前馈网络实现更高的精度,但它们的成功仍然没有完全理解。通过各自的神经切线核(ResNTK),关注大规模过度参数化的、完全连接的、具有ReLU激活的残差网络,我们在这里提供了这些核的谱分析。具体来说,我们表明,很像NTK的全连接网络(FC-NTK),输入均匀分布在超球$\mathbb{S}^{d-1}$,ResNTK的本征函数是球谐函数和本征值衰减多项式与频率$k$为$k^{-d}$。这些反过来又意味着在其再生核希尔伯特空间中的函数集与FC-NTK的函数集相同,因此也与拉普拉斯核的函数集相同。我们进一步表明,通过借鉴拉普拉斯内核的类比,取决于选择一个超参数,在跳跃和剩余连接之间进行平衡,ResNTK可以随着深度而变得尖锐,就像FC-NTK一样,或者保持稳定的形状。
2021-04-07 cs.LG
Spectral-Bias and Kernel-Task Alignment in Physically Informed Neural Networks
Tel Aviv University(特拉维夫大学);Hebrew University(希伯来大学)
该研究针对物理信息神经网络(PINNs)的设计与训练调优问题,基于无限过参数化网络与高斯过程回归的等价性推导出神经信息方程,可量化网络隐式偏置,为PINN设计提供理论支撑。
2023-10-05 cond-mat.dis-nn cs.LG stat.ML
Task-Driven Kernel Flows: Label Rank Compression and Laplacian Spectral Filtering
School of Computer Science and Engineering(计算机科学与工程学院);Sun Yat-sen University(中山大学);Boya Junior High School(Boyaa 初中);Guangxi Hope High School(广西希望高中)
该研究提出任务驱动的核流理论,通过标签排名压缩和拉普拉斯谱滤波,揭示监督学习的低秩特性,并对比自监督学习的高秩表示。
2026-01-01 cs.LG
Non-separable Covariance Kernels for Spatiotemporal Gaussian Processes based on a Hybrid Spectral Method and the Harmonic Oscillator
School of Electrical and Computer Engineering, Technical University of Crete(克里特技术大学电气与计算机工程学院)
本文提出基于物理的混合谱方法,从线性阻尼谐振子推导出非可分时空协方差核,涵盖三种阻尼状态,可捕捉单调与振荡衰减的时空相关性。
2024-01-09 cs.AI cs.LG math.ST
Spectrally-truncated kernel ridge regression and its free lunch
University of California, Los Angeles(加州大学洛杉矶分校)
核岭回归(KRR)是一种广为人知且流行的非参数回归方法,具有许多理想的性质,包括在估计属于常见再生核希尔伯特空间(RKHS)的函数时的极小极大率最优性。然而,由于需要在密集的$n \times n$核矩阵上操作,该方法对于大数据集是计算密集的,其中$n$是样本量。最近,各种近似方案解决KRR已被认为是,和一些分析。一些方法,如Nyström近似和草图已被证明可以保持KRR的速率最优性。在本文中,我们考虑最简单的近似,即,频谱截断的核心矩阵,其最大的$r < n$特征值。我们推导出一个精确的表达式,这个截断KRR的最大风险,在单位球的RKHS。这一结果可用于研究谱截断水平和正则化参数之间的精确权衡。我们发现,只要RKHS是无穷维的,有一个阈值上的$r$,在此之上,频谱截断KRR令人惊讶地优于完整的KRR的极小极大风险,其中最小值是采取了正则化参数。这加强了现有的结果近似计划,通过显示,不仅一个不失去的速率,截断实际上可以提高性能,为所有有限的样本(以上的阈值)。此外,我们证明了谱截断实现的隐式正则化不能代替Hilbert范数正则化。两者都需要达到最佳性能。
2019-10-12 cs.LG math.ST stat.ML
Spectral Leakage and Rethinking the Kernel Size in CNNs
Delft University of Technology(代尔夫特理工大学)
CNN中的卷积层实现了线性滤波器,将输入分解为不同的频带。然而,大多数现代架构在优化关于卷积核的大小和形状的模型选择时忽略了滤波器设计的标准原则。在这项工作中,我们考虑了在CNN的背景下,滤波操作中的窗口化伪影引起的频谱泄漏的众所周知的问题。我们表明,小尺寸的CNN内核使他们容易受到频谱泄漏,这可能会导致性能下降的文物。为了解决这个问题,我们建议使用更大的内核大小以及汉明窗口函数来减轻CNN架构中的泄漏。我们在包括Fashion-MNIST、CIFAR-10、CIFAR-100和ImageNet在内的多个基准数据集上展示了改进的分类准确性,并在卷积层中简单使用了标准窗口函数。最后,我们表明,CNN采用汉明窗口显示增加了对各种对抗攻击的鲁棒性。
2021-07-29 cs.CV cs.LG
On the Spectral Bias of Convolutional Neural Tangent and Gaussian Process Kernels
Weizmann Institute of Science(魏茨曼科学研究所);University of Maryland at College Park(马里兰大学帕克分校)
我们通过高斯过程和神经切线核研究了各种过参数化卷积神经结构的性质。我们证明,在归一化多通道输入和ReLU激活的情况下,这些具有统一度量的内核的特征函数由球谐函数的乘积形成,定义在不同像素的通道上。接下来,我们使用分层可因子分解核来绑定它们各自的特征值。我们表明,多项式的特征值衰减,量化的衰减率,并得出措施,反映在这些网络中的分层功能的组成。我们的研究结果提供了过参数化卷积网络架构的具体定量表征。
2022-03-17 cs.AI cs.LG
Clustering evolving data using kernel-based methods
Université de Namur(那慕尔大学)
在这篇论文中,我们提出了几种建模策略来处理不同背景下不断变化的数据。在静态聚类的框架下,我们首先介绍了一个软核谱聚类(SKSC)算法,它可以更好地处理重叠的集群相对于核谱聚类(KSC),并提供更多的可解释的结果。在此基础上,提出了基于KSC的静态网络社区发现的整体策略,其中高质量训练子图的提取、核函数的选择、模型的选择以及对大规模数据的适用性是关键。这铺平了道路的发展一种新的聚类算法的分析不断发展的网络称为核谱聚类与记忆效应(MKSC),在连续的时间步长的聚类结果之间的时间平滑度被纳入在初级优化问题的水平,通过适当修改KSC制定。最后给出了KSC在工业机械故障检测中的应用。在这里,需要通过适当的窗口操作对数据进行智能预处理,以捕捉影响机器的正在进行的退化过程。通过这种方式,在真正无人监督的情况下,可以在必要时以在线方式发出预警。最后,我们提出了一种新的算法称为增量核谱聚类(IKSC)的在线学习的非平稳数据。这一雄心勃勃的挑战是通过利用核谱聚类(KSC)的样本外属性来适应初始模型,以解决聚类随时间的合并,分裂或漂移。本文考虑的实际应用包括图像分割、时间序列聚类、静态和演化网络的社区发现。
2014-11-20 cs.LG cs.SI stat.ML
Geometry-Aware Graph Construction via Adaptive Spectral Bandwidth Control
University of Southern California(南加州大学)
该研究提出自适应谱带宽控制方法,使核化图方法的带宽与流形固有复杂度匹配,在CIFAR-100上验证其可提升自监督学习嵌入的分类与标签传播准确率。
2026-09-04 cs.LG eess.SP
Spectral Kernel Dynamics via Maximum Caliber: Fixed Points, Geodesics, and Phase Transitions
School of Earth and Space Exploration, Arizona State University(亚利桑那州立大学地球与空间探索学院)
本文通过最大热量原理推导出图谱动力学的闭式几何函数,揭示了谱核的自洽解、测地线和相变特征。
2026-04-10 cs.LG cs.RO
Failure and success of the spectral bias prediction for Kernel Ridge Regression: the case of low-dimensional data
EPFL(洛桑联邦理工学院);Institute of Physics, EPFL(洛桑联邦理工学院物理研究所)
最近,包括复制方法在内的几种理论对核岭回归的推广误差进行了预测。在某些情况下,他们预测该方法具有“谱偏差”:在内核的本征基上分解真函数$f^*$,它很好地拟合与O(P)最大本征值相关的系数,其中$P$是训练集的大小。这种预测在图像等基准数据集上效果非常好,但这些方法对数据的假设在实践中从未得到满足。为了澄清光谱偏差预测何时成立,我们首先关注一维模型,在该模型中获得了严格的结果,然后使用缩放参数来概括和测试我们在更高维度的发现。我们的预测包括分类情况$f(x)=$符号$(x_1)$,数据分布在决策边界$p(x)\sim x_1^χ$处消失。对于$χ>0$和Laplace核,我们发现:(i)存在交叉脊$λ^*_{d,χ}(P)\sim P^{-\frac{1}{d+χ}}$,使得对于$λ\gg λ^*_{d,χ}(P)$,副本方法适用,但不适用于$λ\llλ^*_{d,χ}(P)$;(ii)在无脊的情况下,谱偏差仅在极限$d\rightarrow\infty$中预测正确的训练曲线指数。
2022-02-16 cond-mat.stat-mech cs.LG
Generalization Error Curves for Analytic Spectral Algorithms under Power-law Decay
Tsinghua University(清华大学)
本文在温和假设下,完整刻画了核梯度下降等解析谱算法在核回归中的泛化误差曲线,揭示了核插值的不一致性和高资格算法的饱和效应,并通过神经正切核理论加深了对宽神经网络泛化行为的理解。
2026-06-08 cs.LG math.ST stat.TH
Kernel Learning for Regression via Quantum Annealing Based Spectral Sampling
Graduate School of Information Sciences(信息科学研究生院);Technology Strategy Division(技术战略部门);Institute of Science(科学研究所);Research and Education Institute for Semiconductors and Informatics(半导体与信息学研究教育研究所);Sigma-i Co.(Sigma-i公司)
本文提出基于量子退火的谱采样核学习方法,通过RBM和高斯-伯努利变换生成随机傅里叶特征,构建数据自适应核进行回归,提升R^2和RMSE性能。
2026-01-13 cs.LG quant-ph
Physics-Informed Support Vector Kernels via Green-Function Analogies and Jackson-Chebyshev Spectral Design
Department of Physics, National Taiwan University, Taipei, Taiwan(物理系,国立台湾大学);Department of Artificial Intelligence, Chang Gung University, Taoyuan, Taiwan(人工智能系,长庚大学);Department of Neurology, Chang Gung Memorial Hospital, Keelung, Taiwan(神经科,长庚纪念医院)
本文提出了一种基于量子传播子的核选择框架,通过谱匹配与物理算子映射,提升物理系统回归性能。
2026-09-18 cond-mat.stat-mech cs.AI cs.LG
Self-Organization and Spectral Mechanism of Attractor Landscapes in High-Capacity Kernel Hopfield Networks
Faculty of Information Science, Aichi Institute of Technology(爱知工业大学信息科学学院)
研究通过几何特征和核机谱理论揭示高容量核霍普菲尔德网络中吸引子稳定性相图,发现优化 Ridge 并解释其通过频谱集中机制平衡稳定性与容量。
2026-04-10 cs.LG cs.NE
Alignment-Sensitive Minimax Rates for Spectral Algorithms with Learned Kernels
Department of Statistics and Data Science, National University of Singapore, Singapore(新加坡国立大学统计与数据科学系);School of Statistics and Mathematics, Zhongnan University of Economics and Law, Wuhan, China(中南财经政法大学统计与数学学院);Department of Statistics and Data Science, Tsinghua University, Beijing, China(清华大学统计与数据科学系)
本文研究了在核从数据中学习的设定下的谱算法,引入了有效的跨度维度(ESD)作为对齐敏感的复杂度度量,证明了在序列模型中ESD不超过K时,最小最大超额风险与σ²K成比例,并分析了过参数化梯度流可降低ESD,扩展到线性模型和RKHS回归,并通过实验支持理论。
2026-05-11 cs.LG math.ST stat.TH
On Learning the Transformer Kernel
ETH Zürich(苏黎世联邦理工学院);Google Research(谷歌研究院)
在这项工作中,我们介绍KERNELIZED Transformer,一个通用的,可扩展的,数据驱动的框架,学习内核功能的Transformers。我们的框架将Transformer内核近似为光谱特征图之间的点积,并通过学习光谱分布来学习内核。这不仅有助于端到端地学习通用内核,而且还将Transformers的时间和空间复杂度从二次降低到线性。我们表明,KERNELIZED Transformers实现性能媲美现有的高效Transformer架构,无论是在精度和计算效率。我们的研究还表明,内核的选择对性能有很大的影响,内核学习变体是固定内核Transformers的竞争替代品,无论是在长序列还是短序列任务中。
2022-07-21 cs.CL cs.LG
Estimating the Spectral Moments of the Kernel Integral Operator from Finite Sample Matrices
Weill Cornell Medical College(威尔康奈尔医学院);New York University(纽约大学);Cornell Tech(康奈尔科技学院);Flatiron Institute(弗莱堡研究所)
针对有限测量下样本协方差矩阵谱分析有偏的问题,提出基于动态规划的新算法,可从有限采样矩阵无偏估计核积分算子谱矩,在RBF核上验证了准确性,并展示其在理解神经网络表示几何中的实用价值。
2025-02-08 cs.LG math.SP math.ST
Resolution Allocation with Learnable Resizing and Spectral Filter Parameterization
Southern Methodist University(南方卫理公会大学)
本文研究可学习下采样与频谱滤波参数化的交互,发现频谱核在分辨率分配中增益更大,在三个数据集及两种模型规模上验证了该结论,为卷积网络分辨率分配提供了新见解。
2026-10-14 cs.CV cs.LG