Scalable Matrix-valued Kernel Learning for High-dimensional Nonlinear Multivariate Regression and Granger Causality
IBM Research(IBM研究院);Istituto Italiano di Tecnologia(意大利理工学院)
本文提出了一个通用的矩阵值多核学习框架,用于高维非线性多元回归问题。这个框架允许一个广泛的混合范数正则化,包括那些诱导稀疏性,被施加在向量值再生核希尔伯特空间的字典。我们开发了一个高度可扩展的和eigendecomposition免费的算法,编排两个不精确的求解器,同时学习可分离矩阵值内核的输入和输出组件。作为我们的框架启用的一个关键应用程序,我们展示了高维因果推理任务如何自然地转换为稀疏函数估计问题,从而导致一类图形格兰杰因果关系技术的新的非线性扩展。我们的算法的发展和广泛的实证研究的补充,理论分析方面的Rademacher推广的界限。
2014-08-09 cs.LG stat.ML
Scalable Matrix-valued Kernel Learning for High-dimensional Nonlinear Multivariate Regression and Granger Causality
IBM Research(IBM研究院);Italian Institute of Technology(意大利理工学院)
本文提出了一个通用的矩阵值多核学习框架,用于高维非线性多元回归问题。这个框架允许一个广泛的混合范数正则化,包括那些诱导稀疏性,被施加在向量值再生核希尔伯特空间的字典。我们开发了一个高度可扩展的和eigendecomposition免费的算法,编排两个不精确的求解器,同时学习可分离矩阵值内核的输入和输出组件。作为我们的框架启用的一个关键应用程序,我们展示了如何高维的因果推断任务可以自然地铸造稀疏函数估计问题,导致一类图形格兰杰因果关系技术的新的非线性扩展。我们的算法的发展和广泛的实证研究的补充Rademacher泛化界方面的理论分析。
2013-03-08 cs.LG stat.ML
Optimal learning rates for Kernel Conjugate Gradient regression
我们证明了收敛速度的统计意义上的核为基础的最小二乘回归使用共轭梯度算法,其中正则化对过拟合是通过早期停止。该方法与核偏最小二乘直接相关,核偏最小二乘是一种将监督降维与最小二乘投影相结合的回归方法。速率取决于两个关键量:第一,目标回归函数的规律性,第二,映射到核空间的数据的固有维数。可达到的速度取决于这两个数量的下界建立在早期的文献中,我们得到的上界所考虑的方法,匹配这些下界(最多的对数因子),如果真正的回归函数属于再生核希尔伯特空间。如果不满足此假设,我们得到类似的收敛速度提供额外的未标记的数据。学习率的顺序与最近针对最小二乘支持向量机和线性正则化算子获得的最新结果相匹配。
2010-09-29 math.ST stat.ME stat.ML
Recursive Multikernel Filters Exploiting Nonlinear Temporal Structure
University of Cantabria(坎塔布里亚大学);Sapienza University(罗马大学)
在核方法中,通常通过使用时间延迟嵌入作为输入来包括关于数据的时间信息。最近,通过在再生核Hilbert空间中显式定义伽马滤波器,提出了一种替代公式,从而产生了一个复杂的模型,其中多个核对输入信号的不同时间组合进行操作。在原始公式中,然后简单地组合内核以获得单个内核矩阵(例如通过平均),这提供了计算优势,但丢弃了关于信号的时间结构的重要信息。受多核学习工作的启发,我们通过单独考虑不同的内核来克服这个缺点。我们提出了一种有效的策略,在训练阶段自适应地组合和选择这些内核。由此产生的批处理和在线算法自动学习处理从输入信号中提取的高度非线性的时间信息,这些信息隐式地编码在核值中。我们评估了我们的建议在几个人工和真实的任务,表明它可以优于经典的方法,在批量和在线设置。
2017-06-12 cs.LG stat.ML
Nonlinear functional models for functional responses in reproducing kernel Hilbert spaces
再生核希尔伯特空间(RKHS)理论的扩展为具有功能性反应的函数回归模型建模提供了一个新的框架。该方法只假设一个一般的非线性回归结构,而不是以前研究的线性回归模型。提出了一种自动平滑参数估计的广义交叉验证方法。新的RKHS估计适用于模拟和真实数据作为例证。
2007-02-05 math.ST stat.TH
Stacked Kernel Network
Beihang University(北京航空航天大学);Carnegie Mellon University(卡内基梅隆大学)
核方法是捕捉数据背后的非线性模式的强大工具。它们隐式地学习再生核希尔伯特空间(RKHS)中的高维(甚至无限)非线性特征,同时通过利用核技巧使计算易于处理。经典的核方法学习单层非线性特征,其表示能力可能是有限的。受最近深度神经网络(DNN)学习多层分层表示的成功的启发,我们提出了一种堆叠核网络(SKN),它学习基于RKHS的非线性特征的层次结构。SKN交织了几层非线性变换(从线性空间到RKHS)和线性变换(从RKHS到线性空间)。与DNN类似,SKN由多层隐藏单元组成,但每个隐藏单元由RKHS函数而不是有限维向量参数化。我们提出了三种在SKN中表示RKHS函数的方法:(1)非参数表示,(2)参数表示和(3)随机傅立叶特征表示。此外,我们扩展SKN到CNN架构称为堆叠核卷积网络(SKCN)。SKCN通过卷积运算学习基于RKHS的非线性特征的层次结构,每个滤波器也由RKHS函数而不是CNN中的有限维矩阵参数化,这适用于图像输入。在不同数据集上的实验证明了SKN和SKCN的有效性,优于竞争对手的方法。
2017-11-25 cs.CV cs.LG stat.ML
Error Analysis of Kernel/GP Methods for Nonlinear and Parametric PDEs
本文针对非线性及参数化偏微分方程,基于核/高斯过程方法提出先验Sobolev误差估计,揭示解的正则性与维度灾难间的权衡,正则性足够时收敛速率维度良性。
2023-05-08 cs.NA math.NA stat.ML
Kernel Bayes' rule
基于再生核希尔伯特空间中概率的表示,提出了一种实现贝叶斯规则的非参数核方法。概率唯一地由到RKHS的典型映射的平均值来表征。先验概率和条件概率用经验样本的RKHS函数表示:这些量不需要明确的参数模型。后验同样是加权样本的RKHS均值。估计的期望函数的后验推导,并显示率的一致性。核贝叶斯规则的一些代表性的应用,包括贝叶斯计算无似然和滤波与非参数状态空间模型。
2011-09-28 stat.ML
Manifold Adaptive Multiple Kernel K-Means for Clustering
Shanxi University(山西大学)
基于k-means的多核方法旨在整合一组核来提高核k-means聚类的性能。然而,我们观察到,大多数现有的多核k-means方法利用内核内的非线性关系,而多核空间之间的局部流形结构没有得到充分考虑。在本文中,我们采用流形自适应核,而不是原来的核,集成核的局部流形结构。因此,诱导的多重流形自适应核不仅反映了非线性关系,而且还反映了局部流形结构。然后,我们在多核k-means聚类框架内执行多核聚类。它已被验证,所提出的方法优于几个国家的最先进的基线方法对各种数据集。
2020-09-30 cs.LG stat.ML
CVEK: Robust Estimation and Testing for Nonlinear Effects using Kernel Machine Ensemble
R包CVEK引入了一套灵活的机器学习模型和稳健的假设检验,用于学习有限样本中多个协变量的联合非线性效应。它实现了交叉验证的内核集合(CVEK)(Liu and Coull 2017),这是一种基于集合的内核机器学习方法,可自适应地从数据中学习多个协变量的联合非线性效应,并为特征的主效应和特征之间的交互提供强大的假设检验。R Package CVEK提供了一个灵活、易于使用的CVEK实现,并为内核系列(例如,多项式、径向基函数、Matérn、神经网络等)、模型选择标准、集成方法(平均、指数加权、交叉验证堆叠)和假设检验类型(渐近或参数自举)提供了广泛的选择。通过大量的模拟,我们证明了这种方法的有效性和鲁棒性,并提供了实用的指导方针,如何设计一个估计策略,在不同的数据场景中的最佳性能。
2020-12-18 stat.AP stat.CO stat.ME
A Kernel-based Stochastic Approximation Framework for Nonlinear Operator Learning
本文提出了一种基于核的随机近似框架,用于非线性算子学习,通过通用Mercer算子值核实现无维度多项式收敛,适用于广泛的操作学习任务。
2026-09-29 cs.LG cs.NA math.FA
A Nonlinear Kernel Support Matrix Machine for Matrix Learning
Shanghai Jiao Tong University(上海交通大学)
在监督张量学习(STL)的许多问题中,真实世界的数据(如人脸图像或MRI扫描)自然地表示为矩阵,也称为二阶张量。现有的基于张量表示的分类器,如支持张量机(STM),需要迭代求解,耗时长,容易陷入局部极小。在本文中,我们提出了一个核支持矩阵机(KSMM)进行监督学习时,数据表示为矩阵。KSMM是构造基于矩阵的超平面以利用结构信息的通用框架。我们分析了一个统一的优化问题,我们提出了一个渐近收敛的算法。基于拉德马赫复杂度关于概率分布的理论分析,推导了泛化界。我们证明了所提出的方法的优点,通过详尽的实验模拟研究和一些真实的字数据集,从各种应用领域。
2018-01-04 cs.LG stat.ML
Kernel VICReg for Self-Supervised Learning in Reproducing Kernel Hilbert Space
Vision and Image Processing Group, Systems Design Engineering, University of Waterloo, ON, Canada.(图像与图像处理组,系统设计工程,滑铁卢大学,加拿大);Electrical and Computer Engineering, University of Waterloo, ON Canada.(电气与计算机工程,滑铁卢大学,加拿大)
核VICReg通过将VICReg目标引入再生核希尔伯特空间,实现了非线性特征学习,提升了在非线性结构数据上的表现。
2026-03-05 cs.CV cs.LG stat.ML
A new reproducing kernel based nonlinear dimension reduction method for survival data
基于切片逆回归(SIR)和再生核希尔伯特空间(RKHS)理论,提出并讨论了一种新的生存数据非线性降维方法RDSIR(RKHS-based Double SIR)。基于RKHS性质构造了一个等距同构,使得RKHS中的非线性函数可以用同构特征空间中两个元素的内积表示.由于生存数据的删失,使用双切片来估计权函数或条件生存函数以调整删失偏倚。充分降维(SDR)的子空间估计的广义特征分解问题。我们的方法是计算效率高,计算速度快,计算负担小。基于扰动理论讨论了估计量的渐近性质和收敛速度。最后,我们用模拟数据和实际数据说明了RDSIR的性能,以证实RDSIR与线性SDR方法相当。最重要的是,RDSIR还可以有效地提取生存数据中的非线性。
2019-09-05 math.ST stat.ME stat.TH
A universal reproducing kernel Hilbert space for learning nonlinear systems operators
本文研究学习带输入的离散时间非线性动力系统算子问题,受径向基函数神经网络通用逼近定理启发,构造输入轨迹与初始状态空间核函数的乘积,证明其生成的再生核Hilbert空间在非线性系统算子空间中稠密且完备,提供了直观通用的核函数学习框架。
2024-12-24 cs.SY eess.SY math.DS
The Occupation Kernel Method for Nonlinear System Identification
这份手稿提出了一种新的方法来非线性系统识别利用密集定义的Liouville算子和一个新的“核”函数,表示一个集成功能的再生核希尔伯特空间(RKHS)被称为占领的内核。该手稿深入探讨了占用核的概念,在上下文中的RKHS的连续函数,并建立在RKHS的Liouville运营商的几个稠密域中发现的具体例子,这个无界运营商。这两个概念的结合允许一个动力系统嵌入到RKHS中,其中函数理论工具可用于检查这样的系统。该框架允许将非线性动力系统的轨迹视为非线性系统识别例程的基本数据单元。证明了该方法对非线性系统辨识的准确性,动力系统的参数,同时也表现出一定的鲁棒性噪声。
2021-06-15 math.OC
A Kernelized Operator Approach to Nonlinear Data-Enabled Predictive Control
本文提出一种基于算子的非线性 DeePC 方法,利用乘积 RKHS 学习系统轨迹并构建乘积 Gram 矩阵,在相同数据规模下显著提升计算效率,支持更大规模数据集并增强控制性能。
2025-01-29 math.OC
Kernel Variational Inference Flow for Nonlinear Filtering Problem
Tsinghua University(清华大学);Yau Mathematical Sciences Center, Tsinghua University(丘成桐数学科学中心);Yanqi Lake Beijing Institute of Mathematical Sciences and Applications(北京燕园数学研究院)
本文提出核变分推断流(KVIF),一种无需目标分布显式公式的粒子流采样方法,可用于提升非线性滤波更新阶段的精度,并具有理论保证和数值实验验证。
2025-09-23 math.OC
Training very large scale nonlinear SVMs using Alternating Direction Method of Multipliers coupled with the Hierarchically Semi-Separable kernel approximations
The University of Edinburgh(爱丁堡大学)
通常,非线性支持向量机(SVM)产生显着更高的分类质量相比,线性的,但在同一时间,他们的计算复杂性是禁止的大规模数据集:这个缺点是本质上涉及到的必要性,存储和操作大型,密集和非结构化的内核矩阵。尽管在训练SVM的核心存在一个\textit{simple}凸优化问题,但核矩阵的存在导致性能急剧下降,使得SVM在处理大型问题时速度慢得无法工作。针对大规模非线性SVM问题的有效解决方案,我们提出了使用\textit{Alternating Direction Method of Multipliers}耦合\textit{Hierarchically Semi-Separable}(HSS)核近似。如在这项工作中所示,它们的算法组件之间的相互作用的详细分析揭示了一个特别有效的框架,事实上,所提出的实验结果表明显着的速度相比,\textit{state-of-the-art}非线性SVM库(而不显着影响分类精度)。
2021-11-10 cs.LG math.OC
Kernel Learning for Robust Dynamic Mode Decomposition: Linear and Nonlinear Disambiguation Optimization (LANDO)
现代数据驱动动态系统的研究通常集中在高维、未知动态和非线性这三个关键挑战上。动态模式分解(DMD)已经成为从数据建模高维系统的基石。然而,已知线性DMD模型的质量相对于强非线性是脆弱的,这污染了模型估计。相比之下,非线性动力学的稀疏识别(SINDy)学习完全非线性模型,消除线性和非线性效应的歧义,但仅限于低维系统。在这项工作中,我们提出了一个内核方法,学习可解释的数据驱动模型的高维,非线性系统。我们的方法在稀疏的样本字典上执行内核回归,这些样本对底层动态有明显的贡献。我们表明,这种内核方法有效地处理高维数据,是足够灵活的,将部分知识的系统物理。这是可能的,以准确地恢复线性模型的贡献与这种方法,消除歧义的影响,隐含定义的非线性项,导致在DMD类模型,是强大的非线性动态。我们展示了我们的方法,从广泛的非线性常微分方程和偏微分方程,在物理科学中出现的数据。该框架可用于许多实际的工程任务,如模型降阶,诊断,预测,控制和发现的统治法律。
2021-06-02 math.OC physics.data-an physics.flu-dyn
Kernel-based error bounds of bilinear Koopman surrogate models for nonlinear data-driven control
本文针对未知非线性系统的数据驱动控制,提出基于核的双线性库普曼代理模型误差界,克服字典不变性假设限制,并可直接用于鲁棒控制器设计的闭环保证。
2025-07-14 cs.SY eess.SY math.OC
Propagating Kernel Ambiguity Sets in Nonlinear Data-driven Dynamics Models
Weierstrass Institute for Applied Analysis and Stochastics(魏尔斯特拉斯应用分析与随机学研究所)
针对非线性数据驱动动力系统中多步模糊集传播难题,本文提出借助 Koopman 算子、CME 与核 MMD 几何精确传播模糊集的算法,并从理论和数值上验证其为自然几何结构。
2023-04-27 cs.LG math.OC
Stochastic control for a class of nonlinear kernels and applications
考虑一类非线性核的随机控制问题。更确切地说,我们感兴趣的问题包括在优化,在一组可能的非支配概率测度,解决方案的后向随机微分方程(BSDES)。由于倒向随机微分方程是传统(线性)期望的非线性概括,因此这个问题可以理解为非线性期望族的随机控制,或者等价地理解为非线性核的随机控制。我们的第一个主要贡献是证明了一个动态规划原则,这个控制问题在一个抽象的设置,然后我们用它来提供一个半鞅特征的价值函数。接下来,我们探讨我们的结果的几个应用。我们首先得到了二阶倒向随机微分方程的适定性结果(如[86]中所介绍的),它不需要对终端条件和生成元作任何正则性假设。然后,我们证明了一个非线性的选择分解在一个强大的设置,推广最近的结果[71],然后我们使用它来获得一个超对冲对偶不确定,不完全和非线性金融市场。最后,我们涉及到,在额外的正则性假设下,适当的路径依赖的偏微分方程(PPDE)的黏性解的值函数。
2017-07-27 math.OC math.PR q-fin.MF
Stability of Fractional Nonlinear Systems with Mittag-Leffler Kernel and Design of State Observers
Atangana和Baleanu提出了一种新的具有非局部和非奇异Mittag-Leffler核的分数阶导数,以解决分数阶微积分领域研究人员提出的一些问题。这种新的导数更好地描述了非局部动力系统的本质方面。我们提出了一些关于李雅普诺夫稳定性理论的结果,特别是李雅普诺夫直接法的分数阶系统建模与Atangana-Baleanu衍生物和一些重要的不等式,有助于发展的理论分析。作为控制理论的应用,本文提出了分数阶线性和非线性系统的状态估计算法。
2020-09-15 cs.SY eess.SY math.OC
Kernel EDMD for data-driven nonlinear Koopman MPC with stability guarantees
提出将面向控制系统的核 EDMD 用于数据驱动非线性 Koopman MPC,借助与状态成比例的逐点误差界,在无需终端稳定条件或不变性条件下证明闭环实用渐近稳定性并仿真验证。
2025-03-14 math.OC
Kernel-based identification of nonlinear port-Hamiltonian systems
KU Leuven(荷语鲁汶大学);University of Groningen(格罗宁根大学)
提出基于核方法的框架,利用输入-状态-输出数据辨识端口哈密顿系统,通过表示定理将无限维优化问题转化为有限维问题,并给出求解算法及收敛性证明。
2026-06-11 math.OC
Nonlinear Kernel Support Vector Machine with 0-1 Soft Margin Loss
Hainan University(海南大学);Zhijiang College, Zhejiang University of Technology(浙江工业大学之江学院)
具有0-1软间隔损失的线性支持向量机($L_{0/1}$ -SVM)的最新进展表明,0-1损失问题可以直接求解。然而,由于理论和算法上的要求限制了我们将线性求解框架直接扩展到非线性核形式,其中$L_{0/1}$ -SVM的拉格朗日对偶函数没有显式表达是一个很大的不足。本文应用非参数表示定理,提出了一种具有0-1软间隔损失的支持向量机的非线性模型,称为$L_{0/1}$ -KSVM。从理论上探讨了该问题的最优性条件,并引入了工作集选择交替方向乘子法(ADMM)算法,得到了该问题的数值解。此外,我们首次提出了一个封闭形式的定义支持向量(SV)的$L_{0/1}$ -KSVM。从理论上证明了$L_{0/1}$ -KSVM的所有支持向量只位于平行决策曲面上。实验部分还表明,与线性同类$L_{0/1}$ -SVM和其他六种非线性基准SVM分类器相比,$L_{0/1}$ -KSVM具有更少的支持向量机,同时具有良好的预测精度。
2022-12-01 cs.LG math.OC
Control Occupation Kernel Regression for Nonlinear Control-Affine Systems
Oklahoma State University(俄克拉荷马州立大学);University of South Florida(南佛罗里达大学);University of Florida(佛罗里达大学)
本文提出一种基于occupation核的回归方法,用于近似非线性控制-仿射系统的动态行为,通过嵌入轨迹到vvRKHS并利用代表定理实现高阶控制效果的估计。
2026-01-21 cs.LG cs.SY eess.SY
Koopman Modeling and Stabilization of Discrete-Time Nonlinear Control Systems: Bilinearity on a Reproducing Kernel Hilbert Space
Department of Chemical and Biomolecular Engineering, North Carolina State University(北卡罗来纳州立大学化学与生物分子工程系)
本文证明满足光滑性和正则性条件的离散时间非线性系统,在将状态和输入变量分别提升到再生核希尔伯特空间后,可精确表示为双线性动力学,并基于核平方和形式的Lyapunov函数提出镇定控制方法。
2026-06-09 cs.SY eess.SY math.OC