Maxiset in sup-norm for kernel estimators
在高斯白噪声模型下，研究了未知多维函数$f$在一致范数下的核估计问题。程序的性能是通过使用Maxiset的观点来衡量的：我们确定的功能，以及估计（在规定的速率），每个程序。因此，在本文中，我们确定的最大集核估计和Lepski程序的形式$(\log n/n)^{\be/(2\be+d)}$的收敛速率。我们用正则性的Besov和Hölder空间$β$来刻画极大集。
2007-01-16 math.ST stat.TH
Dynamical multiple regression in function spaces, under kernel regressors, with ARH(1) errors
在时间相关误差下，建立了函数空间中的线性多元回归模型。这个公式涉及核回归。本文导出了广义最小二乘回归参数估计量。在适当的条件下，得到了它的渐近正态性和强相合性.相关分析基于残差自相关算子的分量估计。当函数误差项的相依结构未知时，给出了一种插入式广义最小二乘回归参数估计器。并证明了其强相合性。仿真研究进行说明所提出的方法的性能，在不同的规则性条件下。金融面板数据的应用程序也被认为是。
2018-08-05 math.ST stat.TH
Compatibility of Space-Time Kernels with Full, Dynamical, or Compact Support
该研究针对时空协方差核的三类支撑形式，基于固定域渐近下的相容性理论，通过时间锥化构造时空紧支撑模型并推导其谱，证明三类模型在适当参数约束下可相容，并给出其在最大似然估计和误设克里金预测中的应用启示。
2023-06-12 math.ST stat.TH
Predictive Inference via Kernel Density Estimates
Department of Statistics Ohio State University（俄亥俄州立大学统计系）
本文研究了基于核的方法的预测规则，证明了两种过程几乎 surely 收敛，揭示了核密度估计的新贝叶斯解释。
2026-05-13 math.ST stat.ME stat.TH
On the Optimality of Gaussian Kernel Based Nonparametric Tests against Smooth Alternatives
近年来，通过分布的核嵌入的非参数检验已经取得了大量的实际成功。然而，这些测试的统计特性在很大程度上是未知的，超出了对固定替代品的一致性。为了填补这一空白，我们在这里研究的拟合优度，同质性和独立性测试使用高斯内核，可以说是最流行和成功的此类测试的渐近性质。我们的研究结果提供了理论上的理由，这种常见的做法表明，使用高斯核与适当选择的缩放参数的测试是最小最大的光滑的替代品在所有三个设置。此外，我们的分析还指出了在使用高斯内核时选择发散缩放参数的重要性，并建议在广泛的平滑替代方案中选择数据驱动的缩放参数，以获得最佳的测试，直到迭代对数因子。数值实验也进一步证明了该方法的实用价值。
2019-09-07 math.ST stat.ME stat.ML
Kernel Oriented Generator Distribution
矩阵变量beta分布在假设检验、多元相关分析、零回归、典型相关分析等不同领域有着广泛的应用.本文提出了一种统一的方法，将不同类型的MVB分布的核与矩阵空间上迹算子的未知Borel可测函数（称为生成元）相结合，生成矩阵变量beta分布.后一个分量是这些新定义的生成器类型矩阵变量分布的主要元素。矩阵变量库默贝塔分布是其中一个特殊情况。这个新定义的家庭的分布的几个统计性质的推导。在结论中，其他扩展和发展进行了讨论。
2014-09-04 math.ST stat.TH
Local Nonparametric Estimation for Second-Order Jump-Diffusion Model Using Gamma Asymmetric Kernels
讨论了基于Gamma非对称核的二阶跳跃扩散模型中未知一阶和二阶无穷小矩的局部线性光滑估计。在较弱的条件下，我们得到了这些估计在内点和边界点的弱相合性和渐近正态性。基于Gamma非对称核函数的局部线性平滑方法除了具有局部线性估计的简单偏差表示和边界偏差校正等标准性质外，还具有可变带宽、方差减小和抗稀疏设计等优点，并通过有限样本仿真研究进行了验证。最后，我们使用的估计一些高频金融数据的回报。
2017-07-06 math.ST stat.TH
Exact mean integrated squared error and bandwidth selection for kernel distribution function estimators
对于任意阶高斯核函数，导出了正态混合累积分布函数核估计的均方误差（MISE）的一个精确的、封闭的、易于计算的表达式.比较了经验分布函数的MISE、核估计的不可行最小MISE和渐近最优二阶一致核。结果提供了直接的扩展到其他类的核函数和分布。分析还提供了一个指导时，使用高阶内核的分布函数估计。基于正态混合对未知分布的非渐近逼近，提出了一种同时选择最优带宽和核阶数的简单插入式方法。仿真研究表明，该方法在有限的样本，从而提供了一个可行的替代现有的带宽选择程序。
2018-07-24 stat.ME
Estimation of a functional single index model with dependent errors and unknown error density
研究了具有相依误差的泛函单指标模型的误差密度估计问题。在自回归误差结构下，利用贝叶斯方法同时估计核形式误差密度和回归函数的带宽。对于回归函数和误差密度的估计，实证研究表明，函数单指数模型给出了改进的估计和预测精度比任何非参数函数回归考虑。此外，误差密度的估计有助于构造响应变量的预测区间。
2018-10-19 stat.AP
A reliable data-based smoothing parameter selection method for circular kernel estimation
提出了一种新的基于数据的圆核密度（及其导数）估计的平滑参数。按照插件的想法，未知量的最佳平滑参数被替换为适当的估计。本文提供了著名的Sheather和Jones带宽（DOI：10.1111/j.2517-6161.1991.tb01857.x）的循环版本，具有直接和求解方程插件规则。理论支持我们的发展，有关的渐近均方误差的估计的密度，其衍生物，其泛函，圆形数据，提供。所提出的选择器与以前的基于数据的圆核密度估计的平滑参数进行了比较。本文也有助于研究的最佳核循环数据。一个插图的建议插件的规则也显示使用真实的数据上的时间的车祸。
2022-11-18 stat.CO stat.ME
Minimax-optimal rates for sparse additive models over kernel classes via convex programming
稀疏加性模型是具有加性分解$f^* = \sum_{j \in S} f^*_j$的$d$ -变量函数族，其中$S$是基数$s \ll d$的未知子集。考虑了一元分量函数$f^*_j$位于再生核Hilbert空间（RKHS）中的情形，分析了一种基于核与$\ell_1$型凸正则化相结合的未知函数$f^*$的估计方法.工作在一个高维的框架内，允许两个维度$d$和稀疏$s$与$n$增加，我们得到收敛速度（上界）在$L^2(\mathbb{P})$和$L^2(\mathbb{P}_n)$规范类$\MyBigClass$的稀疏加性模型与每个单变量函数$f^*_j$在单位球的单变量RKHS有界核函数。我们补充我们的上限推导极小极大下限的$L^2(\mathbb{P})$错误，从而显示我们的方法的最优性。因此，我们获得了许多有趣的类的稀疏加性模型，包括多项式，样条，和Sobolev类的最优极大极小率。我们还表明，如果，在我们的单变量条件下，多变量函数类被假定为全局有界的，那么更快的估计速度是可能的任何稀疏$s = Ω(\sqrt{n})$，显示全局有界性是一个显着的限制，在高维设置。
2011-12-18 cs.IT math.IT math.ST
Kernel-smoothed conditional quantiles of randomly censored functional stationary ergodic data
本文研究了在随机删失条件下，当考虑{ \it函数平稳遍历数据}时，标量随机响应和函数随机协变量（即在无穷维空间中取值）的条件分位数估计.我们引入了条件分位数函数的核型估计。我们建立了该估计量与率的强相合性以及渐近正态性，该正态性导出了一个置信区间，该置信区间不依赖于任何未知量，因此在实际中是可用的。应用于电力高峰需求区间预测与删失智能电表数据进行了显示所提出的估计器的性能。
2013-04-16 math.ST stat.ME stat.TH
Random Feature-based Online Multi-kernel Learning in Environments with Unknown Dynamics
University of Minnesota（明尼苏达大学）
基于核的方法在各种非线性学习任务中表现出良好的性能。它们中的大多数依赖于预先选择的内核，其谨慎的选择假定特定于任务的先验信息。特别是当后者不可用时，多核学习由于其从指定的内核字典中选择内核的灵活性而受到欢迎。利用随机特征近似及其最近的正交性促进的变体，本贡献开发了一个可扩展的多核学习计划（称为Raker），以获得所寻求的非线性学习函数“在飞行中”，首先用于静态环境。为了进一步提高在动态环境中的性能，开发了自适应多核学习方案（称为AdaRaker）。AdaRaker不仅考虑了核组合的数据驱动学习，还考虑了未知的动态。性能分析方面的静态和动态的遗憾。AdaRaker能够在具有未知动态的环境中跟踪非线性学习函数，并且具有分析性能保证。合成和真实数据集进行测试，以展示新算法的有效性。
2018-12-28 cs.LG stat.ML
Change Detection of Markov Kernels with Unknown Pre and Post Change Kernel
本文提出一种在变化后核未知时检测度量空间马尔可夫核变化的算法，并在一致遍历假设下推导了平均延迟上界与误报间平均时间下界。
2022-09-05 cs.SY eess.SY math.PR
Error Bounds for Kernel-Based Linear System Identification with Unknown Hyperparameters
基于核的方法已成功地应用于线性系统的识别使用稳定的核设计。从高斯过程的角度来看，它自动提供概率误差界的后验协方差，这是有用的鲁棒性和随机控制的识别模型。然而，误差界需要在内核设计的真正的超参数的知识，并证明是不准确的轻阻尼系统的超参数估计或存在高噪声。在这项工作中，我们提供了可靠的量化的超参数未知时的估计误差。通过首先从边缘似然函数中构造真实超参数的高概率集合，然后在集合中找到最坏情况的后验协方差，来获得边界。数值模拟结果验证了该界的有效性。
2023-03-17 cs.SY eess.SY stat.ML
One-Shot Learning of Stochastic Differential Equations with Data Adapted Kernels
Caltech（加州理工学院）；Scuola Normale Superiore（比萨高等师范学院）；JPL（喷气推进实验室）
考虑了从一个样本轨迹学习$dX_t = f(X_t)dt+σ(X_t)dW_t $形式的随机微分方程的问题。这个问题比学习确定性动力系统更具挑战性，因为一个样本轨迹仅提供关于分别表示漂移、扩散和随机强迫项的未知函数$f$、$σ$和随机过程$dW_t$的间接信息。我们提出了一种方法，该方法结合了计算图完成和通过交叉验证的新变体学习的数据自适应内核。（1）将时间增量映射$X_t \rightarrow X_{t+dt}$表示为一个计算图，其中$f$、$σ$和$dW_t$作为未知函数和随机变量出现。(2)通过最大后验概率估计（给定数据）和未知函数的高斯过程（GP）先验完成图形（近似未知函数和随机变量）。(3)从随机交叉验证的数据中学习GP先验的协方差函数（内核）。数值实验说明了我们的方法的有效性，鲁棒性和范围。
2022-12-02 cs.LG stat.ML
Koopman Methods for Estimation of Animal Motions over Unknown Submanifolds
Virginia Tech（弗吉尼亚理工大学）；Lehigh University（理海大学）
本文介绍了一种依赖于数据的近似的正向运动学映射的某些类型的动物运动模型。假设运动支持在低维、未知配置流形$Q$上，该流形规则地嵌入在高维欧氏空间$X:=\mathbb{R}^d$中。本文介绍了一种从未知配置子流形$Q$到$n$维欧几里得观测空间$Y:=\mathbb{R}^n$的正向运动学估计方法。根据已知的核函数在周围空间$X$上定义已知的再现核希尔伯特空间（RKHS），并且使用在周围空间$X$上定义的已知核来执行计算。估计值是使用Koopman算子的某种依赖于数据的近似值来构造的，该近似值是根据$X$上的已知内核来定义的。然而，收敛速度的近似研究的限制空间中的未知流形$Q$。强的收敛速度推导出的填充距离的样本在未知的配置流形，提供了一个新的规律性结果，Koopman运营商。此外，我们表明，推导出的收敛速度可以在某些情况下适用于估计所产生的扩展动态模式分解（EDMD）方法。我们说明了模拟数据的估计特性，以及在运动捕捉实验中收集的样本。
2022-06-06 cs.LG stat.ML
Kernel Sum of Squares for Data Adapted Kernel Learning of Dynamical Systems from Data: A global optimization approach
Imperial College London（帝国理工学院）；Caltech（加州理工学院）；The Alan Turing Institute（艾伦·图灵研究所）
针对传统核方法在动力系统学习中易陷局部最优、参数调优困难的问题，提出基于全局优化框架的核平方和（KSOS）方法，经多个混沌系统实验验证其在精度与鲁棒性上均优于梯度下降法，可用于多领域时间序列分析。
2024-08-12 cs.LG math.DS math.OC
Learning Dynamical Systems from Data: A Simple Cross-Validation Perspective, Part V: Sparse Kernel Flows for 132 Chaotic Dynamical Systems
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Imperial College London（帝国理工学院）；Zhejiang Zhelixin Credit Investigation Co., Ltd.（浙江浙里信征信有限公司）；Caltech（加州理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
从有限数量的观测状态回归动力系统的向量场是学习此类系统的代理模型的自然方法。从数据中学习动力系统的一种简单且可解释的方法是用一个可通过使用核流学习的数据适应核来插值其向量场。核流方法是一种可训练的机器学习方法，它基于这样的前提来学习核的最佳参数：如果使用一半的数据，准确性没有显着损失，则核是好的。目标函数可以是短期预测或用于核流的其他变体的一些其他目标。然而，这种方法受到基础内核选择的限制。在本文中，我们介绍了\emph{Sparse Kernel Flows }的方法，以便从一个大的内核字典开始学习"最好的"内核。它是基于稀疏化的内核是一个线性组合的基本内核。我们将这种方法应用于132个混沌系统的库。
2023-02-27 cs.LG stat.ML
Modeling unknown dynamical systems with hidden parameters
The Ohio State University（俄亥俄州立大学）
我们提出了一个数据驱动的数值方法建模未知的动力系统与丢失/隐藏参数。该方法基于使用未知系统的轨迹数据来训练未知系统的深度神经网络（DNN）模型。一个关键特征是未知动力系统包含完全隐藏的系统参数，在这个意义上，通过测量轨迹数据或我们对系统的先验知识，无法获得有关参数的信息。我们证明，通过使用具有足够时间历史的轨迹数据训练DNN，所得到的DNN模型可以准确地对未知的动力系统进行建模。对于与新的和未知的系统参数相关联的新的初始条件，DNN模型可以在更长的时间内产生准确的系统预测。
2022-02-03 cs.LG stat.ML
Flow Map Learning for Unknown Dynamical Systems: Overview, Implementation, and Benchmarks
Trinity College（三一学院）；The Ohio State University（俄亥俄州立大学）
本文介绍结合DNN的流映射学习（FML）框架及其实现细节，提出未知动力系统学习基准问题并给出数值细节与FML结果，保障问题可交叉验证、结果可复现。
2023-07-20 cs.LG math.DS stat.ML
Policy Optimization Achieves Data-Dependent Regret Bounds in MDPs with Unknown Transitions
针对在线表格马尔可夫决策过程，提出基于乐观跟随正则化领导者的算法，通过设计乐观Q函数估计器和数据依赖转移奖励，在未知转移下实现一阶、二阶和路径长度遗憾界，并达到随机情形下的间隙相关polylog(T)遗憾。
2026-07-01 cs.LG stat.ML
Kernel methods for detecting coherent structures in dynamical data
我们说明经典的基于核的降维技术和再生核希尔伯特空间（RKHS）运营商与动力系统的经验估计的特征分解之间的关系。特别是，我们表明，内核典型相关分析（CCA）可以解释的内核传输运营商，它可以通过优化马尔可夫过程（VAMP）得分的变分方法。因此，我们表明，相干集的粒子轨迹可以计算核CCA。我们通过几个例子证明了这种方法的有效性，即著名的比克利喷流、海洋漂流者数据以及具有随时间变化的势的分子动力学问题。最后，我们提出了一个简单的推广动态模式分解（DMD）称为相干模式分解（CMD）。我们的研究结果提供了一种通用的机器学习方法来计算具有客观分数的相干集，该客观分数可用于交叉验证和不同方法的比较。
2019-10-08 math.DS stat.ML
Metric on random dynamical systems with vector-valued reproducing kernel Hilbert spaces
RIKEN（理化学研究所）；Keio University（庆应义塾大学）；Kyushu University（九州大学）
在机器学习和相关领域中，为结构化数据生成机制开发度量是基础。在本文中，我们给出了一个一般的框架来构造随机非线性动力系统的度量，定义与向量值再生核希尔伯特空间（vvRKHS）中的Perron-Frobenius算子。我们采用vvRKHS设计数学上可管理的指标，并引入算子值内核，这使我们能够处理系统中的随机性。我们的度量提供了一个扩展的现有度量确定性系统，并给出了一个规格的核最大均值差异的随机过程。此外，通过考虑随机过程的时间独立性，我们澄清了我们的度量和独立性准则之间的联系与内核，如希尔伯特-施密特独立性准则。我们凭经验说明我们的度量与合成数据，并评估它的背景下，随机过程的独立性测试。我们还评估了性能与实时序列数据通过集群任务。
2019-10-27 cs.LG math.DS math.PR
Prediction of Dynamical time Series Using Kernel Based Regression and Smooth Splines
University of Michigan（密歇根大学）
利用支持向量机或基于核函数的回归方法对含有加性噪声的动态时间序列进行预测，已证明对某些离散动态系统是一致的。一致性意味着这些方法在计算给定当前坐标的未来时间点的期望值时是有效的。然而，目前的坐标本身是有噪声的，因此，这些方法在去除噪声方面不一定有效。在这篇文章中，我们认为去噪和预测作为单独的问题，流，而不是离散时间动力系统，并表明使用光滑样条是更有效地消除噪声。平滑样条和基于核的回归的组合产生的预测器在基准上通常更准确，通常是2倍或更多。我们证明了基于核的回归结合光滑样条收敛到精确的预测时间序列从任何足够光滑的流的任何紧凑的不变集。作为收敛的结果，可以找到基于核的回归与平滑样条的组合甚至优于$100$的因子的示例。我们计算的预测器对延迟坐标数据而不是通常不可观测的完整状态向量进行操作。
2018-06-20 cs.LG stat.ML
Robust Non-linear Regression: A Greedy Approach Employing Kernels with Application to Image Denoising
我们考虑的任务，强大的非线性回归的存在下，内点噪声和离群值。假设未知的非线性函数属于再生核希尔伯特空间（RKHS），我们的目标是估计相关的未知参数的集合。由于异常值的存在，核岭回归（KRR）或支持向量回归（SVR）等常用技术被证明是不够的。相反，我们采用稀疏建模参数显式建模和估计离群值，采用贪婪的方法。所提出的鲁棒方案，即，核贪心算法的鲁棒去噪（KGARD）是在经典的正交匹配追踪（OMP）算法的基础上提出的。具体而言，所提出的方法交替之间的KRR任务和OMP样的选择步骤。提供了有关识别异常值的理论结果。此外，KGARD与其他前沿方法相比，其性能通过一组实验与各种类型的噪声进行评估。最后，将所提出的鲁棒估计框架应用于图像去噪任务，并证明了其在存在离群值的情况下的增强性能。
2016-08-03 cs.LG stat.ML
Learning dynamical systems from data: A simple cross-validation perspective, part III: Irregularly-Sampled Time Series
KU Leuven（鲁汶大学）
针对非均匀采样时间序列下基于核插值的动力系统学习方法失效的问题，提出在Kernel Flows数据自适应核中加入观测时间差直接近似向量场的方案，在基准测试中兼顾效率与鲁棒性的同时显著提升预测精度。
2024-10-03 cs.LG math.DS stat.CO
No-Regret Bayesian Optimization with Unknown Hyperparameters
ETH Zurich（苏黎世联邦理工学院）；University of Toronto（多伦多大学）
基于高斯过程模型的贝叶斯优化（BO）是一种有效的优化黑箱函数的方法。虽然一些BO算法可证明收敛于未知函数的全局最优解，但它们假设内核的超参数是预先已知的。但实际情况并非如此，错误指定通常会导致这些算法收敛到较差的局部最优值。在本文中，我们提出了第一个BO算法，可证明没有遗憾，收敛到最佳的超参数的知识。在优化过程中，我们缓慢地调整静态内核的超参数，从而随着时间的推移扩展相关的函数类，以便BO算法考虑更复杂的函数候选。基于理论上的见解，我们提出了几个实用的算法，实现BO的经验样本效率与在线超参数估计，但保留理论上的收敛保证。我们评估我们的方法在几个基准问题。
2019-04-01 cs.LG stat.ML
Deep Kernel Learning of Dynamical Models from High-Dimensional Noisy Data
University of Twente（特文特大学）
本文提出随机变分深度核学习方法，从高维噪声数据中无监督地发现低维动态模型，通过编码器与潜在动态模型实现去噪、状态表示及不确定性量化。
2022-11-25 cs.LG stat.ML
A New Distribution-Free Concept for Representing, Comparing, and Propagating Uncertainty in Dynamical Systems with Kernel Probabilistic Programming
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Freiburg（弗莱堡大学）
本文在随机系统的背景下提出了核均值嵌入和核概率规划的概念。我们提出的配方表示，比较，并传播相当一般的随机动态的不确定性在一个分布自由的方式。新的工具享有健全的理论植根于功能分析和广泛的适用性，在不同的数值例子证明。这一新概念的含义是一种新的思维模式的统计性质的不确定性动力系统。
2020-05-04 cs.LG cs.SY eess.SY
A Kernel Two-sample Test for Dynamical Systems
RWTH Aachen University（亚琛工业大学）；Uppsala University（乌普萨拉大学）；FH JOANNEUM（约阿内应用科学大学）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
评估数据流是否来自相同的分布是各种机器学习问题的核心。这对于由动力系统生成的数据特别相关，因为这种系统对于生物医学，经济或工程系统中的许多现实世界过程是必不可少的。虽然核双样本检验对于比较独立同分布的随机变量是非常有效的，但是对于比较动力系统还没有建立的方法。主要的问题是固有的违反独立性假设。我们提出了一个双样本测试的动力系统，解决三个核心挑战：我们（i）引入一个新的概念，混合捕获自相关的相关度量，（ii）提出了一种有效的方法来估计混合速度纯粹依赖于数据，（iii）将这些集成到建立内核双样本测试。其结果是一种数据驱动的方法，可以直接用于实践，并具有良好的理论保证。在一个例子中的应用程序，从人类行走数据的异常检测，我们表明，该测试是很容易适用的，没有任何人类的专家知识和功能工程。
2022-09-04 cs.LG stat.ML
Atlas Gaussian processes on restricted domains and point clouds
School of Mathematics and Statistics, University of Glasgow（数学与统计学学院，格拉斯哥大学）；KLMM, Academy of Mathematics and Systems Science, Chinese Academy of Sciences, China（数学与系统科学研究院，中国科学院）
本文提出了一种改进的Atlas高斯过程，通过结合全局热核与局部RBF核，提升高维点云和受限域中的回归性能和热核估计精度。
2025-11-19 cs.LG stat.ML
Self-Consistent Dynamical Field Theory of Kernel Evolution in Wide Neural Networks
Harvard University（哈佛大学）；Center for Brain Science（脑科学中心）；John Paulson School of Engineering and Applied Sciences（约翰·保尔森工程与应用科学学院）
我们通过自洽动力场理论分析了梯度流训练的无限宽神经网络的特征学习。我们构建了一组确定性的动态序参数，这些参数是在成对的时间点上每层中隐藏单元激活和梯度的内积内核，通过训练提供了对网络活动的简化描述。这些核序参数共同定义了隐藏层激活分布、神经正切核的演化以及因此的输出预测。我们证明了场论推导恢复了Yang和Hu（2021）用张量程序获得的无限宽度特征学习网络的递归随机过程。对于深度线性网络，这些核满足一组代数矩阵方程。对于非线性网络，我们提供了一个交替采样的过程来自洽地解决核序参数。我们提供的自洽的解决方案，包括静态NTK近似，梯度独立性假设，和领导阶扰动理论的各种近似方案的比较，表明这些近似可以打破一般自洽的解决方案仍然提供了准确的描述制度。最后，我们提供了在更现实的设置中的实验，这些实验表明，在CIFAR分类任务中，在固定特征学习强度下，CNN的损失和内核动态在不同的宽度上都得到了保留。
2022-10-04 cond-mat.dis-nn cs.LG stat.ML
Smoothness Adaptive Hypothesis Transfer Learning
The Pennsylvania State University（宾夕法尼亚州立大学）；Amazon Science（亚马逊科学）
本文提出平滑度自适应迁移学习（SATL），在两阶段核岭回归中采用高斯核自适应未知平滑度，证明其达到极小极大最优收敛速率并优于非迁移学习。
2024-02-22 cs.LG stat.ME stat.ML
On generalized residue network for deep learning of unknown dynamical systems
The Ohio State University（俄亥俄州立大学）
我们提出了一种使用深度神经网络（DNN）学习未知动力系统的通用数值方法。我们的方法建立在最近的研究基础上，这些研究将残差网络（ResNet）确定为有效的神经网络结构。在本文中，我们提出了一个广义的ResNet框架，并广义地将残差定义为观测数据与另一个模型（可以是现有的粗模型或降阶模型降阶模型）预测之间的差异。在这种情况下，广义ResNet作为对现有模型的模型校正，并恢复未解决的动态。当现有的粗模型不可用时，我们提出了快速创建粗模型的数值策略，与广义ResNet结合使用。这些粗略模型使用相同的数据集构建，因此不需要额外的资源。广义ResNet能够学习潜在的未知方程，并产生比标准ResNet结构更高精度的预测。这是通过几个数值例子，包括混沌系统的长期预测证明。
2020-01-23 cs.LG cs.NA math.DS
Bayesian Optimization under Heavy-tailed Payoffs
Indian Institute of Science（印度科学学院）
我们考虑黑箱优化的一个未知的函数在非参数高斯过程设置时，在观察到的函数值的噪声可以重尾。这与现有文献相反，现有文献通常假设查询的亚高斯噪声分布。假设未知函数属于再生核希尔伯特空间（RKHS）引起的内核，我们首先表明，适应著名的GP-UCB算法与奖励截断享有次线性$\tilde{O}(T^{\frac{2 + α}{2(1+α)}})$遗憾，即使只有$(1+α)$次时刻，$α\in (0,1]$，奖励分布有界（$\tilde{O}$隐藏对数因子）。然而，对于共同平方指数（SE）和Matérn内核，这被认为是显着大于一个基本的$Ω(T^{\frac{1}{1+α}})$下限遗憾。我们解决这个差距，开发新的贝叶斯优化算法，核近似技术的基础上，遗憾的边界匹配的下限，以SE内核。我们数值基准的算法在环境的基础上合成模型和现实世界的数据集。
2019-09-16 cs.LG stat.ML
Blind hierarchical deconvolution
University of Oulu（奥卢大学）；Lappeenranta-Lahti University of Technology（拉彭兰塔-拉赫蒂工业大学）；University College London（伦敦大学学院）
反卷积是信号处理中的一个基本逆问题，也是从噪声测量中恢复信号的原型模型。然而，大多数基于模型的反演技术需要关于卷积核的知识来恢复准确的重建，并且还需要关于信号的规律性的先验假设。为了克服这些限制，我们参数化卷积核和先验长度尺度，然后在反演过程中联合估计。盲分层反卷积的建议框架，使准确重建的功能与不同的规则性和未知的内核大小，并可以有效地解决经验贝叶斯两步程序，其中超参数首先估计优化和其他未知数，然后通过一个分析公式。
2020-07-22 cs.LG eess.SP stat.ML
Modeling Unknown Stochastic Dynamical System via Autoencoder
The Ohio State University（俄亥俄州立大学）
提出一种基于自编码器的数值方法，通过设计深度神经网络编码器和解码器发现潜在变量并重构系统状态，从未知随机动力系统的短时轨迹数据中学习预测模型，实现长期预测且适用于非高斯噪声系统。
2024-12-22 cs.LG cs.NA math.NA
Recurrent Deep Kernel Learning of Dynamical Systems
University of Twente（特文特大学）；Politecnico di Milano（米兰理工大学）；Lund University（隆德大学）
提出基于随机变分深度核学习及其递归版本的降阶建模方法，从含噪高维数据发现低维潜在空间并预测动力学演化，在双摆和反应-扩散系统中验证了去噪、重建、预测和不确定性量化能力。
2024-11-09 cs.LG stat.ML
Blind system identification using kernel-based methods
ACCESS Linnaeus Center, School of Electrical Engineering, KTH Royal Institute of Technology（林奈学术中心电气工程学院，瑞典皇家理工学院）
本文提出了一种盲系统辨识新方法，利用高斯回归框架将未知线性系统的冲击响应建模为高斯过程的实现，采用稳定的样条核结构并估计超参数和噪声方差，通过经验贝叶斯方法和改进的EM算法实现高效优化。
2016-05-19 cs.SY eess.SY stat.ML
Estimating Probability Distributions using "Dirac" Kernels (via Rademacher-Walsh Polynomial Basis Functions)
在许多应用中（特别是信息系统，例如模式识别、机器学习、化学信息学、生物信息学等），不确定性的评估是必不可少的-即，潜在的概率分布函数的估计。通常情况下，这个函数的形式是未知的，并且有必要从给定的样本中非参数地构造/估计它。对于给定的随机变量（定义在二进制空间上），非参数估计未知概率分布函数的方法之一是在Rademacher-Walsh多项式基函数中扩展估计函数。本文证明了概率分布函数估计在Rademacher-Walsh多项式基函数中的展开等价于函数估计在一组“Dirac核”函数中的展开。后一种方法可以改善通常与Rademacher-Walsh多项式基函数方法相关联的计算瓶颈和记法笨拙，特别是当二进制输入空间很大时。
2016-09-23 stat.ML
Forecasting and Granger Modelling with Non-linear Dynamical Dependencies
Geneva School of Business Administration, HES-SO University of Applied Sciences of Western Switzerland（日内瓦商学院，瑞士西部应用科学与艺术大学）；University of Geneva（日内瓦大学）
传统的线性预测方法不能很好地模拟非高斯序列中可能存在的非线性依赖关系。我们建立在再生核希尔伯特空间中学习向量值函数的理论基础上，并开发了一种学习适应这种非线性的预测函数的方法。该方法不仅学习预测函数，而且直接从数据中学习函数搜索空间的矩阵值核。我们的方法是基于学习多个矩阵值的内核，其中每一个组成的一组输入内核和一组输出内核学习的锥半正定矩阵。除了在存在强非线性的情况下具有优异的预测性能外，我们的方法还恢复了序列之间隐藏的动态关系，因此是现有图形Granger技术的新替代方案。
2017-06-27 cs.LG stat.ML
Non-linear reduced modeling of dynamical systems using kernel methods and low-rank approximation
本文提出将动力系统轨迹嵌入 RKHS，并结合低秩约束优化闭式解与核计算，实现非线性动力学的数据驱动高效降阶建模。
2025-02-19 stat.ML
Dynamical Systems as Temporal Feature Spaces
The University of Birmingham（伯明翰大学）；School of Computer Science（计算机学院）
递归网络形式的参数化状态空间模型通常用于机器学习，以从表现出时间依赖性的数据流中学习。为了打破这种模型的黑箱性质，重要的是要了解在状态空间中形成的输入驱动时间序列的动态特征。我们提出了一个框架，严格分析这种状态表示消失的记忆状态空间模型，如回声状态网络（ESN）。特别是，我们认为状态空间的时间特征空间和读出映射从状态空间的内核机在该特征空间中操作。我们证明：（1）随机产生输入到状态以及状态耦合的通常ESN策略导致浅记忆时间序列表示，对应于具有快速指数衰减系数的互相关算子：（2）对动态耦合施加对称性产生与具有直接指数衰减基元或最高频率的指数衰减基元的输入时间序列匹配的受约束动态核;（3）仅通过两个自由参数指定的简单循环高维库拓扑可以实现具有丰富匹配模体的深记忆动态核。我们量化的丰富性的特征表示所施加的动态内核，并表明，与循环水库拓扑结构的动态内核，内核的丰富性经历了一个相变接近稳定的边缘。
2020-02-15 cs.LG stat.ML
Linear Multiple Low-Rank Kernel Based Stationary Gaussian Processes Regression for Time Series
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data (SRIBD)（深圳大数据研究院）
在过去的二十年中，用于机器学习的高斯过程（GP）已经被系统地研究，并且它们现在被广泛地应用于许多不同的应用中。然而，GP核设计和相关的超参数优化仍然是困难的，在很大程度上是开放的问题。在本文中，我们考虑的任务GP回归的时间序列建模和分析。潜在的平稳内核可以近似任意接近一个新提出的网格谱混合（GSM）内核，这原来是一个线性组合的低秩子内核。在使用大量子核的情况下，可以采用Nyström或随机傅立叶特征近似来有效地处理计算需求。未知的GP超参数由所有子核的非负权重以及噪声方差组成;它们的估计通过最大似然（ML）估计框架来执行。给出了求解未知超参数的两种有效的数值优化方法，包括序列优化-最小化（MM）方法和非线性约束交替方向乘子法（ADMM）。MM与建议的GSM子内核的已证明的低秩属性完美匹配，并且被证明是高效，稳定和高效求解器的一部分，而ADMM有可能在测试MSE方面产生更好的局部最小值。基于各种经典时间序列数据集的实验结果证实，所提出的基于GSM核的GP回归模型在预测均方误差和数值稳定性方面优于同类的几个突出的竞争对手。
2019-04-21 cs.LG eess.SP stat.ML
Raiders of the Lost Architecture: Kernels for Bayesian Optimization in Conditional Parameter Spaces
在实际的贝叶斯优化中，我们必须经常搜索具有不同数量参数的结构。例如，我们可能希望搜索具有未知层数的神经网络架构。为了关联针对不同架构收集的性能数据，我们为条件参数空间定义了一个新的内核，该内核显式地包含有关给定结构中哪些参数相关的信息。我们表明，该内核提高了模型的质量和贝叶斯优化结果比几个简单的基线内核。
2014-09-14 stat.ML
Online Learning in Kernelized Markov Decision Processes
Indian Institute of Science（印度科学学院）
我们考虑在线学习在未知的，情节马尔可夫决策过程（MDP）的连续状态和行动的遗憾最小化。我们开发的UCRL和后验采样算法，采用非参数高斯过程先验的状态和动作空间概括的变种。当真正的MDP的过渡和奖励功能的成员相关联的再生核希尔伯特空间的对称PSD内核（频率设置）引起的功能，我们发现，算法享受次线性遗憾界。边界是在显式的核结构参数，即一种新的推广的信息增益度量从核土匪，并突出了过渡和奖励函数结构对学习性能的影响。我们的结果是适用于多维状态和行动空间的复合核结构，并推广的结果，从文献中的核土匪，和自适应控制的参数线性动力系统的二次成本。
2019-01-03 cs.LG stat.ML
Why Do Deep Residual Networks Generalize Better than Deep Feedforward Networks? -- A Neural Tangent Kernel Perspective
Peking University（北京大学）；Georgia Institute of Technology（佐治亚理工学院）
深度残差网络（ResNets）比深度前馈网络（FFNets）具有更好的泛化性能。然而，这种现象背后的理论在很大程度上仍然是未知的。本文从所谓的“神经切线核“的角度研究了深度学习中的这个基本问题。具体来说，我们首先证明，在适当的条件下，随着宽度趋于无穷大，训练深度ResNets可以被视为学习具有某些核函数的再生核函数。然后，我们将深度ResNets的内核与深度FFNets的内核进行比较，发现由FFNets的内核诱导的函数类是渐进不可学习的，因为深度是无穷大的。相比之下，由ResNets的内核诱导的函数类并没有表现出这种退化。我们的发现部分证明了深度ResNets在泛化能力方面优于深度FFNets。数值结果支持我们的主张。
2020-12-22 cs.LG stat.ML
Sequential Decision Making on Unmatched Data using Bayesian Kernel Embeddings
University of Oxford（牛津大学）；Carnegie Mellon University（卡内基梅隆大学）
顺序最大化函数期望的问题寻求最大化感兴趣的函数的期望值，而无需直接控制其特征。相反，这些特征的分布取决于给定的上下文和代理所采取的动作。与贝叶斯优化相反，函数的参数不受代理的控制，而是由代理基于给定上下文的动作间接确定。如果要将特征的信息包括在最大化问题中，则需要考虑这些特征的完整条件分布，而不仅仅是其期望。此外，该函数本身是未知的，仅对此类函数的噪声观测进行计数，并且可能需要使用不匹配的数据集。我们提出了一种新的算法，考虑到来自两个条件分布的特征和未知函数的估计的不确定性，通过建模前者作为贝叶斯条件均值嵌入和后者作为一个高斯过程。我们的算法在经验上优于目前最先进的算法在实验中进行。
2022-10-25 cs.LG stat.ML
Kernel Operator-Theoretic Bayesian Filter for Nonlinear Dynamical Systems
University of Florida（佛罗里达大学）
本研究结合RKHS理论与贝叶斯滤波，提出核算子理论贝叶斯滤波方法，将非线性动力学提升至希尔伯特空间用线性方法求解，可自适应追踪系统变化，小维度下即可实现高精度，性能优于有限维Koopman分解。
2024-10-31 cs.LG eess.SP stat.ML
Kernel Methods for Stochastic Dynamical Systems with Application to Koopman Eigenfunctions: Feynman-Kac Representations and RKHS Approximation
Department of Computing and Mathematical Sciences, Caltech（加州理工学院计算与数学科学系）；The Alan Turing Institute（艾伦·图灵研究所）；Department of Mechanical Engineering, Clemson University（克莱姆森大学机械工程系）
本文提出用于随机动力系统的核方法，通过Feynman-Kac表示和RKHS近似，扩展了Koopman特征函数的构造，并分析了扩散对数值稳定性的提升作用。
2026-03-01 cs.NA cs.SY eess.SY
SLIP: Learning to Predict in Unknown Dynamical Systems with Long-Term Memory
University of California, Berkeley（加州大学伯克利分校）
针对随机噪声下的未知部分观测线性动力系统，提出了一种有效实用的在线预测算法（多项式时间）。当系统参数已知时，最优线性预测器是卡尔曼滤波器。然而，现有的预测模型的性能是穷人在重要的LDS类，只是勉强稳定，并表现出长期的预测记忆。我们解决这个问题，通过界定广义Kolmogorov宽度的卡尔曼滤波器模型的谱方法和进行紧凸松弛。我们提供了一个有限样本的分析，表明我们的算法竞争与卡尔曼滤波器在事后只有对数遗憾。我们的遗憾分析依赖于门德尔松的小球方法，提供尖锐的误差范围没有浓度，有界性，或指数遗忘的假设。我们还给出了实验结果表明，我们的算法优于国家的最先进的方法。我们的理论和实验结果揭示了有效的可能近似正确（PAC）学习的卡尔曼滤波器从部分观测数据所需的条件。
2020-10-12 cs.LG cs.SY eess.SY
Variance-Aware Estimation of Kernel Mean Embedding
Waseda University（早稻田大学）；ESSEC Business School（埃塞克商学院）
针对核均值嵌入（KME）的收敛速率问题，提出利用再生核希尔伯特空间方差信息加速收敛的方法，即使方差信息未知也可从数据中高效估计，还将结果扩展至平稳混合序列，在假设检验等场景验证效果。
2025-04-16 cs.LG math.ST stat.ML
Nearest Neighbor Dirichlet Mixtures
针对贝叶斯混合密度估计依赖 MCMC、计算慢且不稳定的问题，提出最近邻 Dirichlet 混合及并行 Monte Carlo 伪后验算法，并证明渐近性质与实证效果。
2023-02-23 stat.CO stat.ME stat.ML
