Sparse Spectrum Warped Input Measures for Nonstationary Kernel Learning
the University of Sydney（悉尼大学）；ARC Centre for Data Analytics for Resources and Environments（澳大利亚研究理事会资源与环境数据分析中心）；NVIDIA（英伟达）
我们建立了一个一般形式的明确的，输入相关的，测量值warpings学习非平稳内核。虽然固定内核是无处不在的，使用简单，他们努力适应的功能，在平滑度方面的输入。所提出的学习算法将输入扭曲为控制标准静止核的平滑度的条件高斯度量。这种构造使我们能够捕获数据中的非平稳模式，并提供直观的归纳偏差。由此产生的方法是基于稀疏谱高斯过程，使封闭形式的解决方案，并可扩展到一个堆叠的建设，以捕捉更复杂的模式。该方法与合成和真实世界数据集上的相关算法一起得到了广泛验证。我们证明了一个显着的效率在小数据和大数据制度的学习问题的翘曲函数的参数的数量。
2020-10-09 cs.LG stat.ML
State Space representation of non-stationary Gaussian Processes
Dalle molle institute for artificial intelligence (IDSIA)（达勒·莫尔人工智能研究所（IDSIA））
高斯过程（GP）的状态空间（SS）表示是近年来研究的热点.主要原因是它允许在O（n）内计算基于GP的推断，其中$n$是观察的数量。这种实现使GPS适合大数据。因此，提供机器学习中使用的最重要内核的SS表示是很重要的。本文的目的是展示如何利用SS模型的瞬态行为映射到SS模型的非平稳内核。
2016-01-07 cs.LG stat.ML
Hida-Matérn Kernel
Stony Brook University（石溪大学）
我们提出了一类Hida-Matérn核，这是在整个平稳Gauss-Markov过程空间上的协方差函数的规范族。它扩展到Matérn内核，允许灵活的建设先验过程中的振荡组件。任何平稳内核，包括广泛使用的平方指数和频谱混合内核，要么直接在这一类或适当的渐近极限，证明了这类的一般性。利用它的马尔可夫性质，我们展示了如何表示这样的过程，状态空间模型只使用内核及其衍生物。反过来，这使我们能够更有效地执行高斯过程推理，并避免通常的计算负担。我们还展示了如何利用状态空间表示的特殊性质，除了进一步降低计算复杂性，还可以提高数值稳定性。
2021-12-27 cs.LG stat.ML
A Unifying Perspective on Non-Stationary Kernels for Deeper Gaussian Processes
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Rice University（莱斯大学）
本文从统一视角系统梳理高斯过程非平稳核的常见形式，通过代表性数据集比较其性质与性能，并提出一种融合现有核优势的新核。
2024-09-30 cs.LG math.PR stat.ML
The Minecraft Kernel: Modelling correlated Gaussian Processes in the Fourier domain
Secondmind
在单变量情况下，使用核谱表示是生成平稳协方差函数的一种有吸引力的方法。然而，对多输出高斯过程执行相同的任务更具挑战性。我们表明，目前的方法来建模的光谱混合内核的互协方差具有一个关键的盲点。对于给定的一对过程，除了它们的谱密度具有相同形状的特殊情况外，互协方差在允许的相关性的整个范围内是不可再现的。我们提出了一个解决这个问题的方法，用有限带宽的块分量（即矩形阶跃函数）取代传统的高斯分量的光谱混合。建议的家庭内核代表了第一个多输出概括的光谱混合内核，可以近似任何固定的多输出内核到任意精度。
2021-03-11 cs.LG stat.ML
Learning spectrograms with convolutional spectral kernels
Helsinki Institute for Information Technology, HIIT（赫尔辛基信息技术研究所（HIIT））；Aalto University（阿尔托大学）
我们介绍了卷积谱核（CSK），一个新的家庭的非平稳，非参数协方差核的高斯过程（GP）模型，来自两个虚径向基函数之间的卷积。我们提出了一个原则性的框架来解释CSK，以及其他深概率模型，使用近似傅立叶变换，得到一个简洁的表示输入频谱图。通过光谱图的镜头观察，我们提供了对深层模型可解释性的见解。然后，我们推断的功能超参数使用可扩展变分和MCMC方法。在小型和中型的时空数据集上，我们证明了配备CSK时GP模型的改进泛化，以及它们提取非平稳周期模式的能力。
2019-10-14 cs.LG stat.ML
Scalable Random Wavelet Features: Efficient Non-Stationary Kernel Approximation with Convergence Guarantees
Department of Applied Mechanics（应用力学系）；Yardi School of Artificial Intelligence (ScAI)（人工智能学院（ScAI））；Indian Institute of Technology Delhi（德里印度理工学院）
本文提出随机小波特征，通过小波采样构建非平稳核近似，提供理论保证并在多个数据集上验证了其在精度与效率上的优势。
2026-02-01 cs.LG
Nonstationary multi-output Gaussian processes via harmonizable spectral mixtures
Universidad de Chile（智利大学）
多输出高斯过程的核设计问题近年来受到了广泛的关注。特别地，多输出光谱混合内核（MOSM）arXiv：1709.01298方法已经被称赞为通用模型，因为它扩展了其他方法，例如相关化的线性模型、内在相关化模型和交叉光谱混合。MOSM依赖于Cramér定理将功率谱密度（PSD）参数化为高斯混合，因此具有结构限制：通过假设PSD的存在，该方法仅适用于多输出稳态应用。我们开发了一个非平稳扩展MOSM提出家庭的和谐内核MOGP，一类内核，包含固定和绝大多数的非平稳过程。所提出的可协调内核的主要贡献在于，它们自动识别可能的非平稳行为，这意味着从业者不需要在平稳或非平稳内核之间进行选择。该方法首先在合成数据上进行验证，目的是说明我们方法的关键特性，然后将其与现有的MOGP方法在金融和脑电图两个真实环境中进行比较。
2022-02-18 cs.LG eess.SP stat.ML
Linear Multiple Low-Rank Kernel Based Stationary Gaussian Processes Regression for Time Series
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data (SRIBD)（深圳大数据研究院）
在过去的二十年中，用于机器学习的高斯过程（GP）已经被系统地研究，并且它们现在被广泛地应用于许多不同的应用中。然而，GP核设计和相关的超参数优化仍然是困难的，在很大程度上是开放的问题。在本文中，我们考虑的任务GP回归的时间序列建模和分析。潜在的平稳内核可以近似任意接近一个新提出的网格谱混合（GSM）内核，这原来是一个线性组合的低秩子内核。在使用大量子核的情况下，可以采用Nyström或随机傅立叶特征近似来有效地处理计算需求。未知的GP超参数由所有子核的非负权重以及噪声方差组成;它们的估计通过最大似然（ML）估计框架来执行。给出了求解未知超参数的两种有效的数值优化方法，包括序列优化-最小化（MM）方法和非线性约束交替方向乘子法（ADMM）。MM与建议的GSM子内核的已证明的低秩属性完美匹配，并且被证明是高效，稳定和高效求解器的一部分，而ADMM有可能在测试MSE方面产生更好的局部最小值。基于各种经典时间序列数据集的实验结果证实，所提出的基于GSM核的GP回归模型在预测均方误差和数值稳定性方面优于同类的几个突出的竞争对手。
2019-04-21 cs.LG eess.SP stat.ML
Bayesian Convolutional Deep Sets with Task-Dependent Stationary Prior
KAIST（韩国科学技术院）
卷积深度集是深度神经网络（DNN）的架构，可以对静态随机过程进行建模。该架构使用核平滑器和DNN来构造平移等变函数表示，从而将平稳性的归纳偏差反映到DNN中。然而，由于该架构采用称为非参数模型的内核平滑器，因此当数据点的数量没有充分给出时，它可能会产生模糊的表示。为了解决这个问题，我们引入了贝叶斯卷积深度集，它构建了具有静态先验的随机平移等变函数表示。此外，我们提出了如何对每个数据集施加任务相关的先验，因为错误施加的先验形成了比内核平滑器更差的表示。我们使用时间序列和图像数据集验证了所提出的架构及其在各种实验中的训练。
2022-10-22 cs.LG stat.ME stat.ML
Kriging via variably scaled kernels
Faculty of Engineering and Physical Sciences, University of Southampton（工程与物理科学学院，南安普顿大学）；Dipartimento di Scienze Matematiche Giuseppe Luigi Lagrange, Politecnico di Torino（吉useppe Luigi Lagrange数学科学系，都灵理工大学）；Università degli Studi di Milano-Bicocca, Dipartimento di Matematica e Applicazioni（米兰-比可卡大学，数学与应用系）
本文研究了可变缩放核在构建非平稳高斯过程中的作用，通过修改数据相关结构提升重建精度并提供反映数据结构的不确定性估计。
2026-03-16 cs.LG stat.ME stat.ML
Stationarity without mean reversion in improper Gaussian processes
Donders Institute for Brain, Cognition and Behaviour, Radboud University（拉德堡德大学唐德斯脑、认知与行为研究所）
针对非周期性平稳协方差函数的均值回复特性在处理非收敛到固定均值数据时的病态问题，提出基于无穷方差非恰当高斯过程先验的非正定核，得到平稳无均值回复的过程，解析后验易计算，保留常用平滑核特性且解决病态问题。
2024-05-15 cs.LG stat.ML
Exact Gaussian Processes for Massive Datasets via Non-Stationary Sparsity-Discovering Kernels
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University at Buffalo（布法罗大学）
高斯过程（GP）是一种在科学和工程应用中用于随机函数逼近的重要数学框架。这一成功在很大程度上归功于GP的分析易处理性，鲁棒性，非参数结构和自然包含的不确定性量化。不幸的是，精确GP的使用对于大型数据集是非常昂贵的，这是由于它们在计算中的$O(N^3)$和在存储中的$O(N^2)$的不利的数值复杂性。所有现有的解决这个问题的方法都利用某种形式的近似-通常考虑完整数据集的子集或找到代表性的伪点，使协方差阵结构良好且稀疏。这些近似方法可能导致函数近似的不准确性，并且经常限制用户在设计表达性内核时的灵活性。而不是通过数据点的几何形状和结构诱导稀疏性，我们建议利用自然发生的稀疏性，允许内核发现-而不是诱导-稀疏结构。本文的前提是，GP在其最原始的形式下通常是自然稀疏的，但常用的内核不允许我们利用这种稀疏性。精确且同时稀疏的GP的核心概念依赖于内核定义，这些内核定义提供了足够的灵活性来学习和编码非零协方差和零协方差。这种超灵活、紧支持和非静态内核的原理，结合HPC和约束优化，使我们能够扩展精确的GP远远超过500万个数据点。
2022-05-18 cs.LG math.PR stat.CO
Anomaly Detection and Removal Using Non-Stationary Gaussian Processes
本文提出了一种新的高斯过程方法来去除时间序列数据中的故障。故障排除并不删除故障信号数据，而是从数据中删除故障。我们假设只有一个故障发生在任何一个时间和模型的信号由两个独立的非参数高斯过程模型的物理现象和故障。为了便于故障排除，我们引入马尔可夫区域链接内核处理非平稳高斯过程。这个核是分段平稳的，但保证由它生成的函数及其导数（在需要时）处处连续。我们将此内核的错误传感器数据中的漂移和偏置错误的去除，也恢复EOG伪影损坏的EEG信号。
2015-07-02 stat.ML
Probabilistic Wind Power Modelling via Heteroscedastic Non-Stationary Gaussian Processes
Department of Statistical Science, University College London（统计科学系，伦敦大学学院）；Department of Engineering, University of Cambridge（工程系，剑桥大学）；Department of Statistics, Athens University of Economics and Business（统计系，雅典经济与商业大学）
针对风电功率预测中传统高斯过程模型无法同时处理非平稳性与异方差性的问题，本文提出基于广义谱混合核的异方差非平稳高斯过程框架，并在10分钟SCADA数据上验证了其优于平稳/非平稳GP变体及非GP概率基线的性能。
2025-11-09 cs.LG stat.AP stat.ML
Gaussian process regression with log-linear scaling for common non-stationary kernels
本文提出一种适用于低维非平稳核的高斯过程回归快速算法，利用非均匀快速傅里叶变换实现近最优的$O(N\log N)$复杂度，并在多维空间展示优于秩结构方法的可扩展性。
2025-03-26 cs.NA math.NA stat.CO
Kernel Learning for Explainable Climate Science
University of Cambridge（剑桥大学）
针对印度河上游流域降水时空分布复杂、既有模型假设粗略且缺乏误差传播的问题，提出带输入依赖Gibbs核的结构化非平稳高斯过程，并通过消融和基准实验验证其时空重建能力。
2023-07-16 cs.LG stat.AP stat.ML
gp2Scale: A Class of Compactly Supported Non-Stationary Kernels and Distributed Computing for Exact Gaussian Processes on 10 Million Data Points
Applied Mathematics and Computational Research Division Lawrence Berkeley National Laboratory（应用数学与计算研究部伯克利国家实验室）；Climate and Ecosystem Sciences Division Lawrence Berkeley National Laboratory（气候与生态系统科学部伯克利国家实验室）；Department of Statistics Rice University（统计学系里德大学）；UC Berkeley（加州大学伯克利分校）
gp2Scale通过非平稳核设计实现高斯过程在1000万数据点上的精确计算，无需诱导点或近似方法，提升计算效率和灵活性。
2026-07-31 cs.LG math.PR
A New Reliable & Parsimonious Learning Strategy Comprising Two Layers of Gaussian Processes, to Address Inhomogeneous Empirical Correlation Structures
Brunel University London（伦敦布鲁内尔大学）
提出一种基于两层高斯过程的新学习策略，通过非平稳核处理数据相关结构的非均匀性，仅需每层每维一个超参数，并在真实数据上验证其有效性。
2024-04-18 cs.LG stat.ML
Causal Modeling with Stationary Diffusions
ETH Zürich（苏黎世联邦理工学院）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文提出基于平稳扩散的因果推断新方法，通过随机微分方程学习干预下的系统行为，无需因果图或无环假设，并引入核平稳性偏差（KDS）作为目标函数，在未见干预上优于经典方法。
2024-03-16 cs.LG
SEEK: Self-adaptive Explainable Kernel For Nonstationary Gaussian Processes
University of California, Irvine（加州大学尔湾分校）
针对传统平稳核在非平稳场景下高斯过程预测与不确定性量化效果差的问题，提出从第一性原理推导的可解释自适应核SEEK，兼具鲁棒性与更优的预测及量化性能。
2025-05-16 cs.LG
Stationary Kernels and Gaussian Processes on Lie Groups and their Homogeneous Spaces II: non-compact symmetric spaces
St. Petersburg State University（圣彼得堡国立大学）；University of Oxford（牛津大学）；Neapolis University Pafos（帕福斯尼阿波利斯大学）；University of Cambridge（剑桥大学）；Cornell University（康奈尔大学）；ETH Zürich（苏黎世联邦理工学院）
本研究针对非紧对称空间，开发了构建平稳高斯过程的实用技术，可实现协方差核计算与先验后验采样，让非欧高斯过程模型适配标准软件的计算方法，便于从业者使用。
2024-09-12 cs.LG math.ST stat.ME
Spatial Mapping with Gaussian Processes and Nonstationary Fourier Features
协方差核的使用在空间统计学领域中是普遍存在的。核允许数据被映射到高维特征空间，因此可以将简单的线性加法方法扩展到具有更高阶相互作用的非线性方法。然而，直到最近，一直强烈依赖于有限的一类固定内核，如Matern或平方指数，限制了这些建模方法的表现力。最近的机器学习研究集中在谱表示来对任意稳定内核进行建模，并引入了包括非稳定内核类的更一般的表示。在本文中，我们利用傅立叶特征表示，高斯过程和神经网络之间的联系来概括以前的方法，并开发一个简单有效的框架来直接从数据中学习任意复杂的非平稳核函数，同时注意避免使用最先进的深度学习方法过度拟合。我们强调了可以在这个框架中创建的非常广泛的内核类。我们将其应用到一个时间序列数据集和遥感问题，涉及在东非的地表温度。我们表明，在不增加计算或存储复杂性的情况下，非平稳内核可以用来提高泛化性能，并提供更多的可解释的结果。
2017-11-15 stat.ML
Stationary Kernels and Gaussian Processes on Lie Groups and their Homogeneous Spaces I: the compact case
St. Petersburg State University and University of Oxford（圣彼得堡国立大学和牛津大学）；St. Petersburg State University and Neapolis University Pafos（圣彼得堡国立大学和纳皮奥斯大学帕福斯）；University of Cambridge and Cornell University（剑桥大学和康奈尔大学）；ETH Zürich（苏黎世联邦理工学院）
本文研究了在李群及其齐性空间上构建平稳高斯过程的技术，特别针对紧致空间，提供计算方法使其与现有高斯过程软件兼容。
2026-02-27 cs.LG math.ST stat.ME
Towards Unbiased Random Features with Lower Variance For Stationary Indefinite Kernels
Institute of Image Processing and Pattern Recognition Shanghai Jiao Tong University（上海交通大学图像处理与模式识别研究所）
随机傅立叶特征（RFF）在大规模情况下的核近似中表现出良好的性能，但限制核是平稳和正定的。对于非平稳核函数，当输入被限制在单位球面上时，相应的RFF可以转化为平稳不定核函数的RFF。许多方法提供了可访问的方法来近似固定但不确定的内核。然而，它们要么是有偏差的，要么具有很大的方差。本文提出了一种具有较低方差的无偏估计--广义正交随机特征，在不同数据集和核函数上的实验结果表明，与现有的核函数逼近方法相比，该算法具有较低的方差和逼近误差。在支持向量机和回归的框架下，我们的近似算法更好地逼近原始选择的核，提高了分类精度和回归能力。
2021-04-14 cs.LG stat.ML
A Comprehensive Bayesian Treatment of the Universal Kriging model with Matérn correlation kernels
Gibbs参考后验分布为具有Matérn各向异性核的平稳高斯过程的预测问题提供了一个客观的全贝叶斯解决方案。一个完整的贝叶斯方法是可能的，因为后验分布表示为一致遍历马尔可夫核的不变分布，我们给出了一个明确的表达式。在本文中，我们表明，它是适当的泛克里格框架，即当一个未知的函数被添加到平稳高斯过程。我们给出了适用于各种实际情况的吉布斯参考后验的存在性和适当性的充分条件，并用几个例子说明了该方法。最后，高斯过程的模拟表明，吉布斯参考后验具有良好的频率属性的预测区间的覆盖。
2018-01-15 math.ST stat.TH
Federated Bayesian Neural Regression: A Scalable Global Federated Gaussian Process
University of Waterloo（滑铁卢大学）；Vector Institute for AI（Vector人工智能研究院）；Noah’s Ark Lab, Huawei Technologies（华为技术诺亚方舟实验室）
在应用联邦学习（FL）框架的典型场景中，客户端通常没有足够的训练数据来生成准确的模型。因此，不仅提供点估计，而且还提供某种置信度概念的模型是有益的。高斯过程（GP）是一个强大的贝叶斯模型，具有自然校准的方差估计。然而，学习一个独立的全局GP是具有挑战性的，因为合并局部内核会导致隐私泄漏。为了保护隐私，以前考虑联邦GP的作品通过关注个性化设置或学习局部模型的集合来避免学习全局模型。我们提出了联邦贝叶斯神经回归（FedBNR），这是一种学习可扩展的独立全球联邦GP的算法，该算法尊重客户的隐私。我们通过定义统一的随机内核，将深度内核学习和随机特性结合起来，以实现可扩展性。我们表明，这种随机内核可以恢复任何平稳内核和许多非平稳内核。然后，我们推导出一种学习全局预测模型的原则性方法，就好像所有客户端数据都是集中的一样。我们还学习全局内核与知识蒸馏方法的非相同和独立分布（非i.i.d.）客户.在真实世界的回归数据集上进行了实验，与其他联邦GP模型相比，实验显示出统计上的显着改进。
2022-06-13 cs.LG
Weighted Gaussian Process Bandits for Non-stationary Environments
The Ohio State University（俄亥俄州立大学）；Wayne State University（韦恩州立大学）；University of Michigan（密歇根大学）
本文研究了非平稳环境下的高斯过程（GP）强盗优化问题。为了捕获外部变化，允许黑盒函数在再生核希尔伯特空间（RKHS）内随时间变化。为此，我们开发了WGP-UCB，一种新的UCB型算法的基础上加权高斯过程回归。一个关键的挑战是如何处理无限维的特征映射。为此，我们利用核近似技术证明了一个次线性遗憾界，这是第一个（频率论）次线性遗憾保证加权时变土匪一般非线性奖励。这一结果推广了非平稳线性强盗和标准GP-UCB算法。进一步，对于一般权的加权高斯过程回归，得到了一个新的浓度不等式。我们还提供了普遍的上限和权重依赖的加权最大信息增益的上限。这些结果对于新闻排名和自适应定价等应用程序具有独立的意义，其中可以采用权重来捕获数据的重要性或质量。最后，我们进行实验，以突出所提出的算法在许多情况下，与现有的方法相比，有利的收益。
2022-03-28 cs.AI cs.LG
An Optimization-based Algorithm for Non-stationary Kernel Bandits without Prior Knowledge
University of Michigan（密歇根大学）
我们提出了一种算法的非平稳内核土匪，不需要先验知识的非平稳程度。该算法遵循通过解决平衡探索和开发的优化问题获得的随机策略。它通过在检测到奖励函数的变化时重新启动来适应非平稳性。我们的算法享有更严格的动态遗憾界比以前的工作上的非平稳内核强盗设置。此外，当应用到非平稳线性强盗设置通过使用线性核，我们的算法是近minimax最优，解决了一个开放的问题，在非平稳线性强盗文献。我们扩展我们的算法，使用一个神经网络动态适应的特征映射到观察到的数据。我们证明了一个动态后悔界的扩展使用神经正切核理论。我们的经验表明，我们的算法和扩展可以适应不同程度的非平稳性。
2023-02-20 cs.LG stat.ML
Diagnostic-Driven Nonstationary Emulators Using Kernel Mixtures
弱平稳高斯过程（GPs）是计算机实验（或不确定性量化）设计和分析的统计方法中的主要工具。使用一组训练运行来学习过程协方差核的参数，将这样的过程拟合到计算机模型输出。平稳性假设通常是足够的，但当模型响应表现出非平稳性时，例如，如果其平滑度在输入空间中变化，则可能导致预测性能较差。在本文中，我们介绍了一种诊断为主导的方法来拟合非平稳GP仿真器，通过指定有限的混合特定区域的协方差内核。我们的方法首先适合一个固定的GP，如果传统的诊断表现出非平稳性，这些诊断被用来适应适当的混合函数的协方差内核混合设计，以捕捉非平稳性，确保仿真器是连续的参数空间和易于解释。我们比较我们的方法在文献中的主要非平稳GP模型，并说明其性能的一些理想化的测试用例和应用程序建模的云参数化的法国气候模型。
2019-02-27 stat.ME
Spatio-temporal point processes with deep non-stationary kernels
Georgia Institute of Technology（佐治亚理工学院）；Duke University（杜克大学）
点过程数据在现代应用中变得无处不在，例如社交网络、医疗保健和金融。尽管流行的递归神经网络（RNN）模型对点过程数据具有强大的表达能力，但由于其递归结构，它们可能无法成功捕获数据中复杂的非平稳依赖关系。点过程数据的另一种流行类型的深度模型是基于通过神经网络表示影响核（而不是强度函数）。我们采取后一种方法，并开发了一个新的深度非平稳影响内核，可以模拟非平稳时空点过程。其主要思想是用一种新的、通用的低秩分解来近似影响核，从而通过深度神经网络实现高效表示，提高计算效率和性能。我们还采取了一种新的方法来保持非负约束的条件强度，通过引入对数障碍罚款。我们证明了我们提出的方法的良好性能和计算效率相比，最先进的模拟和真实数据。
2022-11-21 cs.LG stat.ML
Near-Optimal Algorithm for Non-Stationary Kernelized Bandits
MI-6 Ltd.（MI-6有限公司）；Nagoya University（名古屋大学）；RIKEN AIP（理化学研究所人工智能项目）
本文针对非平稳核化老虎机问题，首次给出算法无关遗憾下界，并提出带随机排列的重启分阶段消除算法（R-PERP），以低计算成本实现近最优遗憾。
2024-10-21 cs.LG stat.ML
A Kernel-Based Approach to Non-Stationary Reinforcement Learning in Metric Spaces
Inria Lille（里尔法国国家信息与自动化研究所）；Université de Lille（里尔大学）；OvGU（马格德堡大学）；Facebook AI Research（脸书人工智能研究院）；CNRS（法国国家科学研究中心）；DeepMind Paris（深度思维巴黎）
在这项工作中，我们提出了KeRNS：一个算法的情景强化学习在非平稳马尔可夫决策过程（MDP）的状态动作集被赋予一个度量。使用一个非参数模型的MDP建立与时间相关的内核，我们证明了一个遗憾的范围，规模与覆盖维度的状态-动作空间和总变化的MDP随时间的推移，量化其非平稳性的水平。我们的方法概括了以前的方法的基础上，滑动窗口和指数贴现用于处理不断变化的环境。我们进一步提出了一个实际的KeRNS实现，我们分析了它的遗憾和实验验证。
2022-03-23 cs.LG stat.ML
Online Learning of Whittle Indices for Restless Bandits with Non-Stationary Transition Kernels
Department of ECE, Purdue University（普渡大学电子工程系）
本文研究了面对未知非平稳动态的restless bandits最优资源分配问题，提出滑动窗口在线Whittle策略，在保持计算效率的同时适应时间变化的核。理论分析显示算法在动态 regret 上达到亚线性性能，且通过Bandit-over-Bandit框架处理未知变化预算情况。
2026-04-21 cs.LG stat.ML
Convolutional Spectral Kernel Learning
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
近年来，非平稳谱核由于其在揭示长程相关性和输入依赖性方面的强大特征表示能力而受到广泛关注。然而，非平稳谱核仍然是浅层模型，因此它们在学习分层特征和局部相互依赖性方面存在不足。在本文中，为了获得分层和局部知识，我们基于逆傅立叶变换构建了一个可解释的卷积谱核网络（\texttt{CSKN}），其中我们将深度架构和卷积滤波器引入非平稳谱核表示。此外，基于Rademacher复杂度，我们推导了泛化误差界，并引入了两个正则化器来提高性能。结合正则化器和随机初始化的最新进展，我们最终完成了\texttt{CSKN}的学习框架。在真实数据集上的大量实验结果验证了学习框架的有效性，并与我们的理论研究结果相吻合。
2020-02-28 cs.LG stat.ML
Kernel Autocovariance Operators of Stationary Processes: Estimation and Convergence
Freie Universität Berlin（柏林自由大学）；Heriot–Watt University（赫瑞瓦特大学）；Zuse Intitute Berlin（柏林祖斯研究所）
本文研究再生核希尔伯特空间中平稳过程自协方差算子的经验估计收敛性，在遍历和强混合条件下给出渐近结果与有限样本误差界，并应用于核主成分分析、条件均值嵌入及马尔可夫转移算子的非参数估计。
2022-11-29 cs.LG math.FA math.PR
Automated Spectral Kernel Learning
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
本文提出一种非平稳谱核学习框架，使核依赖于输入和输出，并推导了基于Rademacher复杂度的泛化误差界，实验验证了其有效性。
2020-02-24 cs.LG stat.ML
Heat and Matérn Kernels on Matchings
Higher School of Economics（俄罗斯经济高等学院）；University Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；University of Edinburgh（爱丁堡大学）
本文提出了一种构建尊重匹配空间自然几何的几何核的方法，通过热核和Matérn核家族实现非欧几里得空间的核方法，并引入高效算法解决计算成本问题，同时探索其在树空间中的应用。
2026-04-15 cs.LG stat.ML
Kernel-based Joint Independence Tests for Multivariate Stationary and Non-stationary Time Series
本文扩展 dHSIC，提出适用于平稳与非平稳多元时间序列的基于核的联合独立性检验，并通过重采样在合成及真实数据中验证其高阶依赖发现能力。
2023-11-02 math.ST stat.AP stat.ME
Neural Spectral Marked Point Processes
Georgia Institute of Technology（佐治亚理工学院）；Duke University（杜克大学）
自激点过程和互激点过程是机器学习和相关离散事件数据统计中的流行模型。迄今为止，大多数现有的模型假设平稳内核（包括经典的霍克斯过程）和简单的参数模型。具有复杂事件数据的现代应用需要更通用的点过程模型，除了时间和位置信息之外，该模型还可以包含事件的上下文信息（称为标记）。此外，这样的应用通常需要非平稳模型来捕获更复杂的时空依赖性。为了应对这些挑战，一个关键的问题是设计一个通用的影响核的点过程模型。在本文中，我们介绍了一种新的和一般的神经网络为基础的非平稳影响核处理复杂的离散事件数据，同时提供理论性能保证具有较高的表现力。我们证明了我们所提出的方法相比，最先进的合成和真实数据的优越性能。
2022-02-13 cs.LG stat.ML
Learning theory estimates with observations from general stationary stochastic processes
KU Leuven（鲁汶大学）；University of Stuttgart（斯图加特大学）
本文研究了具有一般平稳随机过程观测值的监督学习问题。这里的\emph{general}是指可以包含许多平稳随机过程。证明了当随机过程满足广义Bernstein型不等式时，可以对各种混合过程的学习方案进行统一的分析，并建立一般正则化经验风险最小化方案的一个尖锐的预言不等式.得到的预言不等式，然后应用到几个学习计划，如经验风险最小化（ERM），最小二乘支持向量机（LS-SVM）使用给定的通用内核，和SVM使用高斯内核的最小二乘和分位数回归的收敛速度。原来对于i.i.d.~过程中，我们的学习率为ERM恢复最佳速率。另一方面，对于非i.i.d.~过程，包括几何$α$ -混合马尔可夫过程，几何$α$ -混合过程与限制衰减，$ϕ$ -混合过程，和（时间反演）几何$\mathcal{C}$ -混合过程，我们的学习率与高斯核SVM匹配，直到一些任意小的额外的指数，最佳率。对于其余情况，我们的利率至少接近最优利率。作为一个副产品，假设的广义伯恩斯坦型不等式也提供了一个解释所谓的“有效观测数”的各种混合过程。
2016-05-10 cs.LG stat.ML
Frequency-aware Surrogate Modeling With SMT Kernels For Advanced Data Forecasting
Fédération ENAC ISAE-SUPAERO ONERA, Université de Toulouse, 31000, Toulouse, France（法国ENAC联合会ISAE-SUPAERO ONERA，图卢兹大学）；IFP Energies nouvelles, Institut Carnot IFPEN Transports Energie, 92852 Rueil-Malmaison, France（法国IFP能源新领域，IFPEN交通运输能源研究所）；IRIT, Université de Toulouse, CNRS, Toulouse INP, UT3, UT Capitole, Toulouse, France（图卢兹大学，国家科学研究中心，图卢兹INP，UT3，UT Capitole）；ICA, ISAE--SUPAERO, INSA, CNRS, MINES ALBI, UPS, Université de Toulouse, 31400 Toulouse, France（ICA，ISAE-SUPAERO，INSA，国家科学研究中心，MINES ALBI，UPS，图卢兹大学）
本文提出基于SMT 2.0开源框架的频率感知代理建模方法，通过扩展核函数及组合提升复杂系统数据预测能力。
2025-07-13 cs.AI cs.LG math.OC
Fast Statistical Leverage Score Approximation in Kernel Ridge Regression
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
Nyström近似是一种快速随机化方法，通过对目标函数中出现的n乘n经验核矩阵进行子采样，快速解决核岭回归（KRR）问题。然而，这种子采样方法的性能严重依赖于正确估计用于形成采样分布的统计杠杆分数，这可能与求解原始KRR一样昂贵。在这项工作中，我们提出了一个线性时间（模poly-log项）算法，以准确地近似的统计杠杆分数在静态内核为基础的KRR与理论保证。特别地，通过分析KRR目标的一阶条件，我们推导出一个解析公式，该公式取决于输入分布和平稳核的谱密度，用于捕获统计杠杆分数的非均匀性。数值实验表明，在相同的预测精度，我们的方法是数量级更有效的比现有的方法在Nyström近似选择的代表性的子样本。
2021-03-09 cs.LG stat.CO stat.ML
Optimistic Policy Optimization is Provably Efficient in Non-stationary MDPs
Peking University（北京大学）；Yale University（耶鲁大学）；Northwestern University（西北大学）；DeepMind；University of Alberta（阿尔伯塔大学）
研究非平稳线性核MDPs中的情景式强化学习，提出带有滑动窗口评估和周期性重启改进的乐观策略优化算法PROPO及值迭代算法，并证明其动态上界和近最优性。
2024-12-23 cs.LG stat.ML
Change Detection in Multivariate data streams: Online Analysis with Kernel-QuantTree
Politecnico di Milano (DEIB)（米兰理工学院（DEIB））；STMicroelectronics
本文提出非参数变化检测算法KQT-EWMA，结合KQT直方图和EWMA统计量在线监测多变量数据流，能精确控制误报率$ARL_0$，且检测延迟与现有最优方法相当或更低。
2024-10-17 cs.AI cs.LG stat.ML
Efficient Learning of Stationary Diffusions with Stein-type Discrepancies
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出Stein型KDS方法，用于高效学习平稳扩散，通过凸优化减少计算成本并提升性能。
2026-01-29 cs.LG math.ST stat.ML
Sparsified-Learning for High-Dimensional Heavy-Tailed Locally Stationary Time Series, Concentration and Oracle Inequalities
Huaiyin Institute of Technology（淮阴工学院）
本文提出了一种适用于高维厚尾局部平稳时间序列的稀疏学习框架，结合加法建模与核平滑，推导了集中性不等式并建立了预测误差界，探讨了不同稀疏结构下的收敛率。
2026-02-08 cs.LG math.ST stat.ML
Dynamic Regret of Policy Optimization in Non-stationary Environments
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
我们考虑强化学习（RL）的情节MDP与对抗性的全信息奖励反馈和未知的固定过渡内核。我们提出了两个无模型的策略优化算法，POWER和POWER++，并建立保证他们的动态遗憾。与静态后悔的经典概念相比，动态后悔是一个更强的概念，因为它明确地解释了环境的非平稳性。所提出的算法获得的动态遗憾之间的非平稳性不同的制度插值，而且满足自适应（近）最优的概念，在这个意义上说，它匹配（近）最优静态遗憾缓慢变化的环境下。动态遗憾界功能两个组成部分，一个来自探索，处理过渡内核的不确定性，而另一个来自适应，处理非平稳环境。具体来说，我们表明，POWER++通过预测主动适应非平稳性，在动态遗憾的第二个组成部分上优于POWER。据我们所知，我们的工作是第一次在非平稳环境中的无模型强化学习算法的动态遗憾分析。
2020-06-30 cs.LG math.OC stat.ML
Conditionally Resampled Sliding-Window Count Kernels: Spectral-Gap Bounds and Poincaré Inequalities
School of Mathematical Sciences, Peking University（北京大学数学科学学院）
该研究针对平稳有限状态可逆马尔可夫链的条件重采样滑动窗口计数核，推导了其谱隙的Θ_P(1/n)界及庞加莱不等式，得到有限窗口计数统计量的方差界与矩阵值经验平均的算子范数集中性。
2026-08-19 math.PR math.ST stat.ML
Generalized Spectral Kernels
在本文中，我们提出了一个家庭的易处理的内核，是密集的家庭有界半正定函数（即可以近似任何有界核任意精度）。我们首先讨论的情况下，平稳内核，并提出了一个家庭的频谱内核扩展现有的方法，如频谱混合内核和稀疏频谱内核。我们的扩展有两个主要优势。首先，与现有的产生无穷可微性的谱方法不同，我们引入的核允许学习高斯过程（GP）模型中的潜在函数和其他核方法中的再生核希尔伯特空间（RKHS）中的函数的可微性程度。其次，我们表明，我们提出的一些内核需要更少的参数比现有的谱内核相同的精度，从而导致更快，更强大的推理。最后，我们推广我们的方法，并提出了一个灵活的和易于处理的家庭的谱内核，我们证明可以近似任何连续有界非平稳内核。
2015-10-09 stat.ML
Fast spectral separation method for kinetic equation with anisotropic non-stationary collision operator retaining micro-model fidelity
Michigan State University（密歇根州立大学）
提出一种从分子动力学学习的数据驱动碰撞算子，通过各向异性非平稳核和快速谱分离方法（O(N log N)算法）扩展动力学模型至弱耦合之外，保持结构守恒与H定理。
2026-06-05 cs.NA math.NA physics.comp-ph
