Hierarchical Time Series Forecasting with Operator-Valued Kernels
Califrais
该研究针对分层时间序列预测的一致性与统计保证问题，提出基于算子值核的统一框架，通过构造结构化算子值核确保预测满足分层约束，经合成与真实数据集验证了方法的有效性。
2026-10-14 cs.LG stat.ML
On Valid Optimal Assignment Kernels and Applications to Graph Classification
TU Dortmund（多特蒙德工业大学）；University of York（约克大学）
核方法的成功引发了新的半正定函数的设计，特别是结构化数据。一个领先的设计范例是卷积核，它将结构化对象分解为它们的部分，并对所有部分对求和。相比之下，分配核是从部分之间的最佳双射获得的，这可以提供更有效的相似性概念。然而，在一般情况下，最优分配产生不定函数，这使得它们在核方法中的使用变得复杂。我们刻画了一类用于比较保证半正定最优分配核的部分的基础核。这些基本内核产生的层次结构，从其中的最佳分配内核计算在线性时间的直方图相交。我们应用这些结果，通过开发的Weisfeiler-Lehman最优分配核图。它在广泛使用的基准数据集上提供了较高的分类精度，优于原始的Weisfeiler-Lehman内核。
2017-01-31 cs.LG stat.ML
Structured Black Box Variational Inference for Latent Time Series Models
Disney Research（迪士尼研究院）
连续潜在时间序列模型在贝叶斯建模中很普遍;示例包括卡尔曼滤波器、动态协同过滤或动态主题模型。这些模型通常受益于结构化的，非平均场变分近似，捕获时间步长之间的相关性。黑盒变分推断与重新参数化梯度（BBVI），使我们能够探索一个丰富的新的类贝叶斯非共轭潜在的时间序列模型，然而，一个天真的BBVI的应用程序，这样的结构化变分模型将规模平方的时间步长。我们描述了一个BBVI算法类似的向前向后算法，而不是线性缩放的时间。它允许我们有效地从变分分布中采样并估计ELBO的梯度。最后，我们展示了最近提出的动态单词嵌入模型的结果，该模型是使用我们的方法训练的。
2017-07-04 cs.LG stat.ML
Prediction of Dynamical time Series Using Kernel Based Regression and Smooth Splines
University of Michigan（密歇根大学）
利用支持向量机或基于核函数的回归方法对含有加性噪声的动态时间序列进行预测，已证明对某些离散动态系统是一致的。一致性意味着这些方法在计算给定当前坐标的未来时间点的期望值时是有效的。然而，目前的坐标本身是有噪声的，因此，这些方法在去除噪声方面不一定有效。在这篇文章中，我们认为去噪和预测作为单独的问题，流，而不是离散时间动力系统，并表明使用光滑样条是更有效地消除噪声。平滑样条和基于核的回归的组合产生的预测器在基准上通常更准确，通常是2倍或更多。我们证明了基于核的回归结合光滑样条收敛到精确的预测时间序列从任何足够光滑的流的任何紧凑的不变集。作为收敛的结果，可以找到基于核的回归与平滑样条的组合甚至优于$100$的因子的示例。我们计算的预测器对延迟坐标数据而不是通常不可观测的完整状态向量进行操作。
2018-06-20 cs.LG stat.ML
Class Conditional Time Series Generation with Structured Noise Space GAN
University of Kaiserslautern-Landau（凯泽斯劳滕-兰道大学）；IAV GmbH（IAV有限公司）；DFKI GmbH（德国人工智能研究中心有限公司）
本文提出SNS-GAN，通过将类条件嵌入生成器噪声空间，实现无需结构修改的类条件图像与时间序列生成，并在时间序列生成上优于基线模型。
2023-12-20 cs.LG stat.ML
Scalable Learning in Reproducing Kernel Krein Spaces
King’s College London（伦敦国王学院）；University of Nottingham（诺丁汉大学）
我们提供了第一个数学上完整的推导的Nyström方法的低秩近似的不定内核，并提出了一个有效的方法，找到一个近似的特征分解这样的内核矩阵。在此基础上，我们设计了高度可扩展的方法来学习再生核Kre \u <$n空间。所设计的方法提供了一个原则和理论上有充分依据的手段来解决大规模的学习问题与不确定的内核。我们工作的主要动机来自于结构化表示的问题（例如，图形、字符串、时间序列），其中相对容易基于领域专家的直觉和/或知识来设计成对（DIS）相似性函数。这些函数通常不是正定的，并且通常远远超出实践者的专业知识来验证这种情况。设计的方法的有效性进行评估经验上使用结构化和矢量数据表示定义的不确定内核。
2019-05-30 cs.LG stat.ML
Heterogeneous Relational Kernel Learning
Booz Allen Hamilton（博思艾伦咨询公司）；University of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）
最近的工作已经开发了贝叶斯方法，用于自动统计分析和描述单个时间序列以及同质的时间序列数据集。我们扩展了以前的工作，为异构时间序列创建一个可解释的内核嵌入。我们的方法增加了几乎没有计算成本相比，以前的结果，利用以前丢弃的中间结果。我们展示了我们的方法的实际效用，利用学习嵌入聚类，模式发现和异常检测。这些应用超出了先前的关系核学习方法的能力。
2019-08-24 cs.LG stat.ML
An Unsupervised Multivariate Time Series Kernel Approach for Identifying Patients with Surgical Site Infection from Blood Samples
UiT The Arctic University of Norway（挪威北极大学）；Universidad Rey Juan Carlos（胡安·卡洛斯国王大学）；University Hospital of North Norway (UNN)（挪威北部大学医院）
电子健康记录的很大一部分由随时间收集的临床测量结果组成，例如血液测试，其提供关于患者健康状况的重要信息。这些临床测量序列自然地表示为时间序列，其特征在于多个变量和缺失数据的存在，这使分析复杂化。在这项工作中，我们提出了一个手术部位感染检测框架，用于接受结肠直肠癌手术的患者，该框架完全不受监督，从而缓解了获取标记训练数据的问题。该框架基于多变量时间序列的强大内核，该内核在计算相似性时考虑了缺失数据。我们的方法表现出优越的性能相比，基线，必须诉诸插补技术，并执行监督分类基线。
2018-03-21 cs.LG stat.ML
A Kernel to Exploit Informative Missingness in Multivariate Time Series from EHRs
UiT The Arctic University of Norway（挪威北极大学）；University Hospital of North-Norway（挪威北部大学医院）；Rey Juan Carlos University（雷·胡安·卡洛斯大学）
电子健康记录（EHR）的很大一部分由随时间收集的临床测量结果组成，例如实验室测试和生命体征，这些测量结果提供了有关患者健康状况的重要信息。这些临床测量序列自然地表示为时间序列，其特征在于多个变量和大量缺失数据，这使得分析复杂化。在这项工作中，我们提出了一种新的内核，这是能够利用从观测值的信息，以及信息隐藏在丢失的模式，在多变量时间序列（MTS）起源，例如从EHR。内核，称为TCK $_{IM}$，设计使用集成学习策略，其中的基础模型是新的混合模式贝叶斯混合模型，可以有效地利用信息缺失，而不必诉诸于填补方法。此外，集成方法确保了对超参数的鲁棒性，因此TCK $_{IM}$特别适合缺乏标签的情况-这是医学应用中的一个已知挑战。三个真实世界的临床数据集上的实验证明了所提出的核的有效性。
2020-02-27 cs.LG stat.ML
Random Warping Series: A Random Features Method for Time-Series Embedding
IBM Research（IBM研究院）；Carnegie Mellon University（卡内基梅隆大学）；College of William and Mary（威廉与玛丽学院）；University of Texas at Austin（得克萨斯大学奥斯汀分校）
几十年来，时间序列数据分析一直是人们感兴趣的问题，而动态时间弯曲（DTW）一直是最广泛采用的技术来衡量时间序列之间的差异。此后，在DTW的精神下，提出了许多全局对齐内核，以将其使用扩展到基于内核的估计方法，例如支持向量机。然而，这些内核遭受对角优势的革兰氏矩阵和二次复杂性w.r.t.样本量。在这项工作中，我们研究了一个家庭的感知正定（p. d.）核，其特征嵌入由\emph{Random Warping Series (RWS)}的分布给出。所提出的核不受对角优势的问题，而自然享有\emph{Random Features}（RF）的近似，这降低了现有的基于DTW的技术的计算复杂性从二次到线性的时间序列的数量和长度。我们还研究了无界长度时间序列域的RF逼近的收敛性。我们在16个基准数据集上进行的大量实验表明，RWS在准确性和计算时间方面优于或匹配最先进的分类和聚类方法。我们的代码和数据可在{ \url{https://github.com/IBM/RandomWarpingSeries} }获得。
2018-09-14 cs.LG stat.ML
Efficient Kernel-based Subsequence Search for User Identification from Walking Activity
University of Milano-Bicocca（米兰比可卡大学）
本文提出了一种有效的数据流子序列搜索方法。这个问题在于确定一个给定的参考时间序列，最终多变量，在一个较长的数据流的相干重复。动态时间规整（DTW）是实现模式查询最广泛使用的度量，但其计算复杂性是一个众所周知的问题。在本文中，我们提出了一种方法，旨在学习能够近似DTW的内核，用于有效地分析从可穿戴传感器收集的流数据，减少计算负担。与内核相反，DTW允许比较不同长度的时间序列。因此，为了使用内核，使用特征嵌入来将时间序列表示为固定长度的向量。每个向量分量是给定时间序列和一组“基”序列（通常是随机选择的）之间的DTW。向量大小是用于特征嵌入的基序列的数量。搜索最小化具有参考子序列的DTW的数据流的部分导致全局优化问题。所提出的方法已在一个基准数据集上进行了验证，该数据集与根据步行活动识别用户有关。还提供了与传统DTW实现的比较。
2019-07-16 cs.LG stat.ML
Multiple-Kernel Dictionary Learning for Reconstruction and Clustering of Unseen Multivariate Time-series
CITEC cluster of excellence（CITEC卓越集群）；Bielefeld University（比勒费尔德大学）
存在许多方法用于描述和识别数据集中的不可见类。然而，当我们处理多变量时间序列（MTS）（例如，运动数据），其中我们不能将矢量算法直接应用于输入。在这项工作中，我们提出了一种新的多核字典学习（MKD），学习语义属性的MTS维度在特征空间中的特定组合的基础上。因此，MKD可以基于训练数据（可见类）完全/部分地重建不可见类。此外，我们获得稀疏编码看不见的类的基础上学习的MKD属性，并在此基础上，我们提出了一个简单而有效的增量聚类算法来分类看不见的MTS类在无监督的方式。根据我们的MKD框架在真实基准上的经验评估，它提供了一个不可见MTS数据的可解释的重建以及关于其在线聚类的高性能。
2019-03-12 cs.LG stat.ML
Analyzing high-dimensional time-series data using kernel transfer operator eigenfunctions
Freie Universität Berlin（柏林自由大学）；Paderborn University（帕德博恩大学）
核转移算子，可以被视为再生核希尔伯特空间中的Perron-Frobenius或Koopman算子等转移算子的近似，根据协方差和互协方差算子定义，并且已被证明与机器学习社区开发的条件均值嵌入框架密切相关。本文的目标是展示如何结合基于梯度的优化技术，这些运营商的主导特征函数可以用来检测长寿命的相干模式在高维时间序列数据。将使用视频数据和流体流动示例来说明结果。
2018-05-16 cs.LG math.OC stat.ML
Autoregressive Kernels For Time Series
在这项工作中，我们提出了一个新的家庭的内核可变长度的时间序列。我们的工作建立在多元随机过程的向量自回归（VAR）模型的基础上：给定一个多元时间序列x，我们考虑VAR模型中不同参数θ的似然函数p θ（x）作为描述x的特征。为了比较两个时间序列x和x '，我们形成它们的特征p_θ（x）p_θ（x'）的乘积，该乘积使用矩阵正态-逆Wishart先验对t θ进行积分。在其他属性中，当时间序列的维度d比所考虑的时间序列x和x '的长度大得多时，可以容易地计算该核。它也可以推广到在任意状态空间中取值的时间序列，只要状态空间本身被赋予一个核κ。在这种情况下，x和x'之间的核是由κ在x和x'中枚举的观测和观测的连续性上产生的格拉姆矩阵的函数。我们描述了一个计算效率的实现，使用低秩矩阵分解技术的推广。这些内核相比，其他已知的内核使用一组基准分类任务进行支持向量机。
2011-01-04 stat.ML
Omni-Scale CNNs: a simple and effective kernel size configuration for time series classification
Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）；Google（谷歌）；University of Washington（华盛顿大学）；University of Maryland, College Park（马里兰大学帕克分校）
接收场（RF）的大小一直是一维卷积神经网络（1D-CNN）在时间序列分类任务中最重要的因素之一。人们已经做出了很大的努力来选择合适的大小，因为它对性能有很大的影响，并且对于每个数据集都有很大的不同。在本文中，我们提出了一个用于1D-CNN的Omni-Scale块（OS块），其中内核大小由一个简单而通用的规则决定。特别地，它是一组内核大小，可以通过根据时间序列的长度由多个素数组成来有效地覆盖不同数据集的最佳RF大小。实验结果表明，具有OS块的模型可以实现与具有搜索到的最佳RF大小的模型相似的性能，并且由于强大的最佳RF大小捕获能力，具有OS块的简单1D-CNN模型在四个时间序列基准上实现了最先进的性能，包括来自多个域的单变量和多变量数据。全面的分析和讨论揭示了为什么OS块可以在不同的数据集上捕获最佳的RF大小。代码可用[https：//github.com/Wensi-Tang/OS-CNN]
2022-06-17 cs.LG stat.ML
Time series cluster kernels to exploit informative missingness and incomplete label information
UiT The Arctic University of Norway（挪威北极大学）；University Hospital of North Norway（北挪威大学医院）；Universidad Rey Juan Carlos（胡安·卡洛斯国王大学）
时间序列聚类核（TCK）为分析具有缺失数据的多元时间序列提供了一个强有力的工具。TCK是使用集成学习方法设计的，其中贝叶斯混合模型形成基础模型。由于贝叶斯方法，TCK可以自然地处理缺失值，而无需诉诸于插补，并且集成策略确保了对超参数的鲁棒性，使其特别适合于无监督学习。然而，TCK假设随机缺失，并且潜在的缺失机制是可验证的，即无信息的，这一假设在许多现实世界的应用中不成立，例如医学。为了克服这一限制，我们提出了一个内核，能够利用潜在的丰富信息的缺失值和模式，以及从观察到的数据的信息。在我们的方法中，我们创建了一个表示的缺失模式，这是纳入混合模式的混合模型，以这样一种方式，由缺失模式提供的信息被有效地利用。此外，我们还提出了一个半监督核，能够利用不完整的标签信息来学习更准确的相似性。基准数据上的实验，以及纵向电子健康记录数据所描述的可能患有医院获得性感染的患者的真实案例研究，证明了所提出的方法的有效性。
2019-07-10 cs.LG stat.ML
Diffusion-based Time Series Imputation and Forecasting with Structured State Space Models
Oldenburg University（奥尔登堡大学）
本文提出SSSD模型，结合条件扩散模型与结构化状态空间模型，用于时间序列插补与预测，在多种缺失场景下达到或超越最先进性能，包括黑障缺失场景。
2023-05-06 cs.LG stat.ML
Time series kernel similarities for predicting Paroxysmal Atrial Fibrillation from ECGs
Università della Svizzera italiana（瑞士意大利语大学）；UiT the Arctic University of Norway（挪威北极大学）；TU Wien（维也纳技术大学）；University of Exeter（埃克塞特大学）
我们解决了分类心电图（ECG）信号的问题，目的是预测阵发性心房颤动（PAF）的发作。房颤是最常见的心律失常类型，但在许多情况下，PAF发作是无症状的。因此，为了帮助诊断PAF，重要的是设计检测和更重要的是预测PAF发作的程序。我们提出了一种预测PAF事件的方法，其第一步包括一个特征提取过程，表示每个ECG作为一个多变量的时间序列。接下来，我们设计了一个基于核相似性的多变量时间序列分类框架，能够处理缺失数据。我们考虑不同的方法来执行分类的多变量时间序列的原始空间中，并在嵌入空间中，定义的内核相似性度量。我们实现了与最先进的方法相媲美的分类精度，具有提前15分钟检测PAF发作的额外优势。
2018-04-04 cs.LG eess.SP stat.ML
Emotional Expression Classification using Time-Series Kernels
Eötvös Loránd University（罗兰大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）
人脸表情的估计，作为时空过程，可以利用核方法，如果一个人考虑面部标志的位置和它们在3D空间中的运动。我们应用支持向量分类与内核来自动态时间规整相似性措施。我们仅使用标记点向量的PCA压缩表示的“运动模式”（即所谓的形状参数）实现了超过99%的准确性（通过ROC曲线下面积测量）。除了完整运动模式的分类之外，在从它们开始的5-6帧（大约200毫秒）内，以超过90%的准确度识别了若干表情。
2013-06-08 cs.CV cs.LG stat.ML
Fast nonparametric clustering of structured time-series
University of Sheffield（谢菲尔德大学）；University of Manchester（曼彻斯特大学）
在本出版物中，我们结合了两个贝叶斯非参数模型：高斯过程（GP）和狄利克雷过程（DP）。我们在GP模型中的创新是引入GP先验的变化，使我们能够对结构化时间序列数据进行建模，即包含我们希望对组间和组内变异性进行建模的组的数据。我们在DP模型中的创新是一种新的快速折叠变分推理过程的实现，它使我们能够比标准VB方法更快地优化变分逼近。在生物时间序列应用中，我们展示了我们的模型如何更好地捕捉数据的显著特征，从而与现有的生物分类保持更好的一致性，而相关的推理算法提供了基于EM的变分推理的两倍加速。
2014-04-14 cs.CV cs.LG stat.ML
QuaCK-TSF: Quantum-Classical Kernelized Time Series Forecasting
Université de Sherbrooke（谢布鲁克大学）；Polytechnique Montréal（蒙特利尔理工学院）；Thales Digital Solutions（泰雷兹数字解决方案公司）；Institut Quantique（量子研究所）
本文提出QuaCK-TSF方法，结合高斯过程回归与量子模型核视角，利用Ising相互作用启发的量子特征图和无梯度贝叶斯优化，实现了具有竞争力的量子核化概率时间序列预测。
2024-08-21 cs.AI cs.LG stat.ML
ShortFuse: Biomedical Time Series Representations in the Presence of Structured Information
在医疗保健应用中，对运动、健康状态和纵向患者演变进行编码的时间变量通常伴随有丰富的结构化信息，例如人口统计、诊断和医学检查数据。然而，目前的方法不联合优化结构化协变量和时间序列的特征提取过程中。我们提出了Shortstage，这是一种通过显式建模时间交互和结构化协变量的依赖关系来提高深度学习模型对时间序列的准确性的方法。Shortcycle引入了混合卷积和LSTM单元，这些单元通过在时域上共享的权重来合并协变量。在两个生物医学应用中，Shortcut的表现优于竞争模型3%，预测骨关节炎相关的软骨退化和预测脑瘫患者的手术结果，匹配或超过使用领域专家设计的功能的模型的准确性。
2017-05-16 stat.ML
Privacy Amplification by Structured Subsampling for Deep Differentially Private Time Series Forecasting
Technical University of Munich \& Munich Data Science Institute；Machine Learning Research, Morgan Stanley
针对DP-SGD与时间序列预测不兼容的问题，提出结构化子采样实现隐私放大，支持训练具有严格事件级和用户级隐私保证的预测模型，并证明数据增强可进一步放大隐私。
2025-08-04 cs.CR cs.LG stat.ML
Learning compressed representations of blood samples time series with missing data
UiT the Arctic University of Norway（挪威北极大学）
随时间收集的临床测量结果自然表示为多变量时间序列（MTS），其中通常包含缺失数据。自动编码器可以学习MTS的低维向量表示，其保留重要的数据特征，但不能显式地处理丢失的数据。在这项工作中，我们提出了一个新的框架，结合了自动编码器的时间序列聚类内核（TCK），内核，占MTS中的缺失模式。通过内核对齐，我们将TCK纳入自动编码器中，以在存在丢失数据的情况下改进学习的表示。我们认为MTS的分类问题与缺失值，代表血液样本的手术部位感染的患者。使用我们的方法，而不是使用标准的自动编码器，我们学习可以更好地分类的低维表示。
2017-10-20 cs.LG cs.NE stat.ML
Time Series Clustering With Random Convolutional Kernels
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；UC3M-Santander Big Data Institute（马德里卡洛斯三世大学-桑坦德大数据研究所）
本文提出 R-Clustering 方法，利用随机参数卷积架构进行时间序列聚类，在 UCR 数据集上验证其在聚类精度、计算效率和可扩展性方面优于现有方法。
2023-07-06 cs.LG
A Large Deviation Inequality for $β$-mixing Time Series and its Applications to the Functional Kernel Regression Model
本文给出了一个新的随机变量和的大偏差不等式：$Z_k = f(X_k,X_t)$对于$k,t\in \mathbb{N}$，$t$固定，其中基本过程$X$是$β$ -混合.该不等式可用于导出浓度不等式。我们在Ferraty等人（2007）的函数核回归模型中证明了它的有用性，我们研究了动态预测的一致性。
2017-07-04 math.ST stat.TH
On the Use of Time Series Kernel and Dimensionality Reduction to Identify the Acquisition of Antimicrobial Multidrug Resistance in the Intensive Care Unit
Rey Juan Carlos University（胡安·卡洛斯国王大学）；University Hospital of Fuenlabrada（富恩拉夫拉达大学医院）；University Hospital of North-Norway（北挪威大学医院）；UiT The Arctic University of Norway（挪威北极大学）
重症监护病房（ICU）患者获得抗菌药物多药耐药性（AMR）是全球关注的主要问题。本研究以多变量时间序列（MTS）的形式分析了2004年至2020年在Fuenlabrada大学医院（马德里）ICU记录的3476例患者的数据。18%的患者在ICU期间发生AMR。本文的目标是对AMR的发展进行早期预测。为此，我们利用时间序列聚类内核（TCK）来学习MTS之间的相似性。为了评估TCK作为内核的有效性，我们应用了几种降维技术进行可视化和分类任务。实验结果表明，TCK可以识别一组在ICU住院的前48小时内获得AMR的患者，并且它还提供了良好的分类能力。
2021-07-07 cs.LG physics.med-ph q-bio.PE
Kernel-based Joint Independence Tests for Multivariate Stationary and Non-stationary Time Series
本文扩展 dHSIC，提出适用于平稳与非平稳多元时间序列的基于核的联合独立性检验，并通过重采样在合成及真实数据中验证其高阶依赖发现能力。
2023-11-02 math.ST stat.AP stat.ME
Fast Graph Condensation with Structure-based Neural Tangent Kernel
The Hong Kong Polytechnic University（香港理工大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
针对大规模图浓缩中双层优化计算昂贵的问题，本文提出 GC-SNTK 框架，利用基于结构的神经正切核将问题转化为核岭回归，从而显著加速并保持 GNN 预测性能。
2024-03-01 cs.AI cs.LG
The autoregression bootstrap for kernel estimates of smooth nonlinear functional time series
函数时间序列已成为函数数据和时间序列分析的一个组成部分。本文研究了一阶泛函自回归模型和光滑函数的自回归自助法。在Ferraty和Vieu [2004]和Ferraty等人[2007]开发的框架中估计回归算子，该框架在这里扩展到双函数情况下，假设可以追溯到Laib和Louani [2010]的平稳遍历数据。本文的主要结果是自举回归算子的渐近相合性的刻画。
2018-11-15 math.ST stat.TH
Operator-theoretic framework for forecasting nonlinear time series with kernel analog techniques
核模拟预测（KAF），也称为核主成分回归，是一种用于动态生成的时间序列数据的非参数统计预测的核方法。本文综合了核方法和Koopman算子理论的描述，以提供一个单一的一致的帐户KAF。这里提出的框架阐明了KAF方法的性质，即在保持测量和遍历动力学的情况下，它始终近似于由动力系统的Koopman算子作用的观测量的条件期望，并且在预测初始化时以观测数据为条件。更准确地说，KAF产生最佳的预测，在这个意义上的最小均方根误差相对于不变测度，在大数据的渐近极限。此外，所提出的框架有利于分析泛化误差和量化的不确定性。KAF的条件方差和条件概率函数的建设，以及非对称核的扩展，也示出。KAF的各个方面的说明提供了应用程序的简单的例子，即周期性的循环和混沌洛伦兹63系统的流量。
2020-03-14 math.ST physics.data-an stat.TH
Learning Kernels for Structured Prediction using Polynomial Kernel Transformations
Rutgers University（罗格斯大学）
学习核方法中使用的核函数一直是机器学习中广泛探索的领域。现在人们普遍认为，要获得“好”的性能，学习核函数是关键的挑战。在这项工作中，我们专注于学习结构化回归的内核表示。我们建议使用多项式展开的内核，被称为勋伯格变换和Gegenbaur变换，这是从勋伯格（1938年）的开创性成果。这些核可以被认为是高维再生核希尔伯特空间（RKHS）中输入特征的多项式组合。我们通过结构化数据的输入和输出来学习内核，从而最大化内核特征之间的依赖性。我们使用Hilbert-Schmidt独立准则（HSIC）来衡量这一点。我们还给出了一个有效的，基于矩阵分解的算法来学习这些内核转换，并在几个真实世界的数据集上展示了最先进的结果。
2016-01-07 cs.LG stat.ML
Online Change Detection in SAR Time-Series with Kronecker Product Structured Scaled Gaussian Models
本文利用Kronecker积结构尺度高斯模型的信息几何，提出基于递归黎曼梯度下降的在线变化检测算法，在保持恒定计算成本的同时达到固有Cramér-Rao界，并在仿真与真实数据上验证了有效性。
2023-12-05 stat.AP stat.ME
Conditional Cauchy-Schwarz Divergence for Time Series Analysis: Kernelized Estimation and Applications in Clustering and Fraud Detection
本文提出了一种基于核化的条件柯西-施瓦茨散度估计方法，用于时序分析中的聚类和欺诈检测，通过改进的核技巧和稳健带宽选择提升模型性能。
2026-01-09 stat.ME
Kernel-based Prediction of Non-Markovian Time Series
提出了一种预测部分观测动力学非马尔可夫时间序列的非参数方法。我们考虑的预测问题是一个有监督的学习任务，找到一个回归函数，需要一个延迟嵌入可观察到的可观察到的未来时间。当延迟嵌入理论适用时，所提出的回归函数是由延迟嵌入引起的流图的相合估计量。此外，相应的Mori-Zwanzig方程管理的可观察的演变简化到只有一个马尔可夫项，表示的回归函数。我们实现了这种监督学习任务与一类基于核的线性估计，核模拟预测（KAF），这是一致的大数据的限制。在高维协变量空间的情况下，我们采用马尔可夫核平滑方法，这是计算成本比Nyström投影方法实现KAF。除了保证理论收敛性，我们数值证明了这种方法在高维问题上的有效性，在高维问题中，相关的内核特征难以用Nyström方法捕获。对于有噪声的训练数据，我们提出了一种非参数平滑器作为去噪方法。在数值上，我们表明，所提出的平滑是更准确的比EnKF和4Dvar在去噪信号被独立的（但不一定是相同分布的）噪声破坏，即使平滑是使用被白噪声破坏的数据集构建的。我们显示出熟练的预测使用KAF构造的去噪数据。
2021-01-12 math.DS physics.data-an stat.ME
Kernel Interpolation for Scalable Structured Gaussian Processes (KISS-GP)
Carnegie Mellon University（卡内基梅隆大学）；Philips Research Hamburg（飞利浦汉堡研究院）
我们引入了一个新的结构化核插值（SKI）框架，该框架推广和统一了可伸缩高斯过程（GP）的诱导点方法。SKI方法通过核插值产生用于快速计算的核近似。SKI框架阐明了诱导点方法的质量如何取决于诱导（又名插值）点的数量、插值策略和GP协方差核。SKI还提供了一种机制，通过选择不同的内核插值策略来创建新的可扩展内核方法。使用SKI和局部三次内核插值，我们引入了KISS-GP，它1）比诱导点替代方案更具可扩展性，2）自然地使Kronecker和Toeplitz代数在可扩展性方面获得了实质性的额外增益，而不需要任何网格数据，3）可用于快速和富有表现力的内核学习。KISS-GP的时间复杂度为O（n）。我们评估KISS-GP的核矩阵近似，核学习和自然声音建模。
2015-03-03 cs.LG stat.ML
A Generalized Kernel Approach to Structured Output Learning
Université d’Aix-Marseille（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧分所）；Université de Lille（里尔大学）；INRIA（法国国家信息与自动化研究所）
我们从回归的角度研究结构化输出学习问题。首先，我们提供了一个一般的配方的内核依赖估计（KDE）的问题，使用运营商值的内核。我们表明，这个问题的一些现有的配方是我们的框架的特殊情况。然后，我们提出了一个基于协方差的算子值内核，使我们能够考虑到内核特征空间的结构。该内核在输出空间上操作，并对输出之间的交互进行编码，而不参考输入空间。为了解决这个问题，我们引入了一个基于条件协方差算子的KDE方法的变体，除了输出之间的相关性之外，还考虑了输入变量的影响。最后，我们评估我们的KDE方法使用协方差和条件协方差内核对两个结构化输出问题的性能，并将其与最先进的基于内核的结构化输出回归方法进行比较。
2015-07-15 cs.LG stat.ML
A general white noise test based on kernel lag-window estimates of the spectral density operator
我们提出了一个通用的功能时间序列的白噪声测试的基础上估计之间的距离的谱密度算子的弱平稳时间序列和恒定的谱密度算子的不相关的时间序列。我们提出的估计是基于核滞后窗口型估计的谱密度算子。当观测到的时间序列是实可分希尔伯特空间中的强白噪声时，证明了检验统计量的渐近分布是标准正态的，并进一步证明了一般序列相关时间序列的检验统计量是发散的.这些结果恢复了Hong（1996）和Horváth等人（2013）的结果。为了实现测试，我们提出并研究了一些内核和带宽的选择，包括一个新的数据自适应带宽，以及数据自适应功率变换的检验统计量，提高了正常的近似在有限样本。仿真研究表明，所提出的方法具有良好的规模和提高功率相比，在文献中的其他方法，同时也提供了一个轻的计算负担。
2018-09-28 math.ST stat.TH
A Bayesian Model for Forecasting Hierarchically Structured Time Series
任何大型组织的一项重要任务是准备关键绩效指标的预测。通常，这些组织是以层级方式构建的，并且出于操作原因，这些指标的预测可能已经由专注于业务中某些领域的专家在层级的每个级别上彼此独立地获得。不能保证这些总量在合并后将与直接在层次结构的其他各级产生的预测一致。我们提出了一个贝叶斯分层方法，将初始预测作为观测数据，然后结合先验信息和历史预测精度来推断修正预测的概率分布。当用于创建点估计值时，此方法可以反映对层次结构中特定级别的更高精度的偏好。我们提出了模拟和真实的数据研究，以证明当我们的方法在改进的推论替代方法的结果。
2017-11-13 stat.AP
Convolutional Kernel Networks for Graph-Structured Data
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；Univ. Lyon（里昂大学）；Université Lyon 1（里昂第一大学）
我们介绍了一个家庭的多层图核，并建立新的联系图卷积神经网络和核方法。我们的方法将卷积核网络推广到图结构数据，通过将图表示为一系列内核特征映射，其中每个节点都携带有关局部图子结构的信息。一方面，内核的观点提供了一个无监督的，富有表现力的，易于正则化的数据表示，这是有用的，当有限的样本可用。另一方面，我们的模型也可以在大规模数据上进行端到端的训练，从而产生新型的图卷积神经网络。我们表明，我们的方法在几个图分类基准上实现了有竞争力的性能，同时提供了简单的模型解释。我们的代码可以在https://github.com/claying/GCKN上免费获得。
2020-06-29 cs.LG stat.ML
Deep Sketched Output Kernel Regression for Structured Prediction
LTCI, Télécom Paris（电信巴黎理工学院 LTCI 实验室）；IP Paris（巴黎理工学院）；University of Milan（米兰大学）
本文提出深度草图输出核回归，用随机近似核协方差算子的特征函数构造有限维输出子空间，使神经网络可借助核诱导损失和梯度下降完成结构化预测。
2024-06-13 cs.LG stat.ML
Sketch In, Sketch Out: Accelerating both Learning and Inference for Structured Prediction with Kernels
Télécom Paris（巴黎电信学院）；CentraleSupélec（中央理工-高等电力学院）；University of Milan（米兰大学）
本文提出用草图化近似同时处理输入和输出核，以加速代理核方法在结构化预测中的训练与推理，并证明其理论风险界和实际可扩展性。
2024-05-06 cs.LG stat.ML
Scalable Learning of Determinantal Point Processes with Kernel-Structured Interactions
ZOZO Research Institute（ZOZO研究所）
本研究针对行列式点过程（DPPs）学习中表达能力与计算可扩展性的权衡问题，提出结合非线性核与随机特征的方法，在真实数据集上实现了更优泛化与参数效率。
2026-10-12 cs.LG stat.ML
Structured Sparsity and Generalization
UCL（伦敦大学学院）
我们提出了一个数据相关的推广界的一大类正则化算法，实现结构化稀疏约束。该界可以应用于标准的平方范数正则化，Lasso，群Lasso，具有重叠群的群Lasso的某些版本，多核学习和其他正则化方案。在所有这些情况下，都获得了有竞争力的结果。我们的界限的一个新的特点是，它可以应用于一个无限维的设置，如Lasso在一个可分离的希尔伯特空间或多核学习与可数数量的内核。
2011-09-02 cs.LG stat.ML
Reservoir Computing meets Recurrent Kernels and Structured Transforms
Ecole Normale Supérieure（巴黎高等师范学院）；Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；Université de Paris（巴黎大学）；Collège de France（法兰西公学院）；LightOn（LightOn公司）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
水库计算是一类简单而有效的递归神经网络，其中内部权重是随机固定的，并且只训练线性输出层。在大规模的限制下，这种随机神经网络与核方法有很深的联系。我们的贡献有三个方面：a）严格地建立了水库计算的递归核极限，并证明了它的收敛性。b）我们在混沌时间序列预测上测试了我们的模型，这是水库计算中的一个经典但具有挑战性的基准，并展示了当数据点的数量保持适度时，递归核是如何具有竞争力和计算效率的。c）当样本数量太大时，我们通过引入结构化水库计算来利用结构化随机特征的成功进行核近似。提出的两种方法，递归核和结构化水库计算，原来是更快，更节省内存比传统的水库计算。
2020-10-21 cs.LG eess.SP stat.ML
Neural Optimization Kernel: Towards Robust Deep Learning
Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）
深度神经网络（NN）在许多应用中取得了巨大的成功。然而，为什么深度神经网络在过度参数化状态下获得良好的泛化能力仍然不清楚。为了更好地理解深度NN，我们建立了深度NN和一个新的内核家族之间的联系，即，神经优化内核（NOK）。NOK的结构化近似的架构执行隐式正则化问题的单调下降更新。我们可以通过使用不同的激活函数来隐式地选择正则化问题，例如，ReLU、最大池化和软阈值。我们进一步建立了一个新的泛化界，我们的深度结构近似NOK架构。我们的无监督结构化近似NOK块可以作为一个简单的插件流行的骨干，对输入噪声的良好推广。
2021-12-01 cs.LG stat.ML
The Price of Linear Time: Error Analysis of Structured Kernel Interpolation
University of Torontoland（多伦多兰大学）；University of Edenborrow（埃登伯勒大学）
本文对结构化核插值（SKI）进行严格误差分析，给出Gram矩阵误差界及诱导点数量选择指南，并揭示维度对线性时间与精度权衡的支配规律。
2025-02-04 cs.LG stat.ML
Variable Selection for Nonparametric Learning with Power Series Kernels
RIKEN（理化学研究所）；Nagoya Institute of Technology（名古屋工业大学）；Nagoya University（名古屋大学）；Tokyo Institute of Technology（东京工业大学）
本文提出了一般非参数核估计的变量选择方法。该方法包括两步估计：（1）构造目标函数的相合估计量，（2）用较少的变量用l1-型惩罚估计逼近估计量。我们看到，所提出的方法可以应用于各种核非参数估计，如核岭回归，基于核的密度和密度比估计。证明了当采用幂级数核时，该方法具有变量选择一致性的性质。这一结果被认为是非负绞喉估计的变量选择相合性在核估计中的推广。仿真研究和实际数据应用表明了该方法的有效性。
2018-12-04 cs.LG stat.ML
Online Multiple Kernel Learning for Structured Prediction
尽管最近在有效的多核学习（MKL）方面取得了进展，但结构化输出的情况仍然是一个开放的研究前沿。目前的方法涉及重复解决批量学习问题，这使得它们不适合大规模场景。我们提出了一个新的家庭的在线邻近算法MKL（以及组套索及其变体），克服了这一缺点。我们的遗憾，收敛性和泛化界所提出的方法。手写体识别和依存句法分析实验证明了该方法的有效性。
2010-10-13 stat.ML
New Equivalences Between Interpolation and SVMs: Kernels and Structured Features
School of Electrical and Computer Engineering, Georgia Institute of Technology（佐治亚理工学院电子与计算机工程系）；Institute of Mathematics, EPFL（瑞士联邦理工学院数学学院）；School of Industrial & Systems Engineering, Georgia Institute of Technology（佐治亚理工学院工业与系统工程系）
本文探讨了插值与支持向量机之间的等价关系，通过灵活的分析框架证明了在任意再生核希尔伯特空间中，SVP现象在多种生成模型下成立，并推导了核SVM分类的新型泛化结果。
2023-05-03 cs.LG stat.ML
Index Set Fourier Series Features for Approximating Multi-dimensional Periodic Kernels
School of Information Technologies, The University of Sydney（悉尼大学信息技术学院）；The University of Sydney（悉尼大学）
周期性经常在时间序列建模中使用自回归方法进行研究，但在内核文献中不太受欢迎，特别是对于更高维的问题，如纹理，晶体学和量子力学。大型数据集通常使得建模周期性对于其他强大的非参数方法（如高斯过程（GP））来说是站不住脚的，高斯过程（GP）通常会产生$\mathcal{O}(N^3)$计算负担，因此无法扩展到更大的数据集。为此，我们引入了一种称为\emph{Index Set Fourier Series Features}的方法，可追溯地利用多元傅立叶级数，并有效地将高维数据的周期核分解成一系列的基函数。我们表明，我们的近似产生显着更少的预测误差比替代方法，如基于随机傅立叶特征，并实现更好的概括与周期性数据的回归问题。
2018-05-14 cs.LG stat.ML
Structured Kernel Regression VAE: A Computationally Efficient Surrogate for GP-VAEs in ICA
Hong Kong Polytechnic University（香港理工大学）
为解决GP-VAE在独立成分分析中计算成本高的问题，提出SKR-VAE模型，通过避免核矩阵求逆在保持性能的同时显著提升计算效率。
2025-08-13 cs.LG stat.ML
AutoPrognosis: Automated Clinical Prognostic Modeling via Bayesian Optimization with Structured Kernel Learning
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Alan Turing Institute（艾伦·图灵研究所）
从大规模医疗数据中获得的临床预后模型可以为关键的诊断和治疗决策提供信息。为了使机器学习（ML）在预后研究中的离线使用成为可能，我们开发了AUTOPROGNOSIS：一种用于自动设计为临床预后量身定制的预测建模管道的系统。AUTOPROGNOSIS使用一种新的批处理贝叶斯优化（BO）算法有效地优化了管道配置的集合，该算法在BO过程的同时学习管道高维超参数空间的低维分解。这是通过将管道性能建模为具有高斯过程先验的黑盒函数，并通过具有Dirichlet先验的稀疏加性核来建模管道基线算法之间的相似性来实现的。元学习用于通过使用模拟经验贝叶斯方法的算法校准先验来用来自类似患者队列的外部数据暖启动BO。该系统通过向临床医生提供逻辑关联规则来自动解释其预测，这些规则将患者特征与预测的风险层联系起来。我们使用10个代表心血管患者护理各个方面的主要患者队列来证明AUTOPROGNOSIS的效用。
2018-02-20 cs.LG stat.ML
Large-scale magnetic field maps using structured kernel interpolation for Gaussian process regression
Delft University of Technology（代尔夫特理工大学）
本文提出将带导数的结构化核插值（D-SKI）引入标量势磁场模型，以线性复杂度实现大规模室内磁场地图的高效构建，在精度和速度上均优于现有方法。
2023-10-25 cs.LG stat.ML
