Systematic Generalization in Neural Networks-based Multivariate Time Series Forecasting Models
University of Washington(华盛顿大学);TCS Research(塔塔咨询服务公司研究院)
系统泛化的目的是评估从已知成分中对新组合的推理,这是人类认知的内在属性。在这项工作中,我们研究了系统的泛化神经网络预测未来的时间序列的因变量的动力系统,条件是过去的时间序列的因变量,过去和未来的控制变量。我们专注于系统的泛化,其中基于NN的预测模型应该在有限的一组可能的制度上训练后,在以前看不见的控制变量组合或制度上表现良好。对于描述这种分布外泛化的NN,它们应该能够理清控制变量和因变量之间的各种依赖关系。我们假设,一个模块化的NN架构指导下的控制变量的独立性作为一个潜在的有用的归纳偏见,为此。通过对玩具数据集和模拟电动机数据集进行广泛的实证评估,我们表明,我们提出的模块化NN架构可以作为一种简单而高效的归纳偏差,与标准NN相比,它可以更好地预测因变量到大范围,并且确实捕获了因变量和控制变量之间的真实依赖关系。
2021-03-07 cs.AI cs.LG cs.RO
GP-ConvCNP: Better Generalization for Convolutional Conditional Neural Processes on Time Series Data
German Cancer Research Center(德国癌症研究中心)
神经过程(Neural Processes,NP)是一系列条件生成模型,它们能够对函数上的分布进行建模,从而允许它们在测试时以多个上下文点为条件进行预测。最近加入这个家族的卷积条件神经过程(ConvCNP)在性能上比现有技术有了显着的改进,但我们发现它们在应用于时间序列数据时有时很难推广。特别是,它们对分布偏移不稳健,并且无法将观察到的模式外推到未来。通过将高斯过程纳入模型,我们能够弥补这一点,同时提高分布内的性能。作为一个额外的好处,高斯过程重新引入了从模型中采样的可能性,这是NP家族其他成员的一个关键特征。
2021-06-11 cs.AI cs.LG stat.ML
ASAT: Adaptively Scaled Adversarial Training in Time Series
Peking University(北京大学);Mizuho Securities Co., Ltd(瑞穗证券株式会社)
对抗性训练是一种增强神经网络以提高对抗性样本的鲁棒性的方法。对抗训练除了可以解决潜在对抗样本的安全问题外,还可以提高神经网络的泛化能力,训练鲁棒的神经网络,并为神经网络提供可解释性。在这项工作中,我们引入对抗训练的时间序列分析,以提高神经网络更好的泛化能力,以金融领域为例。在反思现有对抗性训练研究的基础上,提出了时间序列分析中的自适应尺度对抗性训练(ASAT),通过自适应尺度对不同时间段的数据进行重新尺度化。实验结果表明,与基线相比,该算法可以提高神经网络的泛化能力和对抗鲁棒性。与传统的对抗训练算法相比,ASAT算法具有更好的泛化能力和相似的对抗鲁棒性。
2022-12-20 cs.LG
Out-of-Distribution Generalization in Time Series: A Survey
School of Computing and Artificial Intelligence, Southwest Jiaotong University(计算机与人工智能学院,西南交通大学);Engineering Research Center of Sustainable Urban Intelligent Transportation, Ministry of Education(可持续城市智能交通工程研究中心,教育部);Information Sciences and Technology Department, the Pennsylvania State University(信息科学与技术系,宾夕法尼亚州立大学)
本文综述了时间序列中分布外泛化的方法,分析了数据分布、表示学习和分布外评估三个维度,总结了主流算法,指出了应用场景和存在的挑战,并提出了未来研究方向。
2025-10-27 cs.AI cs.LG
Feature Extraction for Functional Time Series: Theory and Application to NIR Spectroscopy Data
提出了一种新的方法来提取函数时间序列的全局和局部特征。在函数数据分析中,函数变量在整个函数域上的全局特征和函数变量在函数域内特定短区间上的局部特征都是重要的。函数主成分分析(FPCA)虽然是一种重要的特征提取工具,但它只关注于捕获占主导地位的全局特征,而忽略了高度局部化的特征。我们介绍了FPCA-BTW方法,首先通过FPCA提取功能数据的全局特征,然后通过小波(BTW)系数的块阈值提取局部特征。利用蒙特卡罗模拟,结合对木质板材的近红外光谱数据的实证应用,我们说明了该方法在估计函数过程中优于竞争方法,包括FPCA和稀疏FPCA。此外,提取的局部特征继承了原始函数时间序列的序列依赖性,有助于更准确的预测。最后,我们开发的FPCA-BTW估计的渐近性质,发现全局和局部特征的收敛速度之间的相互作用。
2021-06-02 stat.ME
Tri-Level Navigator: LLM-Empowered Tri-Level Learning for Time Series OOD Generalization
Tongji University(同济大学)
该研究提出面向时间序列分布外泛化的三级学习框架TTSO,结合样本与组级不确定性,设计分层定位算法并证明收敛性与迭代复杂度,通过真实数据集实验验证了方法有效性,为时间序列OOD泛化提供新理论视角。
2024-11-02 cs.AI cs.LG
Time-Series Forecasting for Out-of-Distribution Generalization Using Invariant Learning
School of Computational Science and Engineering, Georgia Institute of Technology(佐治亚理工学院计算科学与工程学院)
针对时间序列预测中的分布外泛化难题,本文提出模型无关框架 FOIL,通过代理损失、环境推断和不变表示学习提升多种 TSF 模型,最高增益达 85%。
2024-06-13 cs.AI cs.LG
DIVERSIFY: A General Framework for Time Series Out-of-distribution Detection and Generalization
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Fudan University(复旦大学);CAS(中国科学院);Hong Kong University of Science and Technology(香港科技大学)
针对时间序列非平稳特性导致的分布外检测与泛化难题,提出通用框架DIVERSIFY,通过对抗训练迭代获取最坏潜在分布并缩小分布间差距,在多任务实验中显著优于基线并学习到更广义特征。
2023-08-04 cs.AI cs.LG eess.SP
Bootstrapping Generalization Error Bounds for Time Series
我们考虑的问题,发现置信区间的风险预测的平稳,遍历随机过程,使用一个模型估计的过程的过去。我们表明,自举过程提供了有效的置信区间的风险,当数据源是充分混合,和损失函数和估计是适当的光滑。自回归(AR(d))模型估计的最小二乘服从必要的规律性条件,即使在错误的指定,和模拟表明,有限样本覆盖我们的边界迅速收敛到理论,渐近水平。作为一个中间步骤,我们推导出经验分布函数之间的渐近独立性的充分条件,形成分裂实现的随机过程,独立的利益。
2017-11-29 math.ST stat.TH
TADA: Temporal Adversarial Data Augmentation for Time Series Data
Medical AI Co. Ltd.(医疗人工智能有限公司)
针对时间序列数据中传统对抗数据增强无法处理时间特征分布偏移的问题,提出TADA方法,利用频域相移与时域时间移位的对偶性将时间规整引入ADA使其可微,实验证明其优于现有方法并能有效模拟真实分布偏移。
2024-10-15 cs.AI cs.LG eess.SP
Coherence and phase synchronization: generalization to pairs of multivariate time series, and removal of zero-lag contributions
对应于不同空间位置的时间序列之间的相干性和相位同步通常被解释为位置之间的连接性的指示符。在神经生理学中,电神经元活动的时间序列对于研究大脑的互连性是必不可少的。这样的信号可以从深度电极侵入性地测量,或者借助于诸如sLORETA(标准化低分辨率脑电磁断层摄影术)的断层摄影术从头皮电位差(EEG:脑电图)和磁场(MEG:脑磁图)的非常高的时间分辨率、非侵入性颅外记录来计算。在这种情况下有两个问题。首先,在通常的情况下,未知的皮质几何形状,在每个大脑位置的估计信号是一个矢量与三个组件(即电流密度矢量),这意味着相干性和相位同步必须推广到对多变量时间序列。其次,EEG/MEG断层扫描固有的低空间分辨率引入了人为的高零滞后相干性和相位同步。本报告提出了解决这两个问题的办法。简要地提到了另外两个推广:(1)条件相干和相位同步;(2)非平稳时频分析。最后,一个非参数随机化方法的连通性显着性检验概述。这里提出的新的连通性措施可以应用于对单变量EEG/MEG信号,传统的在已发表的文献。然而,这些计算不能被解释为连通性,因为将颅外电极或传感器与底层皮质相关联通常是不正确的。
2007-07-12 stat.AP stat.ME
Forecasting the U.S. Renewable-Energy Mix with an ALR-BDARMA Compositional Time-Series Framework
Airbnb(爱彼迎);Department of Statistics & Data Science, UCLA(加州大学洛杉矶分校统计与数据科学系)
提出BDARMA组合时间序列模型,结合贝叶斯狄利克雷分布与VAR(2)及傅里叶谐波,预测美国可再生能源月度份额,显著提升概率预测精度与校准度。
2025-10-17 stat.AP
Identifying the Spectral Representation of Hilbertian Time Series
我们提供平方根n一致性结果估计的协方差算子的希尔伯特时间序列的谱表示,在设置与不完善的测量。这是Bathia等人(2010)开发的方法的推广。推广依赖于可分希尔伯特空间中的中心随机元的一个重要性质,即它们几乎必然位于相关协方差算子的闭线性跨度中。我们提供了一个简单的证明这一事实。据我们所知,这一结果在文献中被忽视了。附带地给出了希尔伯特空间中PCA的严格公式。
2016-04-10 math.ST stat.TH
Characterization of Time Series Via Rényi Complexity-Entropy Curves
区分混沌和随机时间序列的最有用的工具之一是所谓的复杂熵因果平面。该图涉及两个复杂性度量:香农熵和统计复杂性。最近,这一想法已被推广,考虑Tsallis单参数推广的香农熵,产生复杂性熵曲线。这些曲线已被证明可以提高与数值和实验性质的随机和混沌过程有关的不同时间序列之间的区分力。在这里,我们进一步探讨这些复杂性熵曲线的背景下,雷尼熵,这是另一个单参数推广的香农熵。通过将Rényi熵与统计复杂度的适当推广相结合,我们将参数曲线(Rényi复杂度-熵曲线)与给定的时间序列相关联。我们探索这种方法在一系列的数值和实验应用,证明了这种新技术的有用性的时间序列分析。我们表明,雷尼复杂性熵曲线,使混沌,随机和周期性的时间序列之间的差异。特别是,随机性质的时间序列与在其初始点附近显示正曲率的曲线相关联,而与混沌现象相关的曲线具有负曲率;最后,周期性时间序列由垂直直线表示。
2018-01-17 cond-mat.stat-mech physics.data-an stat.AP
Generalization of Change-Point Detection in Time Series Data Based on Direct Density Ratio Estimation
National Research University Higher School of Economics(国立研究型大学高等经济学院)
变点检测的目的是发现时间序列分布的变化。变点检测的现有技术方法之一是基于直接密度比估计。在这项工作中,我们将展示如何现有的算法可以推广使用各种二进制分类和回归模型。特别是,我们表明,梯度提升决策树和神经网络可以用于此目的。该算法在几个合成和真实世界的数据集上进行了测试。实验结果表明,该方法优于经典的RuLSIF算法.讨论的情况下,所提出的算法比现有的方法具有优势。
2020-01-17 cs.LG stat.ML
On the Generalization and Approximation Capacities of Neural Controlled Differential Equations
Inria Paris(法国国家信息与自动化研究所巴黎分部);UEVE(埃夫里大学)
本文融合 CDE 理论与基于 Lipschitz 的网络复杂度度量,建立 NCDE 依赖数据正则性的泛化界,分析采样偏差与逼近偏差,并通过实验验证。
2024-07-01 cs.LG stat.ML
Learning Latent Spaces for Domain Generalization in Time Series Forecasting
University of Amsterdam(阿姆斯特丹大学)
提出基于条件β-VAE分解的时间序列预测域泛化框架,挖掘跨域潜在时间依赖因素,在五个真实数据集上超越现有方法。
2024-12-15 cs.LG
Locally Linear Continual Learning for Time Series based on VC-Theoretical Generalization Bounds
Department of Electronic Engineering, Universidade Federal de Minas Gerais(米纳斯格拉斯联邦大学电子工程系);Graduate Program in Electrical Engineering, Universidade Federal de Minas Gerais(米纳斯格拉斯联邦大学电气工程研究生项目)
本文提出SyMPLER模型,通过动态分段线性近似实现非平稳环境下时间序列预测,利用统计学习理论的泛化界限自动决定新增局部模型时机,兼顾准确性和可解释性。
2026-03-14 cs.AI cs.LG stat.ML
Rethinking Time Series Domain Generalization via Structure-Stratified Calibration
Guangzhou Institute of Technology, Xidian University, Xi’an, China(广州科技学院,西安电子科技大学)
本文提出结构分层校准框架,通过区分结构一致样本并进行幅度校准,有效缓解时间序列跨领域泛化中的结构不兼容问题。
2026-03-03 cs.LG
Domain Generalization via Selective Consistency Regularization for Time Series Classification
Institute for Infocomm Research, A*STAR(A*STAR资讯通信研究院);Centre for Frontier AI Research, A*STAR(A*STAR前沿人工智能研究中心)
领域泛化方法的目标是利用来自有限数量的源域的数据并且在训练期间不访问目标域样本来学习对域移位鲁棒的模型。用于领域泛化的流行领域对齐方法寻求通过最小化跨所有领域的特征分布之间的差异来提取领域不变特征,而不考虑领域间的关系。在本文中,我们提出了一种新的表示学习方法,选择性地执行预测的一致性估计密切相关的源域之间。具体来说,我们假设域共享不同的类信息表示,所以不是对齐所有可能导致负迁移的域,我们只调整密切相关的域之间的差异。我们将我们的方法应用于时间序列分类任务,并在三个公开的真实世界数据集上进行了全面的实验。我们的方法显着提高了基线,并实现了更好的或有竞争力的性能相比,国家的最先进的方法在精度和模型校准。
2022-06-16 cs.LG
Tackling Time-Series Forecasting Generalization via Mitigating Concept Drift
Georgia Institute of Technology(佐治亚理工学院)
本文提出ShifTS框架,通过统一处理时间序列中的时间漂移和概念漂移,提升预测准确性。
2026-03-25 cs.LG
Impermanent: A Live Benchmark for Temporal Generalization in Time Series Forecasting
TimeCopilot
Impermanent通过实时数据流评估时间序列预测模型的持续性能,以评估其在开放世界时间变化中的泛化能力。
2026-03-10 cs.LG
A Comparative Study on How Data Normalization Affects Zero-Shot Generalization in Time Series Foundation Models
Siemens AG(西门子股份公司);Ludwig Maximilian University of Munich(慕尼黑大学)
本研究比较了数据标准化对时间序列基础模型零样本泛化能力的影响,发现REVIN方法在效率和准确性之间实现了最佳权衡。
2026-01-29 cs.AI cs.LG
Theoretical Foundation of Flow-Based Time Series Generation: Provable Approximation, Generalization, and Efficiency
South China University of Technology(华南理工大学);The Simons Institute for the Theory of Computing at the UC, Berkeley(加州大学伯克利分校西蒙斯理论计算研究所);Sun Yat-sen University(中山大学)
本文针对基于流的时间序列生成缺乏理论解释的问题,建立涵盖逼近、泛化与效率的理论框架,证明 DiT 任意误差拟合、多项式正则化泛化界及采样快速收敛。
2025-03-18 cs.AI cs.LG
AimTS: Augmented Series and Image Contrastive Learning for Time Series Classification
East China Normal University(华东师范大学);Aalborg University(奥尔堡大学)
针对多源时间序列预训练泛化能力弱的问题,提出AimTS预训练框架,通过两级原型对比学习和序列-图像对比学习,从多源数据中学习可泛化表示,提升下游TSC任务(含少样本)性能。
2025-04-14 cs.LG
Domain Generalization for Time Series: Enhancing Drilling Regression Models for Stick-Slip Index Prediction
Mines Paris, PSL University(巴黎高等矿业学院-PSL大学);DrillScan, Helmerich & Payne(DrillScan,赫尔默里奇与佩恩公司)
本文提出通过领域泛化技术提升钻井回归模型对钻具粘滑指数预测的性能,ADG方法在检测严重事件方面表现最佳。
2026-01-06 cs.LG
Domain Fusion Controllable Generalization for Cross-Domain Time Series Forecasting from Multi-Domain Integrated Distribution
State Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学)
本文提出TimeControl模型,通过领域融合范式整合多领域时间序列信息,利用扩散模型实现跨领域时间序列预测的可控泛化。
2025-11-25 cs.AI cs.LG
Domain Generalization under Sampling Pattern Shifts in Irregular Time Series
针对不规则采样时间序列中的采样模式偏移,提出首个基准HAR-C和DG框架PRISM,通过互补表示学习与稳健训练提升对未见采样偏移的鲁棒性。
2026-09-29 cs.AI cs.LG
Empowering Time Series Analysis with Large-Scale Multimodal Pretraining
East China Normal University, Shanghai, China(华东师范大学);HuaWei, ShenZhen, China(华为,深圳,中国)
本文提出HORAI模型,通过多模态预训练提升时间序列分析的泛化能力,实现零样本预测和异常检测的最优性能。
2026-02-05 cs.LG
Conv-like Scale-Fusion Time Series Transformer: A Multi-Scale Representation for Variable-Length Long Time Series
Zhejiang University(浙江大学)
本文针对变长长时间序列分析中的特征冗余与泛化难题,提出基于类卷积尺度融合Transformer的多尺度表示框架,通过分块注意力、跨尺度融合和对数空间归一化提升预测与分类性能。
2025-09-22 cs.LG
Prototype-Guided Classification Sub-Task Decoupling Framework: Enhancing Generalization and Interpretability for Multivariate Time Series
East China Normal University(华东师范大学);Shanghai Jiao Tong University(上海交通大学)
本文提出PDFTime框架,通过多阶段决策过程解耦时间序列分类任务,提升模型的泛化能力和可解释性,实现了在UEA和UCR基准测试中的最优性能。
2026-05-21 cs.AI cs.LG
Training Deep Fourier Neural Networks To Fit Time-Series Data
University of Arkansas(阿肯色大学)
我们提出了一种训练包含正弦激活函数的深度神经网络以拟合时间序列数据的方法。使用快速傅立叶变换初始化权重,然后使用正则化进行训练以提高泛化能力。采用一种简单的动态参数调整方法来调整学习率和正则化项,从而实现稳定性和有效的训练。我们展示了如何使用更稀疏的正弦单位集来利用更深层来对观察到的序列进行建模,以及非均匀正则化如何通过促进权重向更简单的单位转移来提高泛化能力。该方法与时间序列问题表明,它导致有效的外推的非线性趋势。
2014-05-09 cs.LG cs.NE
Synergizing Deconfounding and Temporal Generalization For Time-series Counterfactual Outcome Estimation
Duke University(杜克大学);AI at Meta(Meta人工智能部门)
本文提出协同去混淆与时间泛化的方法,通过子治疗组对齐和随机时间掩码提升时间序列反事实结果估计的性能。
2025-11-20 cs.AI cs.LG
BioFormer: Rethinking Cross-Subject Generalization via Spectral Structural Alignment in Biomedical Time-Series
College of Computer Science, Nankai University, Tianjin, China(南开大学计算机科学学院);College of Cyber Science, Tianjin Key Laboratory of Interventional Brain-Computer Interface(天津介入脑机接口与智能康复重点实验室);Intelligent Rehabilitation, Key Lab of Data(智能康复,数据实验室);Intelligent System Security, Frontiers Science Center for New Organic Matter, Nankai University, Tianjin, China(智能系统安全,新有机物前沿科学中心,南开大学,天津,中国)
提出BioFormer模型,通过频谱漂移视角显式建模主体特异性变异,利用频带对齐模块和样本条件层归一化对齐频谱结构,在六个数据集上F1分数提升6%。
2026-05-26 cs.AI cs.LG