Improving Forecasts for Heterogeneous Time Series by "Averaging", with Application to Food Demand Forecast
针对同领域异质时间序列直接预测困难的问题，提出结合动态时间规整相似度与k近邻构建邻域、通过平均法提升简单模型预测效果的通用框架，并给出多种平均方式、理论依据及诊断工具。
2024-01-30 stat.ME stat.ML
Estimating change points in nonparametric time series regression models
在本文中，我们考虑一个回归模型，允许时间序列协变量以及异方差与回归函数，是非参数建模。我们假设回归函数在某个未知时间发生变化$\lfloor ns_0\rfloor$、$s_0\in(0,1)$，我们的目标是估计（重新缩放的）变化点$s_0$。所考虑的估计是基于一个Kolmogorov-Smirnov功能的显着经验过程的残差。我们证明了估计量的一致性，并证明了$O_P(n^{-1})$的收敛速率，在这种情况下，该收敛速度显然是最优的，因为序列中只有$n$点。此外，我们还研究了滞后相关协变量的情况，即非参数（自动）回归函数发生变化的自回归模型，并给出了一致性结果。证明的方法也允许不同种类的泛函，这样Cramér-von Mises型估计可以被类似地考虑。该方法扩展了现有文献，允许非参数模型，时间序列数据以及异方差。有限样本模拟表明，我们的估计在回归和自回归模型中具有良好的性能，一个真实的数据例子表明了它在实践中的适用性。
2019-09-16 math.ST stat.TH
Rank and Factor Loadings Estimation in Time Series Tensor Factor Model by Pre-averaging
张量时间序列数据自然地出现在包括金融和经济在内的许多领域。张量时间序列因子模型作为一种重要的降维工具，与因子模型类似，其特殊成分可以表现出序列相关性，特别是在金融和经济应用中。这排除了许多假设白色特质成分，甚至独立/高斯数据的最先进方法。虽然传统的高阶正交迭代（HOOI）被证明是收敛于一组因子加载矩阵，但它们与真实的底层因子加载矩阵的接近性通常是不确定的，或者只是在某些严格的情况下，如具有i.i.d.高斯噪声（Zhang和Xia，2018）。在特质成分和时间序列变量中存在序列相关性和互相关性的情况下，我们提出了一种预平均方法，该方法可以从张量纤维中积累信息，从而更好地估计所有的因子加载空间。对应于最强因子的估计方向然后用于投影数据，以潜在地改进因子加载空间本身的重新估计，并阐明理论保证和收敛速率。我们还提出了一种新的秩估计方法，该方法利用了来自投影数据的相关信息，与Fan，Guo和Zheng（2022）的独立数据因子模型相同。广泛的模拟结果显示，我们的排名和因子加载估计相对于其他国家的最先进的或传统的替代品的竞争力表现。一组矩阵值的投资组合收益率数据进行了分析。
2022-08-08 math.ST stat.ME stat.TH
Multiscale inference and long-run variance estimation in nonparametric regression with time series errors
在本文中，我们开发了新的多尺度方法来测试定性假设的回归函数m的非参数回归模型与固定的设计点和时间序列错误。在时间序列应用中，m表示非参数时间趋势。实践者通常对趋势m是否具有某些形状属性感兴趣。例如，他们想知道m是否是常数，或者它是否在某些时间区域内增加/减少。我们的多尺度方法允许测试趋势m的这种形状属性。为了执行的方法，我们需要一个估计的长期方差的误差过程。对于误差项构成AR（p）过程的情形，我们提出了一种新的基于差分的长期误差方差估计。在本文的技术部分，我们推导出了多尺度检验的渐近理论和长期误差方差的估计。该理论是补充模拟研究和气候数据的实证应用。
2019-03-04 math.ST stat.TH
Methodology and Convergence Rates for Functional Time Series Regression
函数线性模型将线性回归的概念扩展到响应和协变量是无限维希尔伯特空间的iid元素的情况。待估计的未知数是一个希尔伯特-施密特算子，其逆算子根据定义是无界的，从而使推理问题不适定。在本文中，我们考虑更一般的情况下，响应/协变量对的样本形成一个弱相关的平稳过程在各自的产品希尔伯特空间：简单地说，我们有一个功能时间序列之间的回归的情况下。我们考虑一个潜在的非线性过程的一般框架，利用时间序列的谱分析的最新进展。我们的主要结果是建立相应的回归系数的估计的收敛速率，后者形成一个可加序列的空间中的Hilbert-Schmidt算子。从某种意义上说，我们的主要结果可以看作是一个推广的经典功能的线性模型率，时间序列的情况下，只依赖于累积量混合条件。虽然分析变得相当多地涉及到依赖的情况下，率是惊人的可比性的i.i.d.。的情况下，但在一个额外的因素所造成的必要性，估计谱密度算子在一个非参数率，而不是参数率的协方差算子估计。
2016-12-21 math.ST stat.TH
A dynamic hybrid model based on wavelets and fuzzy regression for time series estimation
本文将模糊逻辑与小波分解相结合，提出了一种用于金融时间序列估计的逐步动态混合模型。利用模糊回归、小波分解以及新的混合模型对著名的$SP500$指数金融时间序列进行了实证检验。实证检验表明了混合模型的有效性。
2011-02-17 math.ST q-fin.ST stat.TH
Self-Normalized Inference in (Quantile, Expected Shortfall) Regressions for Time Series
本文提出基于自归一化的时间序列（分位数，期望损失）回归推断方法，无需调优参数且尺寸正确，并通过模拟和两个实证应用验证其有效性。
2025-06-23 econ.EM math.ST stat.TH
Simultaneous Sieve Inference for Time-Inhomogeneous Nonlinear Time Series Regression
本文研究了一般局部平稳时间序列的非时齐非线性时间序列回归问题。一方面，我们提出了时变回归函数的筛分非参数估计，它可以达到最小-最大最优速率。另一方面，我们发展了一个统一的同时推理理论，可以用来进行结构和精确形式的功能测试。我们提出的统计是强大的，即使在当地弱的替代品。我们还提出了一个乘法器自举程序的实际实施。我们的方法和理论不需要对回归函数进行任何结构假设，并且我们还允许函数在无界域中得到支持。我们还建立了无界区域上二维函数的筛逼近论和高维局部平稳时间序列的仿射型和二次型的高斯逼近结果，这些结果是独立的.数值模拟和一个真实的财务数据分析提供了支持我们的结果。
2021-12-16 math.ST stat.ME stat.TH
Systematic assessment of the effects of space averaging and time averaging on weather forecast skill
直觉上，如果预测一周的平均天气而不是一天的平均天气，并且对于不同的空间平均区域，人们会期望更熟练的预测。然而，很少有系统的研究平均和预测技巧与现代预测，因此，它是不清楚有多少改善预测性能产生通过平均。在这里，我们提出了一个直接调查的平均效应，业务数值天气预报的数据的基础上。分析数据的降水量和地面温度，提前时间约为1至7天，时间和空间平均直径分别为1至7天和100至4500公里。对于不同的地理位置，时间或空间平均的影响可能不同，虽然降水量没有明显的地理模式，但温度有明显的空间模式。对于温度，一般来说，时间平均在海岸线附近最有效，在陆地上也有效，在海洋上最不有效。根据全球所有地点的情况，时间平均法的效果不如预期。为了帮助理解为什么时间平均有时可能是最低限度的有效性，一个随机模型进行分析，作为一个合成的天气时间序列，和解析公式的解相关时间。实际上，虽然时间平均产生视觉上更平滑的时间序列，但它不一定导致时间序列的可预测性的实质性增加。
2022-07-17 physics.ao-ph stat.AP
Simultaneous Sieve Estimation and Inference for Time-Varying Nonlinear Time Series Regression
本文研究局部平稳时间序列的时变非线性回归，提出具有一致收敛性的筛非参数估计量，发展了统一的同时推断理论及乘子自助法，并开发了R包SIMle辅助实现。
2025-06-29 math.ST stat.ME stat.TH
A Note on Local Linear Regression for Time Series in Banach Spaces
该研究将局部线性回归推广到Banach空间值时间序列，分析了标准与减偏Jackknife估计量的渐近性质，通过模拟验证有限样本性能，并应用于EEG信号平滑及视频目标检测任务。
2025-03-19 math.ST stat.ME stat.TH
Multiscale clustering of nonparametric regression curves
在广泛的现代应用中，我们观察到大量的时间序列，而不仅仅是一个单一的。人们常常很自然地认为，在所观察到的时间序列中存在某种群结构。当每个时间序列由非参数回归方程建模时，可以特别地假设所观察到的时间序列可以被划分为少数组，这些组的成员共享相同的非参数回归函数。我们开发了一个无带宽的聚类方法来估计未知的组结构的数据。更准确地说，我们构造了未知组及其未知数的多尺度估计，这些估计不需要经典的带宽或平滑参数。在本文的理论部分，我们分析了我们的估计的统计性质。我们的理论结果是在一般条件下得出的，该条件允许数据在时间序列方向上和跨不同的时间序列都是依赖的。本文的技术分析是由模拟研究和实际数据应用的补充。
2019-03-04 math.ST stat.ME stat.TH
Valid and Efficient Split Conformal Regression for Time Series
University of Chicago（芝加哥大学）；Illinois Institute of Technology（伊利诺伊理工学院）
本文针对时间序列分割保形回归，引入函数依赖度量替代混合条件，首次同时建立非渐近覆盖保证与区间长度准确性，并证明长记忆下校准长度收敛快于中心估计。
2026-09-29 math.ST stat.ML stat.TH
A consistent deterministic regression tree for non-parametric prediction of time series
EDF R&D（法国电力研发中心）；GREGHEC (HEC Paris, CNRS)（GREGHEC（巴黎高等商学院、法国国家科学研究中心））；Inria（法国国家信息与自动化研究所）
我们研究有界平稳遍历过程的在线预测。要做到这一点，我们考虑设置的预测个别序列，并建立一个确定性的回归树，执行渐近以及最好的L-Lipschitz常数预测。然后，我们证明了为什么所得到的遗憾界需要关于有界平稳遍历过程类的渐近最优性。
2014-05-08 cs.LG math.ST stat.ML
A loss discounting framework for model averaging and selection in time series models
提出一种结合贝叶斯模型合成与广义贝叶斯方法的损失折扣框架，通过多级折扣机制灵活设定模型权重，可应用于大规模模型平均与选择，在宏观经济预测中计算高效且优于复杂技术。
2024-03-28 stat.ME
Revisiting Inaccuracies of Time Series Averaging under Dynamic Time Warping
Technische Universität Berlin（柏林工业大学）
本文回顾了\cite{Niennattrakul2007}对动态时间弯曲下时间序列平均误差的分析。作者提出了一个正确的标准，并介绍了漂移的平均值从集群。他们声称，如果平均值不正确或漂移，那么平均值就是不准确的。此外，他们还指出，这种不准确性是由于缺乏三角不等式造成的。我们表明，纠正版本的正确性标准是不可满足的，漂移的概念是几何和操作不确定的。满足三角不等式不足以达到正确性，也不需要克服漂移现象。我们将漂移的概念置于原则性的基础上，并表明作为Fréchet函数的全局最小值的样本均值永远不会漂移。调整后的漂移是一种测试近似一致程度的方法。实证结果表明，解决方案获得的国家的最先进的方法SSG和DBA是不相干的近似样本均值在超过三分之一的所有试验。
2018-09-07 cs.AI cs.LG stat.ML
High dimensional regression for regenerative time-series: an application to road traffic modeling
一个统计预测模型，其中一个高维时间序列再生在每天结束时被用来模拟道路交通。由于再生，预测是基于使用向量自回归模型的每日建模，该模型线性组合了当天的过去观测。由于高维，学习算法遵循回归系数的L1惩罚。在路段数随观测天数趋于无穷大的高维框架下建立了超额风险边界。考虑到浮动汽车在城市地区观察到的数据，该方法相比，国家的最先进的方法，包括神经网络。除了在预测方面具有很强的竞争力外，它还可以识别道路网络中最具决定性的路段。
2021-01-26 math.ST stat.ML stat.TH
Improving tensor regression by optimal model averaging
针对张量回归中CP分解秩选择的不确定性问题，提出一种对不同秩候选模型加权的模型平均方法，证明了其渐近最优性和参数一致性，实验验证了其优越性。
2023-11-22 math.ST stat.TH
A regression model with a hidden logistic process for feature extraction from time series
提出了一种从时间序列中提取特征的新方法。这种方法包括一个特定的回归模型，其中包含一个离散的隐藏逻辑过程。通过专用期望最大化（EM）算法执行的极大似然方法估计模型参数。在期望最大化算法的内循环中，隐逻辑过程的参数使用多类迭代重加权最小二乘（IRLS）算法来估计。一个分段回归算法及其迭代变量也被认为是比较。使用模拟和真实数据的实验研究表明，所提出的方法具有良好的性能。
2013-12-25 cs.LG math.ST stat.ME
Time Series Analysis of the Southern Oscillation Index using Bayesian Additive Regression Trees
贝叶斯加性回归树（Bayesian additive regression trees，BART）是由Chipman等人（2008）开发的一种回归技术。它在标准回归设置中的有用性已被清楚地证明，但它尚未被应用于时间序列分析。我们讨论的困难，应用这种技术的时间序列分析，并证明其优越的预测能力的情况下，一个众所周知的时间序列：南方涛动指数。
2018-04-05 stat.AP
Directed Time Series Regression for Control
Stanford University（斯坦福大学）
提出定向时间序列回归方法，结合最小二乘回归与经验优化的优点，用于确定性等价模型预测控制中的时间序列模型参数估计，在随机倒立摆平衡问题中显著提升控制器性能。
2012-06-26 cs.LG cs.SY eess.SY
Time series modeling by a regression approach based on a latent process
Compiègne University of Technology（贡比涅技术大学）；French National Institute for Transport and Safety Research (INRETS)（法国国家运输与安全研究所（INRETS））
时间序列用于许多领域，包括金融、工程、经济和生物信息学，通常用于表示测量随时间的变化。然后，可以使用建模技术来给出这种数据的合成表示。提出了一种新的时间序列建模方法。它包括一个回归模型，其中包含一个离散的隐藏逻辑过程，允许平滑或突然激活不同的多项式回归模型。通过专用期望最大化（EM）算法执行的极大似然方法估计模型参数。期望最大化算法的M步使用多类迭代重加权最小二乘（IRLS）算法来估计隐藏的过程参数。为了评估所提出的方法，模拟数据和真实世界的数据进行了实验研究，使用两种替代方法：异方差分段回归模型，使用基于动态规划的全局优化算法，和隐马尔可夫回归模型，其参数估计的鲍姆-韦尔奇算法。最后，在法国铁路基础设施的组件的远程监控的背景下，更特别的开关机制，所提出的方法已被应用到建模和分类的时间序列表示在开关操作过程中获得的条件测量。
2013-12-25 cs.LG math.ST stat.ME
Subsampling, aligning, and averaging to find circular coordinates in recurrent time series
Columbia University（哥伦比亚大学）；DataShape；Centre Inria d’Université d’Azur（蔚蓝海岸大学Inria中心）；Indiana University（印第安纳大学）
本文提出一种通过子采样、Procrustes对齐与平均来校正采样密度不均匀的圆形坐标算法，并在合成数据与线虫神经元记录上验证，揭示了线虫脑状态空间环路与宏观行为之间的拓扑对应关系。
2024-12-24 cs.CG cs.LG math.AT
High Dimensional Time Series Regression Models: Applications to Statistical Learning Methods
本文概述高维时间序列回归模型的估计与推断方法，涵盖高维相依数据极限理论、多协变量回归渐近理论及统计学习在时间序列分析中的应用。
2023-08-27 econ.EM stat.ML
AverageTime: Enhance Long-Term Time Series Forecasting with Simple Averaging
School of Mathematics and Statistics, Shandong University（山东大学数学与统计学学院）；Department of Mathematics, Harbin Institute of Technology (Weihai)（哈尔滨工业大学（威海）数学系）；Research Center for Data Hub and Security, Zhejiang Lab（浙江实验室数据枢纽与安全研究中心）
AverageTime通过简单平均操作提升长期时间序列预测性能，采用可扩展架构生成多序列并结合通道聚类技术，实现高效准确的预测。
2026-01-31 cs.LG stat.ML
Simultaneous Inference for Time Series Functional Linear Regression
Illinois State University（伊利诺伊州立大学）；University of Toronto（多伦多大学）
本文提出一种统一的乘数Bootstrap方法，用于构建时间序列标量-函数线性回归系数函数的联合置信带，该方法在粗糙度惩罚估计下具有正确的覆盖概率渐近性，并对不一致估计的标准差具有渐近鲁棒性。
2026-04-27 stat.ME
Positive Time Series Regression Models
本文讨论了取值于$(0,\infty)$的时间序列的动态ARMA型回归模型。在该模型中，条件均值由包含自回归和移动平均项、时变回归量、未知参数和链接函数的动态结构来建模。本文介绍了这类新的模型，讨论了偏极大似然估计、假设检验推断、诊断分析和预测。
2022-01-10 stat.ME
Time Series Extrinsic Regression
Monash University（莫纳什大学）
本文研究了时间序列外部回归（TSER）：一种回归任务，其目的是学习时间序列和连续标量变量之间的关系;一种与时间序列分类（TSC）密切相关的任务，其目的是学习时间序列和类别标签之间的关系。此任务概括了时间序列预测（TSF），放宽了预测值是输入序列的未来值或主要取决于最近值的要求。在本文中，我们激励和研究这一任务，并基准现有的解决方案和适应TSC算法上的一个新的档案19 TSER数据集，我们已经组装。我们的研究结果表明，与其他TSC算法和最先进的机器学习（ML）算法（如XGBoost，随机森林和支持向量回归）相比，最先进的TSC算法Rocket在适应回归时达到了最高的整体准确度。更重要的是，我们表明，在这一领域需要进行大量的研究，以提高ML模型的准确性。我们还发现证据表明，进一步的研究有很好的前景，改善这些简单的基线。
2021-02-03 cs.LG stat.ML
Ridge Regression on Riemannian Manifolds for Time-Series Prediction
本文提出面向时间序列预测的黎曼流形岭回归方法，结合贝塞尔曲线拟合、流形协方差与马氏距离正则化，推导梯度显式公式实现高效优化，经合成实验与飓风预报验证可有效降低预测误差。
2025-11-19 cs.NA math.DG math.NA
Functional Lagged Regression with Sparse Noisy Observations
函数（滞后）时间序列回归模型涉及标量响应时间序列对由一系列随机函数组成的回归量时间序列的回归。在实践中，潜在的回归曲线时间序列并不总是直接可访问的，而是仅在离散测量位置处观察（采样）的潜在过程。在本文中，我们考虑了所谓的稀疏观测场景，其中只有相对较少的测量位置已被观察到，每个曲线可能不同。测量结果可能进一步受到附加测量误差的污染。被认为是一种谱的方法来估计模型的动态。利用核平滑方法从稀疏观测值中估计回归量时间序列的谱密度以及回归量与响应时间序列之间的互谱密度。滞后回归模型的脉冲响应回归系数然后通过岭回归（Tikhonov正则化）或PCA回归（谱截断）来估计。然后通过预测恢复潜在功能时间序列，条件是所有观察到的观察数据。我们的方法的性能和实施说明通过模拟研究和气象数据的分析。
2020-03-31 stat.ME
Bayesian Regression Approach for Building and Stacking Predictive Models in Time Series Analytics
Ivan Franko National University of Lviv（利沃夫伊万·弗兰科国立大学）
本文介绍了使用贝叶斯回归建立时间序列模型和堆叠不同的预测模型的时间序列。分析了贝叶斯回归在非线性趋势时间序列建模中的应用。这种方法使得有可能估计时间序列预测的不确定性并计算风险值特性。本文讨论了一种基于贝叶斯回归的时间序列分层模型。在这种方法中，一组参数对于所有数据样本是相同的，其他参数对于不同组的数据样本可以是不同的。这种方法允许在指定时间序列的短历史数据的情况下使用该模型，例如在销售预测问题中的新店或新产品的情况下。在预测模型的叠加研究中，采用ARIMA、神经网络、随机森林、Extra Tree等模型进行了第一层的预测。在第二个层次上，这些模型对验证集的时间序列预测用于贝叶斯回归的叠加。这种方法给出了这些模型的回归系数的分布。这使得它有可能估计的不确定性，由每个模型叠加结果的贡献。关于这些分布的信息使我们能够选择一组最佳的堆叠模型，同时考虑到领域知识。堆叠预测模型的概率方法使我们能够对决策过程中重要的预测进行风险评估。
2022-01-06 cs.AI cs.CL cs.LG
Model-based clustering with Hidden Markov Model regression for time series with regime changes
Paris Nord University（巴黎第十三大学）；IFSTTAR（法国交通与安全科学技术研究所）；Heudiasyc Lab（Heudiasyc实验室）
本文介绍了一种新的基于模型的聚类方法聚类时间序列，目前的政权变化。它由隐藏的马尔可夫链控制的多项式回归的混合物组成。每个簇的潜在隐藏过程在时间上连续激活几个多项式机制。参数估计通过专用期望最大化（EM）算法采用极大似然法进行。所提出的方法进行评估，使用模拟时间序列和现实世界的时间序列从铁路诊断应用程序发出。与现有的时间序列聚类方法，包括高斯混合的标准EM，$K$均值聚类，标准混合回归模型和混合隐马尔可夫模型的比较，证明了该方法的有效性。
2013-12-25 cs.LG stat.ME stat.ML
Sparse Tree-Based Aggregation for Time Series Regressions
Maastricht University（马斯特里赫特大学）
提出StarTime方法，利用时间树分层排列滞后项，通过凸惩罚实现系数聚合与稀疏选择，降低高维时间序列回归的维度，提高估计精度。
2026-07-02 econ.EM stat.ME
Conditional mode regression: Application to functional time series prediction
本文考虑$α$ -混合观测值，并在给定随机变量$X$取值于半度量空间的情况下，讨论了标量响应变量$Y$的条件模的估计.给出了估计量在$L^p$范数下的收敛速度。最后给出了函数时间序列预测的一个典型应用。
2008-12-29 stat.AP
On Robust Inference in Time Series Regression
针对时间序列回归中OLS-HAC推断的四个主要缺陷，提出简单易行的DURBIN动态回归程序，通过模拟验证其能有效避免这些问题，提升推断稳健性。
2024-05-27 econ.EM stat.AP
Modern strategies for time series regression
本文讨论了几种现代回归分析方法，涉及时间序列数据，其中一些预测变量也按时间索引。我们讨论了经典的统计方法以及最近在机器学习文献中提出的方法。这些方法进行了比较和对比，可以看出，目前大多数可用的方法有优点和缺点。在这一领域有很大的发展方法的余地。这项工作的动机是一个应用程序，涉及预测水位作为降雨量和其他气候变量的函数在澳大利亚东部的含水层。
2020-10-29 stat.ME stat.ML
Machine Learning Time Series Regressions with an Application to Nowcasting
本文介绍了结构化机器学习回归的高维时间序列数据可能在不同的频率采样。稀疏组LASSO估计器可以利用这样的时间序列数据结构，并优于非结构化LASSO。我们建立了一个框架内，允许混合过程的稀疏组LASSO估计的甲骨文不等式，并认识到金融和宏观经济数据可能有比指数尾重。一个实证应用，以nowcasting美国的GDP增长表明，估计表现良好相比，其他替代品和文本数据可以是一个有用的除了更传统的数值数据。
2020-12-12 econ.EM stat.AP stat.ME
Forecasting with time series imaging
Beihang University（北京航空航天大学）；Central University of Finance and Economics（中央财经大学）
基于时间序列的时间序列表示在广泛的时间序列分析方法中引起了极大的关注。近年来，利用时间序列特征进行预测模型平均已成为预测界的一个新兴研究热点。然而，大多数现有的方法依赖于手动选择一组适当的功能。利用机器学习方法从时间序列中自动提取特征在最先进的时间序列分析中变得至关重要。在本文中，我们介绍了一种自动化的方法来提取时间序列特征的基础上时间序列成像。我们首先将时间序列转换成递归图，从其中可以使用计算机视觉算法提取局部特征。提取的特征用于预测模型平均。我们的实验表明，预测的基础上自动提取的功能，更少的人为干预和更全面的原始时间序列数据，产生高度可比的性能与最大的预测竞争数据集（M4）的最佳方法，并优于旅游预测竞争数据集的顶级方法。
2020-06-05 cs.CV cs.LG stat.CO
Density-valued time series: Nonparametric density-on-density regression
本文提出一种基于非参数函数对函数回归的概率密度函数预测方法，解决了密度数据非线性受约束导致传统预测困难的问题，并从理论和实验上验证了其准确性与有效性。
2025-10-12 stat.AP stat.ME
DecoR: Deconfounding Time Series with Robust Regression
ETH Zurich（苏黎世联邦理工学院）
针对时间序列因果推断中未观测混杂因素问题，提出基于频域鲁棒线性回归的DecoR方法，改进误差上界并证明一致性，实验验证其在合成与真实数据上的有效性及对模型误设的鲁棒性。
2024-11-18 cs.LG stat.ML
Trainable Time Warping: Aligning Time-Series in the Continuous-Time Domain
University of Michigan（密歇根大学）
DTW计算两个信号之间的相似性或对齐，受到时间扭曲。然而，其计算复杂性随着时间序列的数量呈指数增长。虽然已经开发出的算法在时间序列的数量上是线性的，但它们在时间序列长度上通常是二次的。例外的是广义时间扭曲（GTW），它具有线性计算成本。然而，它只能识别简单的时间弯曲函数。需要一种新的快速、高质量的多序列比对算法。我们引入了可训练时间规整（TTW），其复杂度在时间序列的数量和长度上都是线性的。TTW使用sinc卷积核和基于梯度的优化技术在连续时间域中执行对齐。我们比较了TTW和GTW在85个UCR数据集上的时间序列平均和分类。TTW在平均任务的67.1%的数据集上优于GTW，在分类任务的61.2%的数据集上优于GTW。
2019-03-21 cs.AI cs.CC cs.LG
Ultrametric Wavelet Regression of Multivariate Time Series: Application to Colombian Conflict Analysis
我们首先追求的层次结构如何提供了一个很好的适应工具的变化分析的研究。然后，使用时间序列约束的层次聚类，我们开发了一种新的小波回归方法的实用方面。这提供了一种新的方式来链接多变量时间序列数据集与外部信号的层次关系。本报告通篇使用了1990年至2004年哥伦比亚冲突期间的暴力数据。最后，我们提出了一些建议，进一步研究社会暴力和市场力量之间的关系，即哥伦比亚冲突和美国毒品市场之间的关系。
2009-02-16 stat.AP stat.ML
A Case-Study on the Impact of Dynamic Time Warping in Time Series Regression
University College Dublin（都柏林大学学院）
众所周知，动态时间规整（DTW）在揭示不完全对齐的时间序列之间的相似性方面是有效的。在本文中，我们说明了光谱时间序列数据。我们表明，DTW是有效的，在回归任务时，只有一个单一的波长被认为是提高精度。当与k-最近邻结合时，DTW具有额外的优点，即它可以在时间序列的水平上揭示样本之间的相似性和差异。然而，在这个问题中，我们认为这里的数据可以在波长的光谱中获得。如果在许多波长上使用聚合统计（均值、方差），DTW的优势就不再明显。我们将此作为大数据在机器学习中胜过复杂模型的另一个例子。
2020-10-11 cs.LG stat.ML
A marginalized three-part interrupted time series regression model for proportional data
Oregon Health & Science University（俄勒冈健康与科学大学）；Kaiser Permanente Washington Health Research Institute（凯撒永久华盛顿健康研究所）；University of Washington（华盛顿大学）；King’s College London（伦敦国王学院）
本文提出一种边际化零一膨胀贝塔时间序列模型，通过Copula捕捉时间依赖性，用于分析协变量对边际均值的影响，通过模拟研究和实际案例验证其有效性。
2024-08-01 stat.AP stat.ME
Adversarial Examples in Deep Learning for Multivariate Time Series Regression
University of Missouri（密苏里大学）
多元时间序列（MTS）回归任务在许多现实世界的数据采掘应用中很常见，包括金融、网络安全、能源、医疗保健、统计学等。由于深度学习（DL）算法在包括图像识别和计算机视觉在内的各个领域取得了巨大成功，研究人员开始采用这些技术来解决MTS数据采掘问题，其中许多问题针对安全关键型和成本关键型应用。不幸的是，DL算法以其对对抗性示例的敏感性而闻名，这也使得用于MTS预测的DL回归模型也容易受到这些攻击。据我们所知，以前的工作没有探索过DL MTS回归模型对对抗性时间序列示例的脆弱性，这是一个重要的步骤，特别是当这些模型的预测用于安全关键型和成本关键型应用时。在这项工作中，我们利用图像分类领域现有的对抗攻击生成技术，并为三种最先进的深度学习回归模型制作对抗性多变量时间序列示例，特别是卷积神经网络（CNN），长短期记忆（LSTM）和门控递归单元（GRU）。我们使用Google股票和家庭功耗数据集来评估我们的研究。结果表明，所有评估的DL回归模型都容易受到对抗攻击的攻击，并且具有可转移性，从而在能源和金融等安全关键和成本关键领域可能导致灾难性后果。
2020-09-24 cs.LG stat.ML
Beta regression for time series analysis of bounded data, with application to Canada Google${}^\circledR$ Flu Trends
在实际应用中经常会遇到由比率或比例组成的有界时间序列。本文提出了一种实用的方法来分析有界时间序列，通过贝塔回归模型。该方法允许直接解释的回归参数的原始响应规模，同时适当占异方差典型的有界变量。序列相关性由高斯Copula建模，相关矩阵对应于平稳的自回归和移动平均过程。它表明，推理，预测和控制可以直接进行，与自回归和移动平均模型的标准分析的微小修改。该方法的动机是应用于Google ${}^\circledR$ Flu Trends项目估计的流感样疾病发病率。
2014-04-14 stat.AP
Prediction of Dynamical time Series Using Kernel Based Regression and Smooth Splines
University of Michigan（密歇根大学）
利用支持向量机或基于核函数的回归方法对含有加性噪声的动态时间序列进行预测，已证明对某些离散动态系统是一致的。一致性意味着这些方法在计算给定当前坐标的未来时间点的期望值时是有效的。然而，目前的坐标本身是有噪声的，因此，这些方法在去除噪声方面不一定有效。在这篇文章中，我们认为去噪和预测作为单独的问题，流，而不是离散时间动力系统，并表明使用光滑样条是更有效地消除噪声。平滑样条和基于核的回归的组合产生的预测器在基准上通常更准确，通常是2倍或更多。我们证明了基于核的回归结合光滑样条收敛到精确的预测时间序列从任何足够光滑的流的任何紧凑的不变集。作为收敛的结果，可以找到基于核的回归与平滑样条的组合甚至优于$100$的因子的示例。我们计算的预测器对延迟坐标数据而不是通常不可观测的完整状态向量进行操作。
2018-06-20 cs.LG stat.ML
Zero-shot and few-shot time series forecasting with ordinal regression recurrent neural networks
University of Oxford（牛津大学）；Mind Foundry Ltd.（思维铸造有限公司）
循环神经网络（RNN）在几个顺序学习任务中是最先进的，但它们通常需要大量的数据才能很好地概括。对于许多时间序列预测（TSF）任务，在训练时可能只有几十个观测值可用，这限制了这类模型的使用。我们提出了一种新的基于RNN的模型，通过在许多量化时间序列的空间上学习共享特征嵌入来直接解决这个问题。我们展示了这如何使我们的RNN框架能够准确可靠地预测看不见的时间序列，即使在几乎没有训练数据可用的情况下。
2020-03-26 cs.LG stat.ML
Rethinking Remaining Useful Life Prediction with Scarce Time Series Data: Regression under Indirect Supervision
School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（电子与电气工程学院，南洋理工大学，新加坡）
本文提出参数化静态回归框架，用于在数据稀缺情况下进行剩余寿命预测，通过参数化校正过程处理间接监督下的时间依赖性，提升预测精度。
2025-04-12 cs.LG stat.ML
Seasonally-Adjusted Auto-Regression of Vector Time Series
Stanford University（斯坦福大学）
提出了一种简单的预测向量时间序列的算法，该算法在训练和推理中对缺失数据具有鲁棒性。它对季节性的年度、每周和每日基线以及季节性调整残差的高斯过程进行建模。我们开发了一个自定义截断特征分解，以适应低秩加块对角高斯内核。使用Schur补进行推理，使用Tikhonov正则化来防止过拟合，并使用Woodbury公式来有效地反转内核的子矩阵。推理需要在时间序列维度上线性的内存和计算量，因此模型可以扩展到非常大的数据集。我们还提出了一个简单的“贪婪”网格搜索自动超参数调整。该文件附有沙皇（即，时间序列自回归器），一个实现该算法的Python库。
2019-11-04 cs.LG math.OC stat.ML
A Non-linear Function-on-Function Model for Regression with Time Series Data
Hitachi America, Ltd.（日立美国有限公司）；Penn State University（宾夕法尼亚州立大学）
在过去的几十年里，为非标量变量（包括时间序列、文本、图像和视频）构建回归模型吸引了数据分析界越来越多的研究人员的兴趣。在本文中，我们专注于一个多元时间序列回归问题。具体来说，我们的目标是学习从特定时间间隔S内的多个按时间顺序测量的数值变量到时间间隔T上的多个感兴趣的数值变量的数学映射。现有技术，包括多变量回归模型、Seq 2Seq模型和函数线性模型，受到若干限制。前两类模型只能处理有规律的观测时间序列。此外，传统的多元回归模型往往是有偏的和效率低下的，因为它们不能编码的时间依赖性之间的观察从同一时间序列。顺序学习模型明确地使用相同的参数集，这对准确性有负面影响。函数数据分析（统计学的一个分支）中的函数对函数线性模型不足以捕捉所考虑的时间序列之间的复杂相关性，并且容易发生欠拟合。在本文中，我们提出了一个一般的功能映射，包括功能上的功能线性模型作为一个特殊情况。然后，我们提出了一个非线性的功能上的功能模型，使用全连接的神经网络从数据中学习映射，解决了现有方法中的上述问题。对于所提出的模型，我们详细描述了相应的数值实现程序。通过对两个实际问题的应用，证明了该模型的有效性。
2020-11-24 cs.LG stat.ML
Dynamic linear regression models for forecasting time series with semi long memory errors
University of Technology Sydney（悉尼科技大学）；University of New South Wales（新南威尔士大学）
本文提出一种新的动态线性回归模型，以捕捉误差的长程依赖性，提升预测能力，并通过马尔可夫链蒙特卡洛方法实现高效贝叶斯推断。
2026-04-01 stat.CO stat.ME
Monash University, UEA, UCR Time Series Extrinsic Regression Archive
Monash University（莫纳什大学）；University of East Anglia（东英吉利大学）；University of California Riverside（加州大学河滨分校）
时间序列的研究在过去的十年里引起了人们的广泛兴趣，特别是时间序列分类（TSC）和时间序列预测（TSF）。TSC的研究极大地受益于加州大学河滨分校和东安格利亚大学（UCR/UEA）的时间序列档案。另一方面，时间序列预测的进步依赖于时间序列预测竞赛，如Makridakis竞赛、NN 3和NN 5神经网络竞赛以及一些Kaggle竞赛。每年，成千上万的论文提出了新的算法TSC和TSF利用这些基准档案。这些算法是针对这些特定问题而设计的，但是对于诸如使用光电容积描记图（PPG）和加速度计数据来预测人的心率的任务可能没有用。我们将此问题称为时间序列外回归（TSER），其中我们感兴趣的是从单变量或多变量时间序列预测单个连续值的更一般的方法。该预测可以来自相同的时间序列或与预测器时间序列不直接相关，并且不一定需要是未来值或严重依赖于最近值。据我们所知，研究到TSER已经收到的关注少得多，在时间序列研究界，并没有开发一般的时间序列外在回归问题的模型。大多数模型都是针对特定问题开发的。因此，我们的目标是通过引入第一个TSER基准档案来激励和支持TSER的研究。这个档案包含来自不同领域的19个数据集，具有不同的维度数量，不等长的维度和缺失值。在本文中，我们介绍了这个档案中的数据集，并对现有模型进行了初步的基准测试。
2020-10-20 cs.LG stat.ML
Explainable boosted linear regression for time series forecasting
Ryerson University（瑞尔森大学）；University of Toronto（多伦多大学）；Bogazici University（博阿齐奇大学）
时间序列预测涉及收集和分析过去的观测结果，以开发一个模型来推断这些观测结果到未来。对未来事件的预测在许多领域中是重要的，以支持决策，因为它有助于减少未来的不确定性。本文提出了一种基于可解释提升线性回归（EBLR）的时间序列预测算法，它是一种从基本模型开始，通过回归树解释模型误差的迭代法。在每次迭代中，导致最高误差的路径作为新变量添加到基础模型中。在这方面，我们的方法可以被认为是对一般时间序列模型的改进，因为它可以通过残差解释来结合非线性特征。更重要的是，使用导致错误最多的单一规则允许可解释的结果。所提出的方法扩展到概率预测，通过生成预测区间的基础上的经验误差分布。我们进行了详细的数值研究EBLR和各种其他方法进行比较。我们观察到EBLR通过提取特征大大提高了基础模型的性能，并提供了与其他成熟方法相当的性能。EBLR模型预测的可解释性和较高的预测精度使其成为一种很有前途的时间序列预测方法。
2020-09-18 cs.LG stat.ML
