Modern strategies for time series regression
本文讨论了几种现代回归分析方法，涉及时间序列数据，其中一些预测变量也按时间索引。我们讨论了经典的统计方法以及最近在机器学习文献中提出的方法。这些方法进行了比较和对比，可以看出，目前大多数可用的方法有优点和缺点。在这一领域有很大的发展方法的余地。这项工作的动机是一个应用程序，涉及预测水位作为降雨量和其他气候变量的函数在澳大利亚东部的含水层。
2020-10-29 stat.ME stat.ML
Beta Regression with Autoregressive Errors for Interrupted Time Series Analysis of Proportion and Rate Outcomes: A Simulation Study
University of California, San Francisco（旧金山加利福尼亚大学）
研究针对比例和速率结果的中断时间序列分析，介绍了betark方法，它是具有AR(k)误差的贝塔回归的联合条件最大似然估计器，通过递归替换实现。蒙特卡罗研究表明其在多数情况校准更好，能直接考虑自相关，相比其他方法有优势，但在特定条件下自身I型错误仍较高。
2026-10-28 stat.ME
Density-valued time series: Nonparametric density-on-density regression
本文提出一种基于非参数函数对函数回归的概率密度函数预测方法，解决了密度数据非线性受约束导致传统预测困难的问题，并从理论和实验上验证了其准确性与有效性。
2025-10-12 stat.AP stat.ME
Community Network Auto-Regression for High-Dimensional Time Series
对大规模网络节点的响应进行建模是一项重要的任务，在实践中经常出现。提出了一种社区网络向量自回归（CNAR）模型，该模型利用网络结构来刻画高维时间序列的相关性和社区内同质性。CNAR模型通过允许不同网络社区的异构网络效应，大大提高了网络向量自回归（Zhu et al，2017，NAR）模型的灵活性和通用性。此外，非社区相关的潜在因素也包括在内，以解释未知的横截面依赖。网络社区的数量可以随着网络的扩展而发散，这导致估计发散的模型参数数量。我们得到了一组平稳条件，并开发了一个有效的两步加权最小二乘估计。建立了估计量的相合性和渐近正态性。理论结果表明，当误差具有因子结构时，两步估计比一步估计提高了一个数量级。CNAR模型的优点进一步说明了各种合成和真实的数据集。
2020-07-10 stat.ME
A marginalized three-part interrupted time series regression model for proportional data
Oregon Health & Science University（俄勒冈健康与科学大学）；Kaiser Permanente Washington Health Research Institute（凯撒永久华盛顿健康研究所）；University of Washington（华盛顿大学）；King’s College London（伦敦国王学院）
本文提出一种边际化零一膨胀贝塔时间序列模型，通过Copula捕捉时间依赖性，用于分析协变量对边际均值的影响，通过模拟研究和实际案例验证其有效性。
2024-08-01 stat.AP stat.ME
Model-based clustering with Hidden Markov Model regression for time series with regime changes
Paris Nord University（巴黎第十三大学）；IFSTTAR（法国交通与安全科学技术研究所）；Heudiasyc Lab（Heudiasyc实验室）
本文介绍了一种新的基于模型的聚类方法聚类时间序列，目前的政权变化。它由隐藏的马尔可夫链控制的多项式回归的混合物组成。每个簇的潜在隐藏过程在时间上连续激活几个多项式机制。参数估计通过专用期望最大化（EM）算法采用极大似然法进行。所提出的方法进行评估，使用模拟时间序列和现实世界的时间序列从铁路诊断应用程序发出。与现有的时间序列聚类方法，包括高斯混合的标准EM，$K$均值聚类，标准混合回归模型和混合隐马尔可夫模型的比较，证明了该方法的有效性。
2013-12-25 cs.LG stat.ME stat.ML
Time Series Analysis of the Southern Oscillation Index using Bayesian Additive Regression Trees
贝叶斯加性回归树（Bayesian additive regression trees，BART）是由Chipman等人（2008）开发的一种回归技术。它在标准回归设置中的有用性已被清楚地证明，但它尚未被应用于时间序列分析。我们讨论的困难，应用这种技术的时间序列分析，并证明其优越的预测能力的情况下，一个众所周知的时间序列：南方涛动指数。
2018-04-05 stat.AP
Directed Time Series Regression for Control
Stanford University（斯坦福大学）
提出定向时间序列回归方法，结合最小二乘回归与经验优化的优点，用于确定性等价模型预测控制中的时间序列模型参数估计，在随机倒立摆平衡问题中显著提升控制器性能。
2012-06-26 cs.LG cs.SY eess.SY
Simultaneous Sieve Inference for Time-Inhomogeneous Nonlinear Time Series Regression
本文研究了一般局部平稳时间序列的非时齐非线性时间序列回归问题。一方面，我们提出了时变回归函数的筛分非参数估计，它可以达到最小-最大最优速率。另一方面，我们发展了一个统一的同时推理理论，可以用来进行结构和精确形式的功能测试。我们提出的统计是强大的，即使在当地弱的替代品。我们还提出了一个乘法器自举程序的实际实施。我们的方法和理论不需要对回归函数进行任何结构假设，并且我们还允许函数在无界域中得到支持。我们还建立了无界区域上二维函数的筛逼近论和高维局部平稳时间序列的仿射型和二次型的高斯逼近结果，这些结果是独立的.数值模拟和一个真实的财务数据分析提供了支持我们的结果。
2021-12-16 math.ST stat.ME stat.TH
Dynamic linear regression models for forecasting time series with semi long memory errors
University of Technology Sydney（悉尼科技大学）；University of New South Wales（新南威尔士大学）
本文提出一种新的动态线性回归模型，以捕捉误差的长程依赖性，提升预测能力，并通过马尔可夫链蒙特卡洛方法实现高效贝叶斯推断。
2026-04-01 stat.CO stat.ME
Dynamic principal component regression for forecasting functional time series in a group structure
在制定国家和国家以下各级的社会政策和年金定价时，必须准确预测死亡率，并确保国家以下各级的预测与国家一级的预测相一致。这激发了最近的事态发展预测功能时间序列在一组结构，静态主成分分析使用。在存在中度到强烈的时间依赖性，静态主成分分析设计的独立和同分布的功能数据可能是不够的。因此，通过使用动态函数主成分分析，我们考虑了一个功能的时间序列预测方法与静态和动态主成分回归预测组结构中的每个序列。通过使用从日本死亡率数据库（2019年）获得的日本地区年龄别死亡率，我们调查了我们提议的扩展的点和区间预测精度，并随后提出建议。
2019-09-01 stat.AP stat.ME
High Dimensional Time Series Regression Models: Applications to Statistical Learning Methods
本文概述高维时间序列回归模型的估计与推断方法，涵盖高维相依数据极限理论、多协变量回归渐近理论及统计学习在时间序列分析中的应用。
2023-08-27 econ.EM stat.ML
Simultaneous Sieve Estimation and Inference for Time-Varying Nonlinear Time Series Regression
本文研究局部平稳时间序列的时变非线性回归，提出具有一致收敛性的筛非参数估计量，发展了统一的同时推断理论及乘子自助法，并开发了R包SIMle辅助实现。
2025-06-29 math.ST stat.ME stat.TH
Machine Learning Time Series Regressions with an Application to Nowcasting
本文介绍了结构化机器学习回归的高维时间序列数据可能在不同的频率采样。稀疏组LASSO估计器可以利用这样的时间序列数据结构，并优于非结构化LASSO。我们建立了一个框架内，允许混合过程的稀疏组LASSO估计的甲骨文不等式，并认识到金融和宏观经济数据可能有比指数尾重。一个实证应用，以nowcasting美国的GDP增长表明，估计表现良好相比，其他替代品和文本数据可以是一个有用的除了更传统的数值数据。
2020-12-12 econ.EM stat.AP stat.ME
A Note on Local Linear Regression for Time Series in Banach Spaces
该研究将局部线性回归推广到Banach空间值时间序列，分析了标准与减偏Jackknife估计量的渐近性质，通过模拟验证有限样本性能，并应用于EEG信号平滑及视频目标检测任务。
2025-03-19 math.ST stat.ME stat.TH
Multiscale clustering of nonparametric regression curves
在广泛的现代应用中，我们观察到大量的时间序列，而不仅仅是一个单一的。人们常常很自然地认为，在所观察到的时间序列中存在某种群结构。当每个时间序列由非参数回归方程建模时，可以特别地假设所观察到的时间序列可以被划分为少数组，这些组的成员共享相同的非参数回归函数。我们开发了一个无带宽的聚类方法来估计未知的组结构的数据。更准确地说，我们构造了未知组及其未知数的多尺度估计，这些估计不需要经典的带宽或平滑参数。在本文的理论部分，我们分析了我们的估计的统计性质。我们的理论结果是在一般条件下得出的，该条件允许数据在时间序列方向上和跨不同的时间序列都是依赖的。本文的技术分析是由模拟研究和实际数据应用的补充。
2019-03-04 math.ST stat.ME stat.TH
A dynamic hybrid model based on wavelets and fuzzy regression for time series estimation
本文将模糊逻辑与小波分解相结合，提出了一种用于金融时间序列估计的逐步动态混合模型。利用模糊回归、小波分解以及新的混合模型对著名的$SP500$指数金融时间序列进行了实证检验。实证检验表明了混合模型的有效性。
2011-02-17 math.ST q-fin.ST stat.TH
A regression model with a hidden logistic process for feature extraction from time series
提出了一种从时间序列中提取特征的新方法。这种方法包括一个特定的回归模型，其中包含一个离散的隐藏逻辑过程。通过专用期望最大化（EM）算法执行的极大似然方法估计模型参数。在期望最大化算法的内循环中，隐逻辑过程的参数使用多类迭代重加权最小二乘（IRLS）算法来估计。一个分段回归算法及其迭代变量也被认为是比较。使用模拟和真实数据的实验研究表明，所提出的方法具有良好的性能。
2013-12-25 cs.LG math.ST stat.ME
Self-Normalized Inference in (Quantile, Expected Shortfall) Regressions for Time Series
本文提出基于自归一化的时间序列（分位数，期望损失）回归推断方法，无需调优参数且尺寸正确，并通过模拟和两个实证应用验证其有效性。
2025-06-23 econ.EM math.ST stat.TH
Time Series Extrinsic Regression
Monash University（莫纳什大学）
本文研究了时间序列外部回归（TSER）：一种回归任务，其目的是学习时间序列和连续标量变量之间的关系;一种与时间序列分类（TSC）密切相关的任务，其目的是学习时间序列和类别标签之间的关系。此任务概括了时间序列预测（TSF），放宽了预测值是输入序列的未来值或主要取决于最近值的要求。在本文中，我们激励和研究这一任务，并基准现有的解决方案和适应TSC算法上的一个新的档案19 TSER数据集，我们已经组装。我们的研究结果表明，与其他TSC算法和最先进的机器学习（ML）算法（如XGBoost，随机森林和支持向量回归）相比，最先进的TSC算法Rocket在适应回归时达到了最高的整体准确度。更重要的是，我们表明，在这一领域需要进行大量的研究，以提高ML模型的准确性。我们还发现证据表明，进一步的研究有很好的前景，改善这些简单的基线。
2021-02-03 cs.LG stat.ML
Ridge Regression on Riemannian Manifolds for Time-Series Prediction
本文提出面向时间序列预测的黎曼流形岭回归方法，结合贝塞尔曲线拟合、流形协方差与马氏距离正则化，推导梯度显式公式实现高效优化，经合成实验与飓风预报验证可有效降低预测误差。
2025-11-19 cs.NA math.DG math.NA
Time series modeling by a regression approach based on a latent process
Compiègne University of Technology（贡比涅技术大学）；French National Institute for Transport and Safety Research (INRETS)（法国国家运输与安全研究所（INRETS））
时间序列用于许多领域，包括金融、工程、经济和生物信息学，通常用于表示测量随时间的变化。然后，可以使用建模技术来给出这种数据的合成表示。提出了一种新的时间序列建模方法。它包括一个回归模型，其中包含一个离散的隐藏逻辑过程，允许平滑或突然激活不同的多项式回归模型。通过专用期望最大化（EM）算法执行的极大似然方法估计模型参数。期望最大化算法的M步使用多类迭代重加权最小二乘（IRLS）算法来估计隐藏的过程参数。为了评估所提出的方法，模拟数据和真实世界的数据进行了实验研究，使用两种替代方法：异方差分段回归模型，使用基于动态规划的全局优化算法，和隐马尔可夫回归模型，其参数估计的鲍姆-韦尔奇算法。最后，在法国铁路基础设施的组件的远程监控的背景下，更特别的开关机制，所提出的方法已被应用到建模和分类的时间序列表示在开关操作过程中获得的条件测量。
2013-12-25 cs.LG math.ST stat.ME
A Bernstein-type Inequality for High Dimensional Linear Processes with Applications to Robust Estimation of Time Series Regressions
针对超高维、肥尾且序列相关的时间序列数据，本文提出新的 Bernstein 型不等式，并用于稳健时间序列回归和肥尾 VAR 估计，在温和条件下允许维数随样本量指数增长并保持一致性。
2023-04-19 math.ST stat.TH
Bayesian Regression Approach for Building and Stacking Predictive Models in Time Series Analytics
Ivan Franko National University of Lviv（利沃夫伊万·弗兰科国立大学）
本文介绍了使用贝叶斯回归建立时间序列模型和堆叠不同的预测模型的时间序列。分析了贝叶斯回归在非线性趋势时间序列建模中的应用。这种方法使得有可能估计时间序列预测的不确定性并计算风险值特性。本文讨论了一种基于贝叶斯回归的时间序列分层模型。在这种方法中，一组参数对于所有数据样本是相同的，其他参数对于不同组的数据样本可以是不同的。这种方法允许在指定时间序列的短历史数据的情况下使用该模型，例如在销售预测问题中的新店或新产品的情况下。在预测模型的叠加研究中，采用ARIMA、神经网络、随机森林、Extra Tree等模型进行了第一层的预测。在第二个层次上，这些模型对验证集的时间序列预测用于贝叶斯回归的叠加。这种方法给出了这些模型的回归系数的分布。这使得它有可能估计的不确定性，由每个模型叠加结果的贡献。关于这些分布的信息使我们能够选择一组最佳的堆叠模型，同时考虑到领域知识。堆叠预测模型的概率方法使我们能够对决策过程中重要的预测进行风险评估。
2022-01-06 cs.AI cs.CL cs.LG
A consistent deterministic regression tree for non-parametric prediction of time series
EDF R&D（法国电力研发中心）；GREGHEC (HEC Paris, CNRS)（GREGHEC（巴黎高等商学院、法国国家科学研究中心））；Inria（法国国家信息与自动化研究所）
我们研究有界平稳遍历过程的在线预测。要做到这一点，我们考虑设置的预测个别序列，并建立一个确定性的回归树，执行渐近以及最好的L-Lipschitz常数预测。然后，我们证明了为什么所得到的遗憾界需要关于有界平稳遍历过程类的渐近最优性。
2014-05-08 cs.LG math.ST stat.ML
A Large Deviation Inequality for $β$-mixing Time Series and its Applications to the Functional Kernel Regression Model
本文给出了一个新的随机变量和的大偏差不等式：$Z_k = f(X_k,X_t)$对于$k,t\in \mathbb{N}$，$t$固定，其中基本过程$X$是$β$ -混合.该不等式可用于导出浓度不等式。我们在Ferraty等人（2007）的函数核回归模型中证明了它的有用性，我们研究了动态预测的一致性。
2017-07-04 math.ST stat.TH
Confidence bands in nonparametric time series regression
研究了非线性随机回归模型中均值回归和条件方差（或波动率）函数的非参数估计。同时置信带的构建和覆盖概率是渐近正确的。强加的依赖结构允许在许多线性和非线性自回归过程中的应用。结果应用于S&P 500指数数据。
2008-08-07 math.ST stat.TH
Nonparametric regression for locally stationary time series
在本文中，我们研究了非参数模型，允许局部平稳回归和回归函数，随着时间的推移平滑变化。这些模型是具有时变系数的时间序列模型的自然扩张。我们引入了一种基于核的方法来估计时变回归函数，并为我们的估计提供了渐近理论。此外，我们证明了理论的主要条件是满足一个大类的非线性自回归过程的时变回归函数。最后，我们研究结构化模型，其中回归函数分裂成随时间变化的附加组件。如将看到的，在这些模型中的估计不受维数灾难的影响。
2013-02-18 math.ST stat.TH
Conditional mode regression: Application to functional time series prediction
本文考虑$α$ -混合观测值，并在给定随机变量$X$取值于半度量空间的情况下，讨论了标量响应变量$Y$的条件模的估计.给出了估计量在$L^p$范数下的收敛速度。最后给出了函数时间序列预测的一个典型应用。
2008-12-29 stat.AP
On Robust Inference in Time Series Regression
针对时间序列回归中OLS-HAC推断的四个主要缺陷，提出简单易行的DURBIN动态回归程序，通过模拟验证其能有效避免这些问题，提升推断稳健性。
2024-05-27 econ.EM stat.AP
Estimating change points in nonparametric time series regression models
在本文中，我们考虑一个回归模型，允许时间序列协变量以及异方差与回归函数，是非参数建模。我们假设回归函数在某个未知时间发生变化$\lfloor ns_0\rfloor$、$s_0\in(0,1)$，我们的目标是估计（重新缩放的）变化点$s_0$。所考虑的估计是基于一个Kolmogorov-Smirnov功能的显着经验过程的残差。我们证明了估计量的一致性，并证明了$O_P(n^{-1})$的收敛速率，在这种情况下，该收敛速度显然是最优的，因为序列中只有$n$点。此外，我们还研究了滞后相关协变量的情况，即非参数（自动）回归函数发生变化的自回归模型，并给出了一致性结果。证明的方法也允许不同种类的泛函，这样Cramér-von Mises型估计可以被类似地考虑。该方法扩展了现有文献，允许非参数模型，时间序列数据以及异方差。有限样本模拟表明，我们的估计在回归和自回归模型中具有良好的性能，一个真实的数据例子表明了它在实践中的适用性。
2019-09-16 math.ST stat.TH
Difference-based covariance matrix estimate in time series nonparametric regression with applications to specification tests
针对时变系数函数线性模型，提出基于差分且去偏的长期协方差矩阵估计量，支持非平稳、长程相依与异方差，并用于结构稳定性和长记忆检验。
2024-02-28 math.ST stat.ME stat.TH
DecoR: Deconfounding Time Series with Robust Regression
ETH Zurich（苏黎世联邦理工学院）
针对时间序列因果推断中未观测混杂因素问题，提出基于频域鲁棒线性回归的DecoR方法，改进误差上界并证明一致性，实验验证其在合成与真实数据上的有效性及对模型误设的鲁棒性。
2024-11-18 cs.LG stat.ML
Yield curve and macroeconomy interaction: evidence from the non-parametric functional lagged regression approach
将收益率曲线视为潜在连续随机函数上的稀疏测量集合，使我们能够将其作为稀疏观测的函数时间序列进行统计建模。为此，我们使用最先进的非参数统计推断的方法，稀疏观察功能时间序列来分析美国国债收益率曲线对美国宏观经济变量的滞后回归依赖。我们的非参数分析证实了先前在参数假设下建立的研究结果，即联邦基金利率对收益率曲线短端的强烈影响和年通胀对收益率曲线长端的温和影响。
2020-07-06 stat.AP stat.ME
Ultrametric Wavelet Regression of Multivariate Time Series: Application to Colombian Conflict Analysis
我们首先追求的层次结构如何提供了一个很好的适应工具的变化分析的研究。然后，使用时间序列约束的层次聚类，我们开发了一种新的小波回归方法的实用方面。这提供了一种新的方式来链接多变量时间序列数据集与外部信号的层次关系。本报告通篇使用了1990年至2004年哥伦比亚冲突期间的暴力数据。最后，我们提出了一些建议，进一步研究社会暴力和市场力量之间的关系，即哥伦比亚冲突和美国毒品市场之间的关系。
2009-02-16 stat.AP stat.ML
A Case-Study on the Impact of Dynamic Time Warping in Time Series Regression
University College Dublin（都柏林大学学院）
众所周知，动态时间规整（DTW）在揭示不完全对齐的时间序列之间的相似性方面是有效的。在本文中，我们说明了光谱时间序列数据。我们表明，DTW是有效的，在回归任务时，只有一个单一的波长被认为是提高精度。当与k-最近邻结合时，DTW具有额外的优点，即它可以在时间序列的水平上揭示样本之间的相似性和差异。然而，在这个问题中，我们认为这里的数据可以在波长的光谱中获得。如果在许多波长上使用聚合统计（均值、方差），DTW的优势就不再明显。我们将此作为大数据在机器学习中胜过复杂模型的另一个例子。
2020-10-11 cs.LG stat.ML
Adversarial Examples in Deep Learning for Multivariate Time Series Regression
University of Missouri（密苏里大学）
多元时间序列（MTS）回归任务在许多现实世界的数据采掘应用中很常见，包括金融、网络安全、能源、医疗保健、统计学等。由于深度学习（DL）算法在包括图像识别和计算机视觉在内的各个领域取得了巨大成功，研究人员开始采用这些技术来解决MTS数据采掘问题，其中许多问题针对安全关键型和成本关键型应用。不幸的是，DL算法以其对对抗性示例的敏感性而闻名，这也使得用于MTS预测的DL回归模型也容易受到这些攻击。据我们所知，以前的工作没有探索过DL MTS回归模型对对抗性时间序列示例的脆弱性，这是一个重要的步骤，特别是当这些模型的预测用于安全关键型和成本关键型应用时。在这项工作中，我们利用图像分类领域现有的对抗攻击生成技术，并为三种最先进的深度学习回归模型制作对抗性多变量时间序列示例，特别是卷积神经网络（CNN），长短期记忆（LSTM）和门控递归单元（GRU）。我们使用Google股票和家庭功耗数据集来评估我们的研究。结果表明，所有评估的DL回归模型都容易受到对抗攻击的攻击，并且具有可转移性，从而在能源和金融等安全关键和成本关键领域可能导致灾难性后果。
2020-09-24 cs.LG stat.ML
Beta regression for time series analysis of bounded data, with application to Canada Google${}^\circledR$ Flu Trends
在实际应用中经常会遇到由比率或比例组成的有界时间序列。本文提出了一种实用的方法来分析有界时间序列，通过贝塔回归模型。该方法允许直接解释的回归参数的原始响应规模，同时适当占异方差典型的有界变量。序列相关性由高斯Copula建模，相关矩阵对应于平稳的自回归和移动平均过程。它表明，推理，预测和控制可以直接进行，与自回归和移动平均模型的标准分析的微小修改。该方法的动机是应用于Google ${}^\circledR$ Flu Trends项目估计的流感样疾病发病率。
2014-04-14 stat.AP
Valid and Efficient Split Conformal Regression for Time Series
University of Chicago（芝加哥大学）；Illinois Institute of Technology（伊利诺伊理工学院）
本文针对时间序列分割保形回归，引入函数依赖度量替代混合条件，首次同时建立非渐近覆盖保证与区间长度准确性，并证明长记忆下校准长度收敛快于中心估计。
2026-09-29 math.ST stat.ML stat.TH
Prediction of Dynamical time Series Using Kernel Based Regression and Smooth Splines
University of Michigan（密歇根大学）
利用支持向量机或基于核函数的回归方法对含有加性噪声的动态时间序列进行预测，已证明对某些离散动态系统是一致的。一致性意味着这些方法在计算给定当前坐标的未来时间点的期望值时是有效的。然而，目前的坐标本身是有噪声的，因此，这些方法在去除噪声方面不一定有效。在这篇文章中，我们认为去噪和预测作为单独的问题，流，而不是离散时间动力系统，并表明使用光滑样条是更有效地消除噪声。平滑样条和基于核的回归的组合产生的预测器在基准上通常更准确，通常是2倍或更多。我们证明了基于核的回归结合光滑样条收敛到精确的预测时间序列从任何足够光滑的流的任何紧凑的不变集。作为收敛的结果，可以找到基于核的回归与平滑样条的组合甚至优于$100$的因子的示例。我们计算的预测器对延迟坐标数据而不是通常不可观测的完整状态向量进行操作。
2018-06-20 cs.LG stat.ML
Zero-shot and few-shot time series forecasting with ordinal regression recurrent neural networks
University of Oxford（牛津大学）；Mind Foundry Ltd.（思维铸造有限公司）
循环神经网络（RNN）在几个顺序学习任务中是最先进的，但它们通常需要大量的数据才能很好地概括。对于许多时间序列预测（TSF）任务，在训练时可能只有几十个观测值可用，这限制了这类模型的使用。我们提出了一种新的基于RNN的模型，通过在许多量化时间序列的空间上学习共享特征嵌入来直接解决这个问题。我们展示了这如何使我们的RNN框架能够准确可靠地预测看不见的时间序列，即使在几乎没有训练数据可用的情况下。
2020-03-26 cs.LG stat.ML
Rethinking Remaining Useful Life Prediction with Scarce Time Series Data: Regression under Indirect Supervision
School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（电子与电气工程学院，南洋理工大学，新加坡）
本文提出参数化静态回归框架，用于在数据稀缺情况下进行剩余寿命预测，通过参数化校正过程处理间接监督下的时间依赖性，提升预测精度。
2025-04-12 cs.LG stat.ML
Multiscale inference and long-run variance estimation in nonparametric regression with time series errors
在本文中，我们开发了新的多尺度方法来测试定性假设的回归函数m的非参数回归模型与固定的设计点和时间序列错误。在时间序列应用中，m表示非参数时间趋势。实践者通常对趋势m是否具有某些形状属性感兴趣。例如，他们想知道m是否是常数，或者它是否在某些时间区域内增加/减少。我们的多尺度方法允许测试趋势m的这种形状属性。为了执行的方法，我们需要一个估计的长期方差的误差过程。对于误差项构成AR（p）过程的情形，我们提出了一种新的基于差分的长期误差方差估计。在本文的技术部分，我们推导出了多尺度检验的渐近理论和长期误差方差的估计。该理论是补充模拟研究和气候数据的实证应用。
2019-03-04 math.ST stat.TH
Seasonally-Adjusted Auto-Regression of Vector Time Series
Stanford University（斯坦福大学）
提出了一种简单的预测向量时间序列的算法，该算法在训练和推理中对缺失数据具有鲁棒性。它对季节性的年度、每周和每日基线以及季节性调整残差的高斯过程进行建模。我们开发了一个自定义截断特征分解，以适应低秩加块对角高斯内核。使用Schur补进行推理，使用Tikhonov正则化来防止过拟合，并使用Woodbury公式来有效地反转内核的子矩阵。推理需要在时间序列维度上线性的内存和计算量，因此模型可以扩展到非常大的数据集。我们还提出了一个简单的“贪婪”网格搜索自动超参数调整。该文件附有沙皇（即，时间序列自回归器），一个实现该算法的Python库。
2019-11-04 cs.LG math.OC stat.ML
A Non-linear Function-on-Function Model for Regression with Time Series Data
Hitachi America, Ltd.（日立美国有限公司）；Penn State University（宾夕法尼亚州立大学）
在过去的几十年里，为非标量变量（包括时间序列、文本、图像和视频）构建回归模型吸引了数据分析界越来越多的研究人员的兴趣。在本文中，我们专注于一个多元时间序列回归问题。具体来说，我们的目标是学习从特定时间间隔S内的多个按时间顺序测量的数值变量到时间间隔T上的多个感兴趣的数值变量的数学映射。现有技术，包括多变量回归模型、Seq 2Seq模型和函数线性模型，受到若干限制。前两类模型只能处理有规律的观测时间序列。此外，传统的多元回归模型往往是有偏的和效率低下的，因为它们不能编码的时间依赖性之间的观察从同一时间序列。顺序学习模型明确地使用相同的参数集，这对准确性有负面影响。函数数据分析（统计学的一个分支）中的函数对函数线性模型不足以捕捉所考虑的时间序列之间的复杂相关性，并且容易发生欠拟合。在本文中，我们提出了一个一般的功能映射，包括功能上的功能线性模型作为一个特殊情况。然后，我们提出了一个非线性的功能上的功能模型，使用全连接的神经网络从数据中学习映射，解决了现有方法中的上述问题。对于所提出的模型，我们详细描述了相应的数值实现程序。通过对两个实际问题的应用，证明了该模型的有效性。
2020-11-24 cs.LG stat.ML
Toward optimal model averaging in regression models with time series errors
考虑一个具有无穷多个参数和时间序列误差的回归模型。我们感兴趣的是选择加权平均广义最小二乘（GLS）估计从一组近似模型。然而，GLS估计，依赖于未知的逆协方差阵的误差，通常是不可行的。因此，我们构造可行的广义最小二乘（FGLS）估计使用的未知逆矩阵的一致估计。基于此逆协方差阵估计和FGLS估计，我们发展了一个可行的自协方差校正的Malows模型平均准则来选择权重，从而提供了真实回归函数的FGLS模型平均估计。证明了当权向量属于一个连续集时，我们的平均估计的广义平方误差损失渐近等价于GLS模型平均估计的最小广义平方误差损失，该连续集包括Hansen（2007）中使用的离散权向量集作为其真子集.
2015-03-22 math.ST stat.TH
High dimensional regression for regenerative time-series: an application to road traffic modeling
一个统计预测模型，其中一个高维时间序列再生在每天结束时被用来模拟道路交通。由于再生，预测是基于使用向量自回归模型的每日建模，该模型线性组合了当天的过去观测。由于高维，学习算法遵循回归系数的L1惩罚。在路段数随观测天数趋于无穷大的高维框架下建立了超额风险边界。考虑到浮动汽车在城市地区观察到的数据，该方法相比，国家的最先进的方法，包括神经网络。除了在预测方面具有很强的竞争力外，它还可以识别道路网络中最具决定性的路段。
2021-01-26 math.ST stat.ML stat.TH
Methodology and Convergence Rates for Functional Time Series Regression
函数线性模型将线性回归的概念扩展到响应和协变量是无限维希尔伯特空间的iid元素的情况。待估计的未知数是一个希尔伯特-施密特算子，其逆算子根据定义是无界的，从而使推理问题不适定。在本文中，我们考虑更一般的情况下，响应/协变量对的样本形成一个弱相关的平稳过程在各自的产品希尔伯特空间：简单地说，我们有一个功能时间序列之间的回归的情况下。我们考虑一个潜在的非线性过程的一般框架，利用时间序列的谱分析的最新进展。我们的主要结果是建立相应的回归系数的估计的收敛速率，后者形成一个可加序列的空间中的Hilbert-Schmidt算子。从某种意义上说，我们的主要结果可以看作是一个推广的经典功能的线性模型率，时间序列的情况下，只依赖于累积量混合条件。虽然分析变得相当多地涉及到依赖的情况下，率是惊人的可比性的i.i.d.。的情况下，但在一个额外的因素所造成的必要性，估计谱密度算子在一个非参数率，而不是参数率的协方差算子估计。
2016-12-21 math.ST stat.TH
Monash University, UEA, UCR Time Series Extrinsic Regression Archive
Monash University（莫纳什大学）；University of East Anglia（东英吉利大学）；University of California Riverside（加州大学河滨分校）
时间序列的研究在过去的十年里引起了人们的广泛兴趣，特别是时间序列分类（TSC）和时间序列预测（TSF）。TSC的研究极大地受益于加州大学河滨分校和东安格利亚大学（UCR/UEA）的时间序列档案。另一方面，时间序列预测的进步依赖于时间序列预测竞赛，如Makridakis竞赛、NN 3和NN 5神经网络竞赛以及一些Kaggle竞赛。每年，成千上万的论文提出了新的算法TSC和TSF利用这些基准档案。这些算法是针对这些特定问题而设计的，但是对于诸如使用光电容积描记图（PPG）和加速度计数据来预测人的心率的任务可能没有用。我们将此问题称为时间序列外回归（TSER），其中我们感兴趣的是从单变量或多变量时间序列预测单个连续值的更一般的方法。该预测可以来自相同的时间序列或与预测器时间序列不直接相关，并且不一定需要是未来值或严重依赖于最近值。据我们所知，研究到TSER已经收到的关注少得多，在时间序列研究界，并没有开发一般的时间序列外在回归问题的模型。大多数模型都是针对特定问题开发的。因此，我们的目标是通过引入第一个TSER基准档案来激励和支持TSER的研究。这个档案包含来自不同领域的19个数据集，具有不同的维度数量，不等长的维度和缺失值。在本文中，我们介绍了这个档案中的数据集，并对现有模型进行了初步的基准测试。
2020-10-20 cs.LG stat.ML
Explainable boosted linear regression for time series forecasting
Ryerson University（瑞尔森大学）；University of Toronto（多伦多大学）；Bogazici University（博阿齐奇大学）
时间序列预测涉及收集和分析过去的观测结果，以开发一个模型来推断这些观测结果到未来。对未来事件的预测在许多领域中是重要的，以支持决策，因为它有助于减少未来的不确定性。本文提出了一种基于可解释提升线性回归（EBLR）的时间序列预测算法，它是一种从基本模型开始，通过回归树解释模型误差的迭代法。在每次迭代中，导致最高误差的路径作为新变量添加到基础模型中。在这方面，我们的方法可以被认为是对一般时间序列模型的改进，因为它可以通过残差解释来结合非线性特征。更重要的是，使用导致错误最多的单一规则允许可解释的结果。所提出的方法扩展到概率预测，通过生成预测区间的基础上的经验误差分布。我们进行了详细的数值研究EBLR和各种其他方法进行比较。我们观察到EBLR通过提取特征大大提高了基础模型的性能，并提供了与其他成熟方法相当的性能。EBLR模型预测的可解释性和较高的预测精度使其成为一种很有前途的时间序列预测方法。
2020-09-18 cs.LG stat.ML
Estimating variances in time series linear regression models using empirical BLUPs and convex optimization
本文提出了一种时间序列模型中方差分量的两阶段估计方法FDSLRM，其观测值可以用线性混合模型（LMM）描述。我们估计方差的基础上，基本数量的时间序列预测方法称为克里格，经验（插件）最佳线性无偏预测FDSLRM中不可观测的随机成分。该方法可用于时间序列数据的任何绝对连续概率分布，并提供了不变的非负二次估计。作为应用凸优化和LMM方法的结果，我们解决了两个问题$-$理论上的存在性和最小二乘估计，非负（M）DOOLSE，和极大似然估计，（RE）MLE之间的等价性，作为我们的方法和FDSLRM的实际缺乏计算实现的可能的出发点。至于在$ n $观测时间序列值的情况下计算（RE）MLE，我们还发现了一种新的$\mathcal{O}(n)$阶算法，其在默认精度下比当前最好的基于Python（或R）的计算包（即CVXPY，CVXR，nlme，sommer和mixed）精确$10^7$倍，快$n^2$倍。我们说明了我们的结果上的三个真实的数据集$-$电力消耗，旅游和网络安全$-$，这是很容易获得的，可复制的，可共享的和可修改的形式，交互式笔记本电脑。
2019-05-19 stat.AP stat.CO stat.ME
Multi-Step-Ahead Time Series Prediction using Multiple-Output Support Vector Regression
对未来较长时间内的时间序列进行准确预测是一项具有挑战性的工作，对从业者和学者都有很大的兴趣。支持向量回归机（SVR）作为一种著名的智能算法，其标准形式可用于时间序列的多步预测，只需依赖迭代策略或直接策略。提出了一种新的基于多输入多输出（MIMO）预测策略的多输出支持向量回归（M-SVR）时间序列预测方法。此外，还对支持向量回归机的三种主要预测策略的排序进行了比较，为支持向量回归机作为建模技术时多步预测策略的选择提供了实际意义。所提出的方法进行了验证与模拟和真实的数据集。根据预测精度和计算成本进行定量和综合评估。结果表明：1）采用MIMO策略的M-SVR在计算量较大的情况下获得了最佳的预测精度; 2）采用直接策略的标准SVR获得了次佳的预测精度，但计算量最大; 3）采用迭代策略的标准SVR在预测精度方面最差，但计算量最小。
2014-01-11 cs.LG stat.ML
On the spectral density of the wavelet coefficients of long memory time series with application to the log-regression estimation of the memory parameter
近年来，利用小波分析估计记忆参数的方法在许多科学领域得到了广泛的应用。尽管它的广泛使用，严格的半参数渐近理论，相当于一个开发的傅立叶方法，仍然失踪。在这方面的贡献，我们适应经典的半参数框架介绍了罗宾逊和他的合著者估计的记忆参数（可能）非平稳过程。作为应用，我们得到了高斯过程记忆参数对数尺度回归估计的Minimax上界，并给出了其方差的显式表达式。
2006-08-17 math.ST stat.TH
An Efficient and Generalizable Symbolic Regression Method for Time Series Analysis
Fudan University（复旦大学）；Shanghai Jiao Tong University（上海交通大学）；Chongqing University（重庆大学）
针对符号回归在时间序列非线性动力学发现中效率低、泛化弱的问题，提出融合 MCTS 与神经网络的 NEMoTS，缩小搜索空间并替代耗时模拟，实验证明其在多方面表现优越。
2024-09-06 cs.LG stat.ML
