High-dimensional vector autoregressive time series modeling via tensor decomposition
经典的向量自回归模型是多元时间序列分析的基本工具。然而，当时间序列的数量和滞后阶数甚至是中等大的时候，它涉及太多的参数。本文提出将模型的转移矩阵重新排列成张量形式，通过张量分解，可以同时沿三个方向限制参数空间。相比之下，降秩回归方法只能在一个方向上限制参数空间。除了实现大幅降维，所提出的模型是可解释的因素建模的角度来看。此外，为了处理高维时间序列，本文考虑对因子矩阵施加稀疏性，以提高模型的可解释性和估计效率，从而导致稀疏诱导估计。对于低维的情况下，我们推导出所提出的最小二乘估计的渐近性质，并介绍了一个交替最小二乘算法。对于高维情形，我们建立了稀疏诱导估计的非渐近性质，并提出了正则化估计的ADMM算法。仿真实验和一个真实数据的例子表明，所提出的方法的优点，各种现有的方法。
2020-11-03 stat.ME
Tail-robust factor modelling of vector and tensor time series in high dimensions
针对重尾高维向量与张量时间序列因子建模问题，提出结合张量分解两步法与数据截断的鲁棒估计方法，推导其理论性质，给出因子数确定准则，经模拟和宏观数据验证性能良好。
2025-09-05 stat.ME
An Efficient and Interpretable Autoregressive Model for High-Dimensional Tensor-Valued Time Series
本文提出一种基于CP分解的监督因子建模方法，通过低秩加稀疏结构实现高维张量时间序列的高效降维与可解释自回归建模。
2025-06-02 stat.ME
Block Hankel Tensor ARIMA for Multiple Short Time Series Forecasting
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Tongji University（同济大学）；The University of Hong Kong（香港大学）；The Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Nagoya Institute of Technology（名古屋工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文提出了一种新的多时间序列预测方法。首先，采用多路延迟嵌入变换（MDT）将时间序列表示为低秩块汉克尔张量（BHT）。然后，高阶张量投影压缩核张量通过应用塔克分解。同时，广义张量自回归积分移动平均（ARIMA）显式地用于连续的核心张量来预测未来的样本。通过这种方式，所提出的方法在战术上将MDT张量化（利用相互相关性）和张量ARIMA与低秩Tucker分解结合到一个统一的框架中。该框架利用块汉克尔张量在嵌入空间中的低秩结构，捕捉多个TS之间的内在相关性，从而可以改善预测结果，特别是对于多个短时间序列。在三个公共数据集和两个工业数据集上的实验表明，与现有方法相比，BHT-ARIMA方法有效地提高了预测精度，降低了计算成本。
2020-02-25 cs.LG eess.SP stat.ML
Bayesian Tensor Factorisations for Time Series of Counts
提出基于张量分解的非参数贝叶斯框架，用于多元计数时间序列建模，通过MCMC推断重要滞后及其交互，并采用两步策略应对大规模数据计算挑战。
2023-11-10 stat.CO stat.ME
Temporal Tensor Transformation Network for Multivariate Time Series Prediction
IBM Almaden Research Center（IBM阿尔马登研究中心）
多变量时间序列预测在广泛的领域中有应用，并且被认为是一项非常具有挑战性的任务，特别是当变量具有相关性并表现出复杂的时间模式（例如季节性和趋势）时。许多现有的方法遭受强大的统计假设，高维数值问题，手动功能工程的努力，和可扩展性。在这项工作中，我们提出了一种新的深度学习架构，称为时间张量变换网络，它通过提出的时间切片堆栈变换将原始多变量时间序列转换为更高阶的张量。这产生了原始多变量时间序列的新表示，这使得卷积核能够从相对较大的时间区域中提取复杂的非线性特征以及可变的干扰信号。实验结果表明，时间张量变换网络在各种任务的基于窗口的预测上优于几种最先进的方法。所提出的架构还通过广泛的灵敏度分析展示了强大的预测性能。
2020-01-04 cs.LG stat.ML
Low-Rank Autoregressive Tensor Completion for Multivariate Time Series Forecasting
McGill University（麦吉尔大学）
时间序列预测是一个长期的研究课题，在许多领域都有重要的应用。从传感器网络收集的现代时间序列（例如，能量消耗和交通流量）通常是大规模的和不完整的，具有相当大的破坏和缺失值，使得难以执行准确的预测。在本文中，我们提出了一个低秩自回归张量完成（LATC）框架来建模多元时间序列数据。LATC的关键是将原始多变量时间序列矩阵（例如，传感器$\times$时间点）到三阶张量结构（例如，传感器$\times$一天中的时间$\times$一天），这允许我们将时间序列的固有节奏和季节性建模为全局模式。利用张量结构，我们可以将时间序列预测和缺失数据填补问题转化为一个通用的低秩张量补全问题。除了最小化张量秩，我们还集成了一个新的自回归范数的原始矩阵表示到目标函数。这两个组成部分发挥不同的作用。低秩结构使我们能够有效地捕捉所有三个维度的全球一致性和趋势（即，传感器之间的相似性、不同日期的相似性以及当前时间与历史上的同一天）。自回归范数可以更好地模拟局部时间趋势。我们在三个真实数据集上的数值实验表明，在缺失数据插补和滚动预测任务中，LATC中全局和局部趋势的集成具有优越性。
2020-06-18 cs.LG stat.ML
Learning Representations from Imperfect Time Series Data via Tensor Rank Regularization
Carnegie Mellon University（卡内基梅隆大学）；RIKEN Center for Artificial Intelligence Project（理化学研究所人工智能项目中心）
对包括多模态对话、问答、情感分析和语音识别的多模态语言处理的兴趣已经增加。然而，自然发生的多模态数据往往是不完美的，由于不完美的模态，丢失的条目或噪声损坏。为了解决这些问题，我们提出了一种基于张量秩最小化的正则化方法。我们的方法是基于观察，高维多模态时间序列数据往往表现出跨时间和模态的相关性，导致低秩张量表示。然而，噪声或不完整值的存在打破了这些相关性，并导致更高秩的张量表示。我们设计了一个模型来学习这种张量表示，并有效地正则化它们的秩。多模态语言数据的实验表明，我们的模型在各种程度的不完善取得了良好的效果。
2019-07-01 cs.CL cs.LG stat.ML
Rank Determination in Tensor Factor Model
因子模型是高维时间序列的一种有效分析工具，在经济、金融、统计等领域有着广泛的应用。本文发展了两个标准的张量因子模型的因子的数量的确定的信号部分的观测张量时间序列假设Tucker分解的核心张量作为因子张量。任务是确定核张量的维数。其中一个准则类似于基于信息的模型选择准则，另一个准则是对面板时间序列因子分析中常用的基于连续特征值比值的方法的扩展。理论上的结果，包括充分条件和收敛速度。结果包括向量因子模型作为特殊情况，具有额外的收敛速度。仿真研究提供了有前途的有限样本性能的两个标准。
2022-05-05 econ.EM stat.ME
Modelling matrix time series via a tensor CP-decomposition
本文提出基于张量CP分解的矩阵时间序列建模新方法，利用广义特征分析实现一次估计，并通过投影改进提升有限样本性能，在非平稳下建立渐近理论，有效降维建模与预测。
2022-07-25 stat.ME stat.ML
TEAFormers: TEnsor-Augmented Transformers for Multi-Dimensional Time Series Forecasting
New York University（纽约大学）；University of California, Riverside（加州大学河滨分校）；Notre Dame University（圣母大学）
本文提出 TEAFormer，通过可兼容现有 Transformer 的 TEA 张量展开与压缩模块保留多维时序结构，在三个基准和三种模型上显著提升预测性能并降低计算量。
2024-10-27 cs.AI cs.LG stat.ML
Threshold Tensor Factor Model in CP Form
Rutgers University（罗格斯大学）；University of Notre Dame（圣母大学）
本文提出了一种CP形式的阈值张量因子模型，通过整合阈值自回归结构，捕捉张量时间序列中的制度切换动态，同时保持低秩表示的简洁性和可解释性。
2025-11-24 econ.EM stat.AP stat.ME
Multi-linear Tensor Autoregressive Models
当代的时间序列分析已经看到越来越多的张量类型的数据，从许多领域。例如，股票可以根据规模、账面市值比和营业利润率进行分组，从而在每个月进行3向张量观察。我们提出了一个张量值时间序列的自回归模型，自回归项依赖于多线性系数矩阵。与传统的先对张量观测值进行向量化，再应用向量自回归模型的方法相比，张量自回归模型保留了张量结构，并允许相应的解释。我们介绍了三种估计的基础上投影，最小二乘，和极大似然。我们的分析同时考虑了固定维和高维设置。对于前者，我们建立了估计量的中心极限定理;对于后者，我们着重讨论了估计量的收敛速度和模型选择。通过模拟和实际例子证明了该模型的性能。
2021-10-03 stat.ME
Interpretable Dynamic Network Modeling of Tensor Time Series via Kronecker Time-Varying Graphical Lasso
SANKEN, The University of Osaka（SANKEN大学）
本文提出KTVGL方法，通过Kronecker积形式建模张量时间序列，实现动态网络的可解释性建模，提升边估计精度并降低计算成本。
2026-02-09 cs.LG stat.ML
Tensorial Recurrent Neural Networks for Longitudinal Data Analysis
The University of Sydney（悉尼大学）
传统的循环神经网络假设向量化数据作为输入。然而，现代科学技术中的许多数据都是以特定的结构出现的，例如张量时间序列数据。为了将循环神经网络应用于这种类型的数据，矢量化过程是必要的，而这种矢量化导致空间或纵向维度的精确信息的丢失。此外，这样的矢量化数据不是用于学习纵向数据的表示的最佳解决方案。在本文中，我们提出了一种新的变形张量神经网络，直接采取张量时间序列数据作为输入。我们称这种新的变体为张量递归神经网络（TRNN）。所提出的TRNN是基于张量Tucker分解。
2017-08-01 cs.CV cs.LG stat.ML
Transform-Based Multilinear Dynamical System for Tensor Time Series Analysis
Xidian University（西安电子科技大学）；Columbia University（哥伦比亚大学）；Nokia-Bell Labs（诺基亚贝尔实验室）
提出了一种新的变换域多线性动力系统（MLDS），命名为$\mathcal{L}$ -MLDS，用于张量时间序列的建模。通过对张量数据进行变换，建立了前切片之间的潜在多维相关性，从而导致变换域中的计算独立性。这使得多维问题可以精确分离为多个较小的LDS问题。为了估计系统参数，我们利用期望最大化（EM）算法来确定每个LDS的参数。此外，$\mathcal{L}$ -MLDS显著地减少了模型参数并且允许并行处理。我们的通用$\mathcal{L}$ -MLDS模型是基于不同的变换实现的：离散傅立叶变换，离散余弦变换和离散小波变换。由于这些变换的非线性，$\mathcal{L}$能够捕获数据内的非线性相关性，这与假设多路线性相关性的MLDS \cite{rogers2013multilinear}不同。使用四个真实的数据集，建议的$\mathcal{L}$ -MLDS显示，实现更高的预测精度比国家的最先进的MLDS和LDS具有相同数量的参数下不同的噪声模型。特别地，通过$50\% \sim 99\%$减小相对误差。同时，$\mathcal{L}$ -MLDS在模型的训练时间上比MLDS实现了指数级的改进。
2018-11-18 cs.AI cs.LG stat.ML
Tensor learning with orthogonal, Lorentz, and symplectic symmetries
CUNEF Universidad（CUNEF大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Oregon State University（俄勒冈州立大学）；Adelphi University（阿德菲大学）；Flatiron Institute（熨斗研究院）
本文提出了一种基于正交、洛伦兹和辛对称性的张量学习方法，通过等变架构提升时间序列、材料科学和理论计算机科学中的模型性能。
2026-02-10 cs.AI cs.LG stat.ML
Seq2Tens: An Efficient Representation of Sequences by Low-Rank Tensor Projections
University of Oxford（牛津大学）
时间序列、视频或文本等顺序数据可能很难分析，因为有序结构会产生复杂的依赖关系。其核心是不可交换性，在这个意义上，重新排序序列的元素可以完全改变其含义。我们使用一个经典的数学对象-张量代数-来捕捉这种依赖关系。为了解决高阶张量固有的计算复杂性，我们使用低秩张量投影的组合。这为神经网络提供了模块化和可扩展的构建块，这些构建块在标准基准上提供了最先进的性能，例如多变量时间序列分类和视频生成模型。
2021-07-30 cs.LG stat.ML
Beyond the Signs: Nonparametric Tensor Completion via Sign Series
我们考虑的问题，张量估计噪声观测可能丢失的条目。基于一个新的模型，我们硬币作为符号表示张量的张量完成的非参数方法。该模型使用一系列结构化符号张量表示感兴趣的信号张量。与早期的方法不同，符号序列表示有效地解决了低秩和高秩信号，同时包含许多现有的张量模型-包括CP模型，Tucker模型，单索引模型，几个超图子模型-作为特殊情况。我们表明，符号张量系列的理论特征，计算估计，通过分类任务，仔细指定的权重。建立了超额风险界限、估计误差率和样本复杂度。我们在两个数据集上证明了我们的方法优于以前的方法，一个是人脑连接网络，另一个是主题数据挖掘。
2021-01-31 cs.LG math.ST stat.ME
On Testing Kronecker Product Structure in Tensor Factor Models
本文提出一种检验张量因子模型中因子载荷矩阵是否具有Kronecker积结构的方法，通过比较完整模型与重塑数据模型的残差，利用渐近正态性建立理论，实验验证了检验的有效性，并应用于纽约出租车和金融数据。
2025-01-20 math.ST stat.ME stat.TH
Estimation and Inference for CP Tensor Factor Models
University of Rochester（罗切斯特大学）；University of Notre Dame（圣母大学）
针对各维度均发散的高维CP张量因子模型，提出迭代同步投影估计方法，建立一致性与渐近正态推断理论及因子数估计，并通过模拟和投资组合实证验证。
2025-09-29 econ.EM math.ST stat.ME
Tensor Factor Model Estimation by Iterative Projection
本文提出两种基于迭代正交投影的张量因子模型估计方法，显著提升估计精度与收敛速度，并推导下界证明最优性。
2024-07-18 econ.EM math.ST stat.ME
Spectral Change Point Estimation for High Dimensional Time Series by Sparse Tensor Decomposition
East China Normal University（华东师范大学）
该研究针对高维时间序列，提出基于稀疏张量分解的频域变点检测方法，经理论保证和仿真、股票收益应用验证，可定位变点并识别对应激活序列与频率。
2026-08-25 stat.ME
Tensor PCA for Factor Models
针对高维面板数据，提出张量因子模型及张量主成分分析算法，证明其在强因子下最优，弱因子下可通过交替最小二乘法提升收敛速度，并首次提出因子数量检验方法及缺失值填补应用。
2025-03-06 econ.EM math.ST stat.AP
CP Factor Model for Dynamic Tensors
本文提出一种类似CP分解的动态张量因子模型，利用高阶投影估计器分析高维张量时间序列，理论误差界和模拟验证其优势。
2024-04-18 econ.EM stat.ME
Bayesian factorizations of big sparse tensors
收集以多路数组（张量）结构化的数据已成为常规。关于低秩和稀疏矩阵分解有大量的文献，但对统计学中张量情况的扩展的考虑有限。最常见的低秩张量因式分解依赖于并行因子分析（PARAFAC），其将秩$k$张量表示为秩1张量的和。当观测值只对一个大张量的一小部分细胞可用时，低秩假设是不够的，PARAFAC的性能很差。我们诱导一个额外的层的降维，允许有效的排名不同的维度表。为了具体起见，我们重点介绍列联表应用程序。以贝叶斯方法，我们把先验的因式分解的条款，并开发一个有效的吉布斯采样后验计算。理论提供显示后浓度率在高维设置，和方法被证明具有良好的性能，在模拟和几个真实的数据应用。
2013-06-07 stat.ME
Tucker tensor factor models: matricization and mode-wise PCA estimation
针对高阶张量因子模型低秩结构估计的统计推断理论不足问题，研究通过张量矩阵化将其转化为按模式的高维因子模型，用模式PCA结合投影迭代提升信噪比，建立了推断理论并验证了其在张量重构与聚类中的有效性。
2024-12-13 stat.ME
Factor Augmented Tensor-on-Tensor Neural Networks
University of Notre Dame（圣母大学）
针对张量对张量回归预测，提出FATTNN模型，将张量因子模型融入深度神经网络，利用因子张量作为时间卷积网络输入，有效处理非线性关系，显著提升预测精度并降低计算成本。
2024-12-20 cs.LG stat.ME stat.ML
Semi-parametric TEnsor Factor Analysis by Iteratively Projected Singular Value Decomposition
本文提出半参数张量因子分析框架STEFA及迭代投影奇异值分解算法IP-SVD，通过引入协变量提升低秩张量分解的估计精度与收敛速度，并验证其在估计和预测任务中的有效性。
2024-04-02 stat.ME
