Analyzing Tensor Power Method Dynamics in Overcomplete Regime
University of California, Irvine（加州大学欧文分校）；Duke University（杜克大学）
我们提出了一种新的分析动力学的张量幂迭代的过完备制度，张量CP秩大于输入尺寸。求过完备张量的CP分解一般是NP-困难的。我们考虑的情况下，张量分量是随机绘制的，并表明，简单的电源迭代恢复组件有界误差在温和的初始化条件下。我们将我们的分析应用于潜变量模型的无监督学习，如多视图混合模型和球形高斯混合模型。给定三阶矩张量，我们使用张量幂迭代来学习参数。我们证明了当隐元数$k$远大于数据维数$d$，直到$k = o(d^{1.5})$时，它可以正确地学习模型参数。我们用数据样本初始化幂迭代，并在样本信噪比的温和条件下证明了它的成功。我们的分析显着扩展了类的潜变量模型，谱方法是适用的。我们的分析还处理了输入张量中的噪声，导致样本复杂性，从而应用于学习潜变量模型。
2015-09-14 cs.LG stat.ML
Dynamic Graph Convolutional Networks Using the Tensor M-Product
University of Colorado Boulder（科罗拉多大学博尔德分校）；IBM Research（IBM研究院）；Tufts University（塔夫茨大学）；Tel Aviv University（特拉维夫大学）
许多不规则的领域，如社交网络，金融交易，神经元连接，和自然语言结构使用图结构表示。近年来，各种图神经网络（GNN）已成功地应用于此类图的表示学习和预测。在许多现实世界的应用中，底层图随着时间的推移而变化，然而，大多数现有的GNN不足以处理这种动态图。在本文中，我们提出了一种新的技术学习嵌入的动态图使用张量代数框架。我们的方法扩展了流行的图卷积网络（GCN）的学习表示的动态图使用最近提出的张量M-产品技术。理论结果建立了张量方法和张量谱卷积之间的联系。所提出的方法TM-GCN是一致的消息传递神经网络（MPNN）的框架，占空间和时间的消息传递。在真实数据集上的数值实验证明了所提出的方法在动态图上的边缘分类和链接预测任务的性能。我们还考虑了与COVID-19大流行相关的应用，并展示了我们的方法如何用于从接触者追踪数据中早期检测感染者。
2021-01-23 cs.LG stat.ML
Understanding Deflation Process in Over-parametrized Tensor Decomposition
Duke University（杜克大学）；Shanghai Jiao Tong University（上海交通大学）
本文研究了过参数化张量分解问题上梯度流的训练动力学。从经验上讲，这种训练过程通常首先拟合较大的分量，然后发现较小的分量，这类似于张量分解算法中常用的张量收缩过程。我们证明，对于正交可分解的张量，稍微修改的版本的梯度流将遵循张量收缩过程，并恢复所有的张量分量。我们的证明表明，对于正交张量，梯度流动力学的工作原理类似于矩阵设置中的贪婪低秩学习，这是理解低秩张量过参数化模型的隐式正则化效应的第一步。
2021-10-24 cs.LG stat.ML
Dynamic Tensor Decomposition via Neural Diffusion-Reaction Processes
Kahlert School of Computing（卡勒特计算学院）；University of Utah（犹他大学）
本文提出DEMOTE方法，通过神经扩散-反应过程建模张量各模态实体的动态嵌入演化，并结合ODE求解器与分层抽样实现高效随机小批量学习，以更好地利用稀疏张量中的时间信息与结构知识。
2023-10-30 cs.LG stat.ML
Streaming Tensor Programs: A Streaming Abstraction for Dynamic Parallelism
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
STeP通过引入流式抽象和动态优化技术，提升了SDA在动态张量工作负载中的效率和性能。
2026-01-28 cs.AR cs.LG cs.PL
Tensor-Train Weak SINDy: Identifying High-Dimensional Nonlinear Dynamics
University of Colorado（科罗拉多大学）
提出TT-WSINDy方法，结合MANDy与WSINDy技术，利用张量列格式在高维空间中高效识别非线性动力学，避免维数灾难。
2026-10-02 cs.CE cs.LG stat.ML
Large-N dynamics of the spiked tensor model with random initial conditions
Université Paris-Saclay（巴黎萨克雷大学）；CEA（法国原子能和替代能源委员会）；List（列表研究所）
本文对具有随机初始条件的偏微分方程发展了一种路径积分方法。然后，我们将其应用到spiked张量模型的动力学，并证明了大- $N$鞍点方程是由melonic型图。
2022-08-26 cond-mat.dis-nn cs.LG hep-th
Event Tensor: A Unified Abstraction for Compiling Dynamic Megakernel
Anonymous Authors（匿名作者）
本文提出事件张量，一种统一的编译动态巨核抽象，通过编码 tiled 任务间的依赖关系，支持动态形状和数据依赖的动态性，从而提升大型语言模型服务的性能和减少系统预热开销。
2026-04-21 cs.DC cs.LG cs.PL
Partially Observed Dynamic Tensor Response Regression
University of Miami Herbert Business School（迈阿密大学赫伯特商学院）
在现代数据科学中，动态张量数据在许多应用中占主导地位。一个重要的任务是描述这种动态张量与外部协变量之间的关系。然而，张量数据往往只是部分观察到的，使许多现有的方法不适用。在这篇文章中，我们开发了一个回归模型，部分观察到的动态张量作为响应和外部协变量作为预测。我们在回归系数张量上引入了低秩、稀疏和融合结构，并考虑了一个投影到观测条目上的损失函数。我们开发了一个有效的非凸交替更新算法，并从我们的优化算法的每一步推导出实际估计的有限样本误差界。张量响应中未观察到的条目带来了严峻的挑战。因此，我们的建议有很大的不同，在估计算法，正则条件，以及理论性质，相比现有的张量完成或张量响应回归解决方案。我们说明了我们提出的方法使用模拟的有效性，和两个真正的应用程序，神经成像痴呆症的研究和数字广告的研究。
2021-05-13 cs.LG math.ST stat.ML
Inductive Framework for Multi-Aspect Streaming Tensor Completion with Side Information
Indian Institute of Science（印度科学学院）；Microsoft（微软）
低秩张量完备化是一个研究得很好的问题，在许多领域都有应用。然而，在许多现实世界的应用中，数据是动态的，即，新数据以不同的时间间隔到达。因此，用于表示数据的张量的大小会增加。除了张量之外，在许多现实世界的场景中，边信息也可以以矩阵的形式提供，这些矩阵的大小也会随着时间的推移而增长。预测动态增长张量中缺失值的问题称为动态张量完备化。以前的大多数动态张量完备化工作都假设张量只以一种模式增长。据我们所知，没有以前的工作，将边信息与动态张量完成。本文提出了一个动态张量完备框架，称为边信息注入增量张量分析（SIITA），它结合了边信息，适用于一般的增量张量。我们还展示了如何将非负约束与SIITA相结合，这对于挖掘可解释的潜在集群至关重要。我们在多个真实世界的数据集上进行了广泛的实验，以证明SIITA在各种不同环境中的有效性。
2018-09-01 cs.LG
A PID-Controlled Tensor Wheel Decomposition Model for Dynamic Link Prediction
Southwest University（西南大学）；Chongqing Aerospace Polytechnic（重庆航天职业技术学院）
本文提出PID控制的张量轮分解模型PTWD，结合张量轮分解的表示能力与PID控制优化策略，在四个真实数据集上验证了其优于现有模型的动态链路预测精度。
2025-06-06 cs.LG
Tensor Completion Leveraging Graph Information: A Dynamic Regularization Approach with Statistical Guarantees
本文提出一种动态图正则化张量补全方法，通过建立动态图的数学表示并推导新的张量导向图平滑正则化，提升稀疏观测和强动态下的恢复精度。
2026-03-15 cs.LG
DELTA: Dynamically Optimizing GPU Memory beyond Tensor Recomputation
Science and Technology on Parallel and Distributed Processing Laboratory（并行与分布处理国防科技重点实验室）；SenseTime Research（商汤科技研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
GPU有限的内存资源阻碍了深度神经网络的进一步发展。因此，对GPU内存资源的优化要求很高。交换和重新计算通常用于在深度学习中更好地利用GPU内存。然而，作为一个新兴的领域，一些挑战仍然存在：1）重新计算的效率是有限的静态和动态方法。2)交换需要手动卸载参数，这会带来很大的时间成本。3)目前还没有一种动态的、细粒度的方法将张量交换和张量重计算结合起来。为了解决上述问题，我们提出了一种新的调度管理器名为DELTA（动态tEnsor卸载和recomputATtion）。据我们所知，我们是第一个在没有用户监督的情况下，结合张量交换和张量重新计算来制作合理的动态运行时调度器的人。在DELTA中，我们提出了一个过滤器算法来选择要从GPU内存中释放的最佳张量，并提出了一个导演算法来为每个张量选择适当的动作。此外，预取和重叠的故意考虑，以克服交换和重新计算张量所造成的时间成本。实验结果表明，DELTA算法不仅节省了40%-70%的GPU内存，在很大程度上超过了现有算法，而且在可接受的时间延迟下，收敛效果与基线相当。此外，与基线相比，DELTA在训练ResNet-50时获得2.04 $\times$最大批量，在训练ResNet-101时获得2.25 $\times$最大批量。此外，通过对交换代价和重计算代价的比较，证明了合理的动态调度器对张量交换和重计算的重要性，反驳了相关研究中认为交换是最优选择的…
2022-06-21 cs.LG
Tensor Decompositions Meet Control Theory: Learning General Mixtures of Linear Dynamical Systems
MIT（麻省理工学院）
本研究基于张量分解提出线性动态系统混合模型学习新方法，无需强分量分离条件，效果可比肩贝叶斯最优聚类且适配部分观测场景，为算法拓展至复杂生成模型提供思路。
2023-07-23 cs.DS cs.LG math.OC
Tensor Decompositions for Modeling Inverse Dynamics
Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学）
本文提出利用张量分解方法建模逆动力学，通过处理位置、速度和加速度的三重交互，实现对高非线性函数的近似，并在SARCOS机械臂数据集上验证了其优越性。
2017-11-13 cs.LG cs.RO cs.SY
Analysis of Large-scale Traffic Dynamics using Non-negative Tensor Factorization
INRIA Saclay（法国国家信息与自动化研究所萨克雷研究中心）；MINES-ParisTech（巴黎高科矿业学院）
在本文中，我们提出了我们的工作，在大规模的道路网络中的全球拥堵配置的时间动态的聚类和预测。我们不关注单个链路或小区域的时间交通状态变化，而是关注整个网络的空间拥堵配置。在我们的工作中，我们的目标是描述这种网络级的交通状态的典型的时间动态模式，并实现长期预测的大规模的交通动态，在一个统一的数据挖掘框架。为此，我们使用非负张量分解（NTF）来制定这个联合任务，NTF已被证明是多变量数据序列的有用分解工具。基于紧凑张量因子分解结果执行聚类和预测。大规模模拟数据的实验说明了我们的方法的兴趣与有前途的结果，长期预测的交通演变。
2012-12-18 cs.LG
Tensor Graph Convolutional Network for Dynamic Graph Representation Learning
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Chinese Academy of Sciences（中国科学院）；Southwest University（西南大学）
本文提出张量图卷积网络，通过张量形式表示动态图并利用张量积在单一卷积框架中同时建模时空特征，在真实数据集上取得了最先进性能。
2024-01-13 cs.AI cs.LG
Langevin dynamics for high-dimensional optimization: the case of multi-spiked tensor PCA
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Unité de Mathématiques Pures et Appliquées (UMPA), ENS Lyon（里昂高等师范学院纯数学与应用数学研究所）
该研究针对多尖点张量PCA问题，利用朗之万动力学分析高维非凸优化，确定了精确恢复尖点所需的样本数量与SNR分离条件，揭示了恢复最大SNR尖点与所有尖点的样本复杂度阈值差异。
2026-08-14 cs.LG math.PR math.ST
Nonparametric Factor Trajectory Learning for Dynamic Tensor Decomposition
University of Utah（犹他大学）
张量分解是分析可以由多维数组表示的数据的基本框架。在实践中，张量数据通常伴随着时间信息，即生成条目值的时间点。这些信息意味着丰富的，复杂的时间变化模式。然而，目前的方法总是假设在每个张量模式中的实体的因子表示是静态的，并没有考虑他们的时间演化。为了填补这一空白，我们提出了用于动态张量分解的非参数因子轨迹学习（NONFAT）。我们将高斯过程（GP）的先验知识在频域和进行逆傅立叶变换通过高斯-拉盖尔求积采样的轨迹函数。通过这种方式，我们可以克服数据稀疏性，并在长时间范围内获得稳健的轨迹估计。给定特定时间点的轨迹值，我们使用第二级GP对条目值进行采样，并捕获实体之间的时间关系。为了实现高效和可扩展的推理，我们利用模型中的矩阵高斯结构，引入矩阵高斯后验，并开发了一种嵌套的稀疏变分学习算法。我们已经在几个实际应用中展示了我们的方法的优势。
2022-07-06 cs.LG
Large-scale Dynamic Network Representation via Tensor Ring Decomposition
School of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）
本文针对大规模动态网络表示学习，提出基于张量环分解并结合SLF-NMU原则的新模型，在两个真实动态网络上验证了其精度优于现有基于CPF的方法。
2023-04-18 cs.LG
Dynamic MRI using Learned Transform-based Tensor Low-Rank Network (LT$^2$LR-Net)
Harbin Institute of Technology（哈尔滨工业大学）
虽然低秩矩阵先验已被用于动态MR图像重建中并取得了令人满意的性能，但张量低秩模型最近已成为三维动态MR数据集的强有力的替代表示。在本文中，我们介绍了一种新的深度展开网络的动态MRI，即学习变换为基础的张量低秩网络（LT $^2$ LR-Net）。首先，我们将张量奇异值分解（t-SVD）推广到一个任意的酉变换为基础的版本，随后提出了新的变换张量核范数（TTNN）。然后，我们设计了一种新的TTNN的迭代优化算法的基础上交替方向的乘法器（ADMM），利用张量低秩先验变换域。相应的迭代步骤被展开到所提出的LT $^2$ LR-Net中，其中卷积神经网络（CNN）被合并以自适应地学习来自动态MR数据集的变换，以获得更鲁棒和准确的张量低秩表示。心脏电影MR数据集上的实验结果表明，所提出的框架可以提供更好的恢复结果相比，国家的最先进的方法。
2023-02-17 cs.CV cs.LG eess.IV
Dynamic Tensor Product Regression
Northwestern University（西北大学）；Adobe Research（奥多比研究院）；MIT（麻省理工学院）
在这项工作中，我们开始研究\emph{Dynamic Tensor Product Regression}。一个具有矩阵$A_1\in \mathbb{R}^{n_1\times d_1},\ldots,A_q\in \mathbb{R}^{n_q\times d_q}$和标签向量$b\in \mathbb{R}^{n_1\ldots n_q}$，目标是解决回归问题，其中设计矩阵$A$是矩阵$A_1, A_2, \dots, A_q$的张量积，即$\min_{x\in \mathbb{R}^{d_1\ldots d_q}}~\|(A_1\otimes \ldots\otimes A_q)x-b\|_2$。在每个时间步，一个矩阵$A_i$接收稀疏变化，目标是保持张量积$A_1\otimes\ldots \otimes A_q$的草图，以便回归解可以快速更新。从头开始重新计算每一轮的解决方案是非常缓慢的，因此，重要的是要开发算法，可以快速更新的解决方案与新的设计矩阵。我们的主要结果是一个动态的树数据结构的任何更新一个单一的矩阵可以迅速传播整个树。我们表明，我们的数据结构可以用来解决动态版本的不仅张量积回归，但也张量积样条回归（这是一个广义的岭回归）和维护低秩近似的张量积。
2023-01-10 cs.DS cs.LG
Tensor Programs IIb: Architectural Universality of Neural Tangent Kernel Training Dynamics
Microsoft Research（微软研究院）；Apple Research（苹果研究院）
Yang（2020 a）最近表明，对于包括ResNet和Transformers等现代主食在内的一大类架构，初始化时的神经切线核（NTK）具有无限宽度限制。然而，他们的分析并不适用于培训。在这里，我们展示了相同的神经网络（在所谓的NTK参数化中）在训练过程中遵循函数空间中的内核梯度下降动态，其中内核是无限宽度的NTK。这就完成了NTK行为的 * 架构通用性 * 的证明。为了实现这一结果，我们应用了张量程序技术：将整个SGD动力学写入张量程序，并通过主定理进行分析。为了方便这个证明，我们开发了一个张量程序的图形符号。
2021-05-08 cs.LG cs.NE math.PR
ShapeFlow: Dynamic Shape Interpreter for TensorFlow
University of Washington（华盛顿大学）；ETH Zurich（苏黎世联邦理工学院）
我们介绍了TensorFlow的动态抽象解释器ShapeFlow，它可以快速捕获张量形状不兼容错误，这是深度学习代码中最常见的错误之一。ShapeFlow与TensorFlow共享相同的API，但仅捕获和发出张量形状，这是其抽象域。ShapeFlow构造一个自定义形状计算图，类似于TensorFlow使用的计算图。ShapeFlow不需要程序员进行代码注释或代码修改，因此使用方便。我们对先前实证研究收集的52个程序进行了评估，以显示与TensorFlow相比，它可以快速准确地捕获形状不兼容错误。我们使用两个基线：最坏情况下的训练数据集大小和更现实的数据集大小。ShapeFlow高度准确地检测形状不兼容错误-没有假阳性和单个假阴性-并且非常高效-第一和第二基线的平均速度分别为499倍和24倍。我们相信Shapeflow是一个实用的工具，可以使机器学习开发人员受益。我们将在GitHub上开源ShapeFlow，使其公开提供给开发人员和研究社区。
2020-11-26 cs.LG cs.SE
Dynamic QoS Prediction via a Non-Negative Tensor Snowflake Factorization
针对动态 QoS 数据中大量未观测值影响服务选择的问题，提出非负雪花张量分解模型，通过设计雪花核心张量并采用 SLF-NMUT 进行参数学习，更准确地捕捉动态交互模式并提升缺失数据预测精度。
2025-04-24 cs.AI cs.LG
FTuner: A Fast Dynamic Shape Tensors Program Auto-Tuner for Deep Learning Compilers
School of Computer Science and Engineering（计算机科学与工程学院）；Beihang University（北京航空航天大学）
FTuner通过uKernel抽象计算单元拼接小张量以匹配动态输入形状，结合解析硬件信息模型，在保持与厂商库相当性能的同时将调优时间降低两个数量级。
2024-07-31 cs.DC cs.LG
Tensor Dynamic Mode Decomposition
Department of Mathematics, University of North Carolina at Chapel Hill（数学系，北卡罗来纳大学教堂山分校）
本文提出张量动态模式分解（TDMD），基于T-乘积框架将DMD扩展到三阶张量，结合张量分解技术，在多路数据任务中实现更高效计算并更好保留时空结构，在合成和真实数据上验证了有效性。
2025-08-04 cs.LG cs.SY eess.SY
Dynamic Cardiac MRI Reconstruction Using Combined Tensor Nuclear Norm and Casorati Matrix Nuclear Norm Regularizations
Harbin Institute of Technology（哈尔滨工业大学）
低秩张量模型已被应用于加速动态磁共振成像（dMRI）。最近，一种新的基于t-SVD的张量核范数被提出并应用于张量完备化。受张量核范数（TNN）和Casorati矩阵核范数（MNN）的不同性质的启发，我们引入了一个组合的TNN和Casorati MNN正则化框架来重建dMRI，我们称之为TMNN。该方法同时利用了动态MR数据的空间结构和时间相关性。交替方向乘子法（ADMM）可以有效地解决优化问题。为了进一步提高计算效率，我们提出了一种笛卡尔采样下的快速算法。基于心脏电影MRI和灌注MRI数据的数值实验表明，性能优于传统的Casorati核范数正则化方法。
2022-06-02 cs.CV cs.LG eess.IV
A Momentum-Incorporated Non-Negative Latent Factorization of Tensors Model for Dynamic Network Representation
School of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）
针对基于SGD的张量潜在因子分解模型尾部收敛差的问题，提出融入动量的非负张量分解模型MNNL，提升了动态网络表示的预测精度与收敛速度。
2023-05-04 cs.LG cs.SI
Ask Me Even More: Dynamic Memory Tensor Networks (Extended Model)
Stanford University（斯坦福大学）
我们研究了记忆网络的问答（QA）任务，在常见的现实世界的情况下，训练样本是稀缺的，在弱监督的情况下，即只有外部标签可用于训练。我们提出了动态记忆网络（DMN）的扩展，特别是在注意力机制中，我们称由此产生的神经结构为动态记忆张量网络（DMTN）。最终，我们看到，我们提出的扩展导致与基线标准DMN相比，通过的任务数量增加了80%以上，与Facebook单一任务弱训练1K bAbi数据集的最先进端到端内存网络相比，通过的任务增加了20%。
2017-03-11 cs.CL cs.LG cs.NE
Understanding the Spatio-temporal Topic Dynamics of Covid-19 using Nonnegative Tensor Factorization: A Case Study
Queensland University of Technology（昆士兰科技大学）
社交媒体平台通过使数十亿人能够无处不在地分享他们的想法和活动，为人类提供了一个数据驱动的世界。如果分析得当，这些庞大的数据可以为人们的行为提供有用的见解。在新型冠状病毒肺炎疫情下，现在比以往任何时候都更是了解人们在线行为的关键时刻，要详细了解人们在讨论什么话题，以及在哪里（空间）和何时（时间）讨论这些话题。针对海量社交媒体数据复杂度高、质量差的特点，需要一种有效的时空主题检测方法。本文提出了一种基于张量的社交媒体数据表示和非负张量因子分解（NTF），以识别社交媒体数据中讨论的主题以及时空主题动态。澳大利亚Twitter圈的Covid-19相关推文案例研究旨在识别和可视化Covid-19的时空主题动态
2020-09-19 cs.LG cs.SI
T2LR-Net: An unrolling network learning transformed tensor low-rank prior for dynamic MR image reconstruction
School of Electronics and Information Engineering, Harbin Institute of Technology（哈尔滨工业大学电子与信息工程学院）
针对动态MR重建中人工设计变换域难的问题，提出T2LR-Net展开网络，用CNN自适应学习变换域张量低秩先验，推广t-SVD并提出UTNN，基于ADMM展开算法，在两个心脏MRI数据集上性能优于现有方法。
2025-01-11 cs.CV cs.LG eess.IV
TENSILE: A Tensor granularity dynamic GPU memory scheduling method toward multiple dynamic workloads system
最近，深度学习一直是一个激烈的研究领域。然而，作为一种计算密集型任务，深度学习高度依赖于GPU内存的规模，这通常是令人望而却步的和稀缺的。尽管已经提出了一些针对动态GPU存储管理的广泛工作，但是它们难以应用于具有多个动态工作负载的系统，例如数据库内机器学习系统。在本文中，我们展示了TENSILE，一种在张量粒度下管理GPU内存的方法，以降低GPU内存峰值，考虑到多个动态工作负载。TENSILE解决了以往工作中存在的冷启动和跨迭代调度问题。我们在自己构建的深度学习框架上实现了Tensile，并对其性能进行了评估。实验结果表明，在单负载和多负载的动态环境下，TENSILE算法能够以更少的额外开销节省更多的GPU内存。
2022-11-06 cs.AI cs.DB cs.DC
