Randomized Online CP Decomposition
South China University of Technology（华南理工大学）；Singapore Management University（新加坡管理大学）
CANDECOMP/PARAFAC（CP）分解在多路数据处理中得到了广泛的应用。针对实时或大规模张量，基于随机采样CP分解算法和在线CP分解算法的思想，提出了一种新的CP分解算法--随机在线CP分解（ROCP）。该算法避免了生成完整的Khatri-Rao积，大大提高了运算速度，减少了内存占用。在合成数据和真实数据上的实验结果表明，ROCP算法能够处理任意维数的大规模张量的CP分解。此外，ROCP可以大大减少计算时间和内存使用，特别是对于大规模张量。
2020-07-21 cs.LG stat.ML
Online Tensor Inference
New York University（纽约大学）；Purdue University（普渡大学）
本文提出了一种低秩张量在线推断框架，利用随机梯度下降实现高效实时数据处理，并通过去偏差方法和谱表示工具提升统计推断性能。
2026-02-12 cs.LG stat.ME stat.ML
Online Tensor Learning: Computational and Statistical Trade-offs, Adaptivity and Optimal Regret
University of Michigan（密歇根大学）；Hong Kong University of Science and Technology（香港科技大学）
本文提出在线黎曼梯度下降算法 oRGrad 及其自适应版本，通过在线更新和自适应步长解决大规模张量学习的高计算与存储问题，在未知时间范围下实现最优遗憾和统计最优误差率。
2024-10-22 cs.LG stat.ML
A Spatio-Temporal Online Robust Tensor Recovery Approach for Streaming Traffic Data Imputation
Center for Intelligent Decision-making and Machine Learning, School of Management, Xi’an Jiaotong University（智能决策与机器学习中心，管理学院，西安交通大学）；Department of Marketing, School of Management, Xi’an Jiaotong University（市场营销系，管理学院，西安交通大学）
针对交通数据流式恢复问题，提出一种在线鲁棒张量恢复算法，同时利用全局时空相关性与局部一致性，在保证高恢复精度的同时将计算效率提升多达三个数量级。
2025-11-03 cs.LG stat.ML
Escaping From Saddle Points --- Online Stochastic Gradient for Tensor Decomposition
Microsoft Research New England（微软新英格兰研究院）；University of California Irvine（加州大学欧文分校）；University of California Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
我们分析了优化非凸函数的随机梯度下降。在许多情况下，非凸函数的目标是找到一个合理的局部最小值，主要问题是梯度更新被困在鞍点。在本文中，我们确定严格的鞍性质的非凸问题，允许有效的优化。利用这一性质，我们证明了随机梯度下降收敛到一个局部最小的多项式迭代次数。据我们所知，这是第一个工作，使全球收敛保证随机梯度下降的非凸函数指数许多局部极小值和鞍点。我们的分析可以应用于正交张量分解，它被广泛用于学习丰富的潜变量模型。针对具有严格鞍点性质的张量分解问题，提出了一种新的优化公式。从而得到了第一个具有全局收敛性保证的正交张量分解的在线算法。
2015-03-06 cs.LG math.OC stat.ML
Tensor network square root Kalman filter for online Gaussian process regression
Delft University of Technology（代尔夫特理工大学）；Delft Center for Systems and Control（代尔夫特系统与控制中心）
本文首次提出张量网络平方根卡尔曼滤波器，通过避免协方差矩阵正定性损失解决滤波器发散问题，并应用于高维在线高斯过程回归，在真实系统辨识中估计4^14个参数，预测精度和不确定性量化均优于现有方法。
2024-09-05 cs.LG
GOCPT: Generalized Online Canonical Polyadic Tensor Factorization and Completion
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IQVIA（艾昆纬）
低秩张量因式分解或完成被充分研究并应用于各种在线设置，例如在线张量因式分解（其中时间模式增长）和在线张量完成（其中不完整切片逐渐到达）。然而，在许多现实世界中，张量可能具有更复杂的演化模式：（i）一个或多个模式可以增长;（ii）缺失的条目可以被填充;（iii）现有的张量元素可以改变。现有的方法无法支持这种复杂的场景。为了填补这一空白，本文提出了一个广义在线正则多矢（CP）张量分解和完成框架（名为GOCPT），在这个一般的设置，我们保持CP结构的动态张量在进化过程中。我们表明，现有的在线张量因式分解和完成设置可以在GOCPT框架下统一。此外，我们提出了一个名为GOCPTE的变体，用于处理历史张量元素不可用的情况（例如，隐私保护），其实现了与GOCPT类似的适应性，但具有少得多的计算成本。实验结果表明，我们的GOCPT可以在JHU Covid数据上提高高达2：8%的适应度，在专有患者索赔数据集上提高9：2%的适应度。我们的变体GOCPTE在两个数据集上显示了高达1：2%和5：5%的适应度改进，与最佳模型相比，加速了约20%。
2022-05-08 cs.LG cs.MS cs.NA
Online Multilinear Dictionary Learning
Department of Electrical & Electronic Engineering, Imperial College London, United Kingdom（伦敦帝国理工学院电子与电气工程系）
提出了一种在线张量字典学习方法。在可分字典的假设下，利用张量收缩将$\mathcal{O}\left(L^N\right)$的$N$ -路模型简化为具有实时性的简单的$\mathcal{O}\left(NL^2\right)$矩阵方程。为了避免稀疏矩阵求逆引起的数值不稳定性，通过最小二乘解构造了一类具有记忆的随机梯度算法，以保证算法的收敛性和鲁棒性。讨论并实现了精确线搜索的梯度下降法和牛顿法。还详细解释了如何处理不良初始化和离群值的扩展。两个合成信号的实验证实了我们所提出的方法令人印象深刻的性能。
2020-03-10 cs.LG stat.ML
Targeted Advertising on Social Networks Using Online Variational Tensor Regression
本文提出首个基于张量的上下文老虎机框架TensorUCB，用于在线定向广告，通过在线变分算法处理多模式张量，显著提升影响力最大化任务性能。
2025-01-25 cs.LG cs.SI
Online nonnegative CP-dictionary learning for Markovian data
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；University of California, Los Angeles（加州大学洛杉矶分校）
在线张量分解（OTF）是从流多模态数据中学习低维可解释特征的基本工具。虽然各种算法和理论方面的OTF最近已经调查，一个一般的收敛保证不需要任何不相干或稀疏假设的目标函数的固定点仍然缺乏，即使是独立同分布。案子在这项工作中，我们介绍了一种新的算法，学习一个CANDECOMP/PARAFAC（CP）的基础上，从一个给定的流的张量值的数据下的一般约束，包括非负性约束，诱导学习CP基础的可解释性。我们证明了我们的算法几乎必然收敛到目标函数的平稳点集的假设下，数据张量的序列是由一个潜在的马尔可夫链。我们的设置涵盖了经典的i.i.d.案例以及广泛的应用环境，包括由独立或MCMC采样生成的数据流。我们的结果弥补了OTF和在线矩阵分解在全局收敛性分析\commHL{for CP-decompositions}中的不足。实验上，我们表明，我们的算法收敛速度比标准算法的非负张量因式分解任务的合成和真实世界的数据。此外，我们还展示了我们的算法在图像，视频和时间序列数据的不同示例集上的实用性，说明了如何通过多种方式利用张量结构从相同的张量数据中学习定性不同的CP字典。
2022-04-03 cs.LG math.OC stat.ML
Online Tensor Methods for Learning Latent Variable Models
University of California, Irvine（加州大学欧文分校）
我们介绍了一个在线张量分解为基础的方法为两个潜在的变量建模问题，即（1）社区发现，其中我们学习的潜在社区，社会行动者在社交网络属于，和（2）主题建模，其中我们推断隐藏的主题的文本文章。我们考虑使用随机梯度下降矩张量的分解。我们在SGD中进行多线性运算的优化，避免直接形成张量，以节省计算和存储成本。我们提出了两个平台上的优化算法。我们基于GPU的实现利用SIMD架构的并行性，通过仔细优化存储和数据传输来实现最大的加速，而我们基于CPU的实现使用高效的稀疏矩阵计算，适合于大型稀疏数据集。对于社区发现问题，我们在Facebook，Yelp和DBLP数据集上展示了准确性和计算效率，对于主题建模问题，我们在纽约时报数据集上也展示了良好的性能。我们比较我们的结果的国家的最先进的算法，如变分法，并报告增益的准确性和增益的几个数量级的执行时间。
2015-10-03 cs.DC cs.LG cs.SI
Scalable Bayesian Non-Negative Tensor Factorization for Massive Count Data
Duke University（杜克大学）
我们提出了一个贝叶斯非负张量因式分解模型的计数值张量数据，并开发可扩展的推理算法（批量和在线）处理大量的张量。我们的生成模型可以处理过度分散的计数以及推断分解的秩。此外，利用将泊松分布重新参数化为多项式有助于模型中的共轭性，并实现简单有效的吉布斯抽样和变分贝叶斯（VB）推断更新，其计算成本仅取决于张量中非零的数量。该模型还提供了一个很好的解释的因素，在我们的模型中，每个因素对应于一个“主题”。我们开发了一套在线推理算法，允许进一步扩展到大规模的张量模型，批量推理方法可能是不可行的。我们将我们的框架应用于不同的现实世界的应用程序，如科学出版物数据库上的\emph{multiway}主题建模，分析政治学数据集，并分析大量的家庭交易数据集。
2015-08-18 cs.LG stat.ML
Grassmannian Optimization for Online Tensor Completion and Tracking with the t-SVD
University of Michigan（密歇根大学）
我们提出了一个新的快速流算法的张量完成问题的输入丢失的条目的低管秩张量使用张量奇异值分解（t-SVD）代数框架。我们表明，t-SVD是一个专业化的研究块项分解的三阶张量，我们提出了一个算法，在这个模型下，可以跟踪不完整的流2-D数据的变化自由子模块。该算法利用子空间的格拉斯曼流形上的增量梯度下降原理，以线性复杂度和时间样本数的恒定记忆来解决张量完成问题。我们提供了我们的算法的局部预期线性收敛结果。我们的经验结果在准确性上具有竞争力，但在计算时间上比实际应用中最先进的张量完成算法要快得多，以在有限的采样下恢复时间化学传感和MRI数据。
2022-04-14 cs.LG eess.SP
Streaming data preprocessing via online tensor recovery for large environmental sensor networks
Vanderbilt University（范德堡大学）
现在，通过低成本的城市环境传感器网络，可以在细粒度的范围内测量建筑和自然环境。然而，细粒度的城市规模的数据分析是复杂的繁琐的数据清理，包括删除离群值和填补缺失数据。虽然有许多方法可以自动纠正异常情况和估算缺失条目，但在大时空尺度和变化模式的数据方面仍然存在挑战。为了应对这些挑战，我们提出了一种在线鲁棒张量恢复（OLRTR）方法来预处理流高维城市环境数据集。一个小规模的字典，捕捉数据的基础模式进行计算，并不断更新新的数据。OLRTR能够为提供连续数据流的大规模传感器网络实现在线恢复，与离线批处理相比，其计算内存使用量更低。此外，我们制定的目标函数，使OLRTR可以检测结构化的离群值，如错误的读数在很长一段时间。我们验证OLRTR的综合退化的国家海洋和大气管理局温度数据集，恢复误差为0.05，并将其应用到物联网的城市规模的传感器网络在芝加哥，IL的阵列，显示优越的结果相比，几个建立在线和批量为基础的低秩分解方法。
2021-09-01 cs.LG
A Multi-View Coupled Tensor Decomposition for Lightweight Online Adaptive Traffic Prediction
School of Mathematics and Statistics, Central China Normal University（华中师范大学数学与统计学学院）；School of Mathematics and Statistics, Beijing Institute of Technology（北京理工大学数学与统计学学院）；State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院数学科学国家重点实验室）；School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）
针对不完善多视图观测的在线交通预测问题，提出MVCTD模型，通过耦合张量分解与组稀疏正则化提升预测精度，轻量级设计适配流部署，真实数据集实验验证其有效性。
2026-08-27 cs.LG math.OC
Periodic Online Testing for Sparse Systolic Tensor Arrays
Electrical and Computer Engineering Democritus University of Thrace, Greece（电子与计算机工程系德米特里乌斯大学）
本文提出一种针对稀疏脉动张量阵列的在线错误检查技术，仅需4个测试向量即可在计算前检测并定位永久故障，在3个CNN上验证显示其具备高故障覆盖率且开销极小。
2025-04-25 cs.AR cs.LG
Non-negative Tensor Factorization for Human Behavioral Pattern Mining in Online Games
University of Southern California Information Sciences Institute（南加州大学信息科学研究所）
多人在线战斗竞技场已成为一种流行的游戏类型。它也得到了我们研究界越来越多的关注，因为它们提供了关于人类互动和行为的丰富信息。一个主要的问题是从这种类型的数据中提取有意义的活动模式，以一种易于解释的方式。在这里，我们建议利用张量分解技术，特别是非负张量分解，以发现隐藏的相关行为模式的发挥在一个流行的游戏：英雄联盟。我们首先收集一组大约1000名玩家的整个游戏历史，总共大约有$100K$场比赛。通过应用我们的方法框架，我们将玩家分成具有相似特征和游戏策略以及相似时间轨迹的组，即，在他们的游戏历史过程中的行为进展：这将使我们能够调查玩家如何学习和提高他们的技能。
2017-02-19 cs.HC cs.LG cs.SI
Dynamic Tensor Rematerialization
OctoML；School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）
检查点通过从内存中释放中间激活并按需重新计算它们，使深度学习模型能够在有限的内存预算下进行训练。当前的检查点技术静态地离线计划这些重新计算，并假设静态计算图。我们证明了一个简单的在线算法可以实现相当的性能，通过引入动态张量再物质化（DTR），一个贪婪的在线检查点算法，是可扩展的和一般的，参数化的驱逐政策，并支持动态模型。我们证明了DTR可以训练一个$N$层线性前馈网络的$Ω(\sqrt{N})$内存预算只有$\mathcal{O}(N)$张量操作。在模拟实验中，DTR与最优静态检查点的性能非常接近。我们将DTR原型整合到PyTorch中，只需插入张量分配和运算符调用，并收集张量上的轻量级元数据。
2021-03-18 cs.LG cs.PL stat.ML
Online TT-ALS for Streaming Tensor Decomposition with Incremental Orthogonalization
The University of Osaka（大阪大学）
提出在线TT-ALS算法，通过增量正交化实现流式张量分解，在保持高重构精度的同时降低计算复杂度，并在视频质量指标上超越现有在线方法。
2026-07-01 cs.CV cs.LG cs.NA
E-commerce Anomaly Detection: A Bayesian Semi-Supervised Tensor Decomposition Approach using Natural Gradients
India ML - Amazon.com（亚马逊印度机器学习部门）；Microsoft（微软）
异常检测有几个重要的应用。在本文中，我们的重点是使用张量分解检测异常的卖方审查数据。虽然张量分解大多是无监督的，但我们制定了贝叶斯半监督张量分解，以利用稀疏标记数据。此外，我们使用Polya-Gamma数据增强的半监督贝叶斯张量分解。最后，我们证明了Pólya-Gamma公式简化了部分自然梯度学习的Fisher信息矩阵的计算。我们的实验结果表明，我们的半监督方法优于最先进的无监督基线。部分自然梯度学习优于随机梯度学习和Online-EM，具有充分的统计量。
2018-05-29 cs.LG stat.ML
Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game
UC Berkeley（加州大学伯克利分校）；Georgia Tech（佐治亚理工学院）；Harvard University（哈佛大学）
本文介绍由在线游戏玩家创建的 Tensor Trust 数据集，含12.6万余条提示词注入攻击与4.6万条防御，并构建提示词提取和劫持基准，揭示多种 LLM 及实际应用的脆弱性。
2023-11-02 cs.CR cs.LG
Recurrent Graph Tensor Networks: A Low-Complexity Framework for Modelling High-Dimensional Multi-Way Sequence
Department of Electrical and Electronic Engineering Imperial College London（帝国理工学院电子与电气工程系）；Imperial College London（帝国理工学院）
递归神经网络（RNN）是序列建模中最成功的机器学习模型之一，但在处理大型多维数据时，往往会遇到参数数量呈指数增长的问题。为此，我们开发了一个多线性图过滤器框架，用于近似RNN中隐藏状态的建模，该框架嵌入在张量网络架构中，以提高建模能力并降低参数复杂性，从而产生一种新的递归图张量网络（RGTN）。通过几个多路序列建模任务验证了所提出的框架，并以传统的RNN为基准。凭借图过滤器的域感知信息处理和张量网络的表达能力，我们表明，建议的RGTN不仅能够超越标准RNN，而且还减轻了与传统RNN相关的诅咒，在性能和复杂性方面表现出优越的性能。
2021-05-11 cs.LG stat.ML
CyberCScope: Mining Skewed Tensor Streams and Online Anomaly Detection in Cybersecurity Systems
SANKEN, Osaka University（大阪大学 SANKEN）
提出流式方法CyberCScope，通过混合偏斜无限与有限维分解处理高阶张量流，实现网络安全中多类型入侵的实时检测与特征总结。
2025-03-02 cs.AI cs.CR cs.LG
Multi-way Graph Signal Processing on Tensors: Integrative analysis of irregular geometries
Yale University（耶鲁大学）；NC State University（北卡罗来纳州立大学）；Halıcıoğlu Data Science Institute, UC San Diego（加州大学圣地亚哥分校Halıcıoğlu数据科学研究所）
图形信号处理（GSP）是研究不规则结构上数据的重要方法。随着采集的数据越来越多地采用多路张量的形式，需要新的信号处理工具来最大限度地利用数据内的多路结构。在本文中，我们回顾了现代信号处理框架推广GSP多路数据，从图形信号耦合到熟悉的定期轴，如传感器网络中的时间，然后扩展到所有张量模式的一般图形。这种广泛适用的范式促使人们重新制定和改进经典问题和方法，以创造性地解决基于张量的数据中的挑战。我们综合目前的努力，将GSP与张量分析相结合所产生的共同主题，并强调未来的发展方向，将GSP扩展到多路范式。
2020-07-27 cs.LG eess.SP stat.ML
An Online Algorithm for Learning Selectivity to Mixture Means
Yale University（耶鲁大学）
我们开发了一种生物学上合理的学习规则，称为三重学习，可证明收敛到一般混合模型的类均值。该规则推广了经典的神经网络规则，并提供了一种新的解释经典神经网络执行一种张量分解。它实现了一个实质性的推广，通过将三个样本的混合物，这提供了一个新的信息处理解释尖峰时间依赖的可塑性超过经典的神经网络。我们提供了完整的证据证明这种学习规则的收敛性，并扩展讨论了学习和张量学习之间的联系。
2014-10-30 cs.LG q-bio.NC
Tensor-Dictionary Learning with Deep Kruskal-Factor Analysis
PNNL（太平洋西北国家实验室）
本文提出了一种适用于任意阶张量变量数据的多因子分析模型。每个数据项表示为Kruskal分解的（稀疏）和，即Kruskal因子分析（KFA）。KFA是非参数的，并且可以推断每个字典原子的张量秩和字典原子的数量。该模型适用于在线学习，允许在大数据集上进行字典学习。在引入KFA之后，该模型被扩展到由贝叶斯SVM监督的深度卷积张量因子分析。实验部分展示了KFA相对于向量化方法的改进（例如，BPFA）、张量分解和卷积神经网络（CNN）在多路去噪、盲修复和图像分类中的应用。与其他方法相比，修复结果的PSNR改善在几种情况下超过1dB，我们在Caltech 101图像分类上取得了最先进的结果。
2017-03-05 cs.LG stat.ML
Recovery of Joint Probability Distribution from one-way marginals: Low rank Tensors and Random Projections
Amazon（亚马逊公司）
联合概率质量函数（PMF）估计是机器学习的一个基本问题。自由参数的数量与随机变量的数量成指数关系。因此，大多数非参数PMF估计的工作是基于一些结构性假设，如通过概率图形模型，联合概率张量和3路或2路边缘重建低秩的征收集团因子分解，等在目前的工作中，我们链接的随机投影数据的PMF估计问题，使用的想法从层析成像。我们将这个想法与低秩张量分解的想法相结合，以表明我们可以从变换空间中的单向边缘估计联合密度。我们提供了一种新的算法，用于从单向边缘恢复张量的因子，在各种合成和真实世界的数据集上进行测试，并对估计的分类模型进行MAP推理。
2021-03-24 cs.LG eess.SP stat.ML
Online multidimensional dictionary learning
University Cadi Ayyad（卡迪·艾亚德大学）；Université du Littoral Côte d’Opale（滨海布洛涅大学）
本文提出基于 t-product 框架的在线多维字典学习方法，结合 Anderson 加速的 ISTA 算法提升稀疏求解效率，在数据补全等任务中优于现有加速技术。
2025-03-12 cs.LG cs.NA math.NA
Zero-Truncated Poisson Tensor Factorization for Massive Binary Tensors
Duke University（杜克大学）
我们提出了一个可扩展的贝叶斯模型的低秩分解的大规模张量与二进制观测。所提出的模型具有以下关键性质：（1）与基于逻辑或概率单位似然的模型相比，使用二进制数据的零截断泊松似然允许我们的模型在张量中的\emph{ones}的数量上按比例增加，这对于大规模但稀疏的二进制张量特别有吸引力;（2）以二进制成对关系形式的边信息（例如，邻接网络），这在“冷启动”设置中特别有用;以及（3）该模型允许通过批处理以及\emph{online} MCMC进行简单的贝叶斯推断;后者允许甚至对\emph{dense}二进制数据按比例放大（即，当张量/网络中的1的数量也很大时）。此外，我们模型中的非负因子矩阵提供了易于解释的能力，并且可以从数据中推断出张量秩。我们在几个大规模的真实世界的二进制张量上评估了我们的模型，实现了出色的计算可扩展性，并且还证明了它在利用以模式网络形式提供的边信息方面的有用性。
2015-08-18 cs.LG stat.ML
Geometric All-Way Boolean Tensor Decomposition
Purdue University（普渡大学）；Indiana University（印第安纳大学）；Amazon（亚马逊公司）
布尔张量已被广泛用于表示收集在空间、时间和/或其他关系域上的高维逻辑数据。布尔张量分解（BTD）将一个二元张量分解为多个秩为1的张量的布尔和，这是一个NP难问题。现有的BTD方法在大规模或高阶张量的应用中受到其高计算成本的限制。在这项工作中，我们提出了一个计算效率高的BTD算法，即\textit{Geometric Expansion for all-order Tensor Factorization}（GETF），从几何的角度顺序识别秩1的基础组件的张量。对GETF分解全阶张量的有效性和算法效率进行了严格的理论分析。在合成数据和真实数据上的实验表明，GETF在重建精度、潜在结构提取等方面都有显著提高，比其他最先进的方法快一个数量级。
2020-10-26 cs.CG cs.LG stat.ML
Analyzing Political Text at Scale with Online Tensor LDA
Harvard University（哈佛大学）；NVIDIA（英伟达）；Johns Hopkins University（约翰霍普金斯大学）；California Institute of Technology（加州理工学院）
本文提出了一种可扩展的TLDA方法，用于大规模政治文本分析，实现了高效计算和内存使用，支持对大规模社交媒体数据的深入研究。
2025-11-11 cs.LG cs.SI
Pruner: A Draft-then-Verify Exploration Mechanism to Accelerate Tensor Program Tuning
University of Science and Technology of China（中国科学技术大学）；University of Pittsburgh（匹兹堡大学）；NIO（蔚来）
本文提出 Pruner 和 MoA-Pruner，通过先草稿后验证的探索机制和动量在线适配策略加速张量程序调优，在多个 GPU 平台上相比 Ansor、TenSet、TLP 和 MetaSchedule 均取得显著搜索加速。
2025-04-09 cs.LG
A Tensor-based Structural Health Monitoring Approach for Aeroservoelastic Systems
The University of Sydney（悉尼大学）
结构健康监测是一个基于条件的研究领域，用于通过传感系统监测基础设施。因此，它被用于航空航天工程领域，以协助监测航空航天结构的健康状况。然而，一个困难是，在结构健康监测的数据输入通常是从传感器阵列，这导致在数据是高度冗余和相关的，在传统的双向矩阵的方法已经在解构和解释困难的领域。涉及张量分析的较新方法使我们能够以连贯的方式分析这种多路结构数据。在我们的方法中，我们证明了有用的张量为基础的学习加上损伤检测，在一个新的$N$自由度拉格朗日气动伺服弹性模型。
2018-12-11 cs.LG stat.ML
A Fast Parallel Tensor Decomposition with Optimal Stochastic Gradient Descent: an Application in Structural Damage Identification
The University of Sydney（悉尼大学）
结构健康监测（SHM）提供了一种经济的方法，其目的是通过连接到结构的多个网络传感器连续收集数据来增强对结构行为的理解。然后，利用这些数据来深入了解结构的健康状况，并及时做出有关其维护的经济决策。生成的SHM感测数据是非平稳的，并且以相关的多路形式存在，这使得批量/离线学习和标准的双向矩阵分析无法捕获所有这些相关性和关系。从这个意义上说，在线张量数据分析已成为捕获存储在张量$\mathcal{X} \in \mathbb{R} ^{I_1 \times \dots \times I_N} $中的高阶数据集中的底层结构的重要工具。CANDECOMP/PARAFAC（CP）分解已被广泛研究并应用于近似X × N加载矩阵A（1），. . .，A（N），其中N表示张量的阶。本文提出了一种新的算法FP-CPD，用于并行化张量$\mathcal{X} \in \mathbb{R} ^{I_1 \times \dots \times I_N} $的CANDECOMP/PARAFAC（CP）分解。我们的方法是基于随机梯度下降（SGD）算法，使我们能够并行化的学习过程，它是非常有用的在线设置，因为它更新$\mathcal{X}^{t+1}$在一个单步的。我们的SGD算法增加了Nesterov的加速梯度（NAG）和扰动方法，以加速和保证收敛。使用实验室和现实结构数据集的实验结果表明，该算法收敛速度快，可…
2021-11-04 cs.LG
Spectral Methods from Tensor Networks
Massachusetts Institute of Technology（麻省理工学院）；New York University（纽约大学）
张量网络是一个图，它指定了一种将张量集合“相乘”以产生另一个张量（或矩阵）的方法。许多张量问题的现有算法（如张量分解和张量PCA），尽管它们不是以这种方式提出的，但可以被视为从简单张量网络构建的矩阵上的谱方法。在这项工作中，我们充分利用这种抽象的力量，为某些连续张量分解问题设计新的算法。一个重要且具有挑战性的张量问题家族来自轨道恢复，这是一类涉及群作用的推理问题（受到冷冻电子显微镜等应用的启发）。有限群上的轨道恢复问题通常可以通过标准张量方法来解决。然而，对于无限群，没有通用算法是已知的。我们给出了一个基于张量网络的谱算法来解决这样一个问题：无限群SO（2）上的连续多参考对齐。我们的算法扩展到更一般的异构的情况下。
2018-11-02 cs.DS cs.LG stat.ML
Online Learning under Delayed Feedback
University of Alberta（阿尔伯塔大学）
具有延迟反馈的在线学习近年来在分布式网络学习问题中得到了越来越多的关注。在本文中，我们提供了一个系统的研究主题，并分析了延迟的在线学习算法的遗憾的影响。令人惊讶的是，在对抗性问题中，延迟以乘法的方式增加了遗憾，而在随机问题中，延迟以加法的方式增加了遗憾。我们给出了元算法的转换，在一个黑盒子的方式，算法开发的非延迟的情况下，可以处理的反馈回路中存在的延迟。著名的UCB算法的修改也开发了延迟反馈的强盗问题，与元算法的优势，他们可以实现较低的复杂性。
2013-06-05 cs.AI cs.LG stat.ML
Subspace Learning and Imputation for Streaming Big Data Matrices and Tensors
University of Minnesota（明尼苏达大学）
从高维数据中提取潜在的低维结构在“大数据”分析遇到的及时推理任务中至关重要。然而，越来越多的噪声、异构和不完整的数据集以及对流数据的{ \em实时}处理的需求为此提出了主要挑战。在这种情况下，本文件渗透的好处，从秩最小化可扩展填补缺失数据，通过跟踪低维子空间和解开潜在的（可能是多路）结构从\emph{incomplete streaming}数据。对于低秩矩阵数据，提出了一种基于核范数正则化的指数加权最小二乘准则的子空间估计器。在将不可分离的核范数转换成适合在线优化的形式后，开发了具有互补优势的实时算法，并在简化的技术假设下建立了它们的收敛性。在一个固定的设置，得到的渐近估计提供了有据可查的性能保证的{ \em批}核范数正则化估计。在相同的统一框架下，开发了一种新的在线（自适应）算法，以获得多路分解的\emph{low-rank tensors}与丢失的条目，并执行插补作为副产品。模拟测试与合成以及真实的互联网和心脏磁共振成像（MRI）数据证实了所提出的算法的有效性，其优越的性能相对于国家的最先进的替代品。
2014-04-17 cs.IT cs.LG math.IT
Harnessing Tensor Structures -- Multi-Mode Reservoir Computing and Its Application in Massive MIMO
Virginia Tech（弗吉尼亚理工大学）
本文介绍了一种新的神经网络结构--多模式储备池计算（Multi-ModeRC）。它继承了RC的动态机制，并使用张量作为底层数据格式来处理神经网络的前向路径和损耗优化。与传统的RC结构（例如单模RC）相比，多模RC具有更低的复杂度，具有相当的泛化性能。在此基础上，提出了一种基于交替最小二乘的多模式RC学习算法，并进行了相关的理论分析。该结果可用于指导NN参数的配置，以充分规避过拟合问题。作为一个关键的应用程序，我们认为符号检测任务的多输入多输出（MIMO）正交频分复用（OFDM）系统与大规模MIMO在基站（BS）。由于大规模MIMO-OFDM信号的张量结构，我们的在线学习为基础的符号检测方法推广以及比特出错率，即使使用有限的在线训练集。评估结果表明，基于多模RC的学习框架可以有效地克服无线系统的实际约束（即信道状态信息（CSI）错误和硬件非线性），以实现健壮和自适应的基于学习的空中通信。
2021-01-25 cs.IT cs.LG math.IT
Fast and Accurate Dual-Way Streaming PARAFAC2 for Irregular Tensors -- Algorithm and Application
Seoul National University（首尔国立大学）
本文提出Dash方法，通过划分新旧数据项并引入遗忘因子，在双路流式场景下实现不规则张量PARAFAC2分解的高效准确计算，速度最高达现有方法的14倍，并成功应用于次贷危机和COVID-19异常检测。
2023-05-28 cs.IR cs.LG
Online Multi-task Learning with Hard Constraints
ICREA（加泰罗尼亚研究与高级研究院）；Universitat Pompeu Fabra（庞培法布拉大学）；Ecole Normale Supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；HEC Paris（巴黎高等商学院）
我们讨论多任务在线学习时，决策者必须同时处理M个任务。任务是相关的，这是通过强加的M元组的决策者采取的行动需要满足一定的约束。我们给出自然的例子，这样的限制，然后讨论一般类的易处理的约束，我们引入计算效率的方式选择行动，基本上是通过减少到一个在线的最短路径问题。我们简要讨论了“跟踪”和“强盗”版本的问题，并以各种方式扩展模型，包括非加性的全球损失和不可数的无限任务集。
2009-03-27 cs.LG math.ST stat.ML
Tensor-Train Recurrent Neural Networks for Interpretable Multi-Way Financial Forecasting
Imperial College London（帝国理工学院）
循环神经网络（RNN）代表了序列建模的事实标准机器学习工具，这是由于它们的表达能力和记忆。然而，当处理大维度数据时，相应的参数数量的指数增加会造成计算瓶颈。需要让RNN具备处理维数灾难的能力，例如通过张量固有的参数压缩能力，这导致了Tensor-Train RNN（TT-RNN）的发展。尽管在许多应用中取得了令人鼓舞的结果，但TT-RNN的全部潜力还有待于在可解释的金融建模中进行探索，这是一项以低信噪比的多模态数据为特征的具有挑战性的任务。为了解决这个问题，我们研究了TT-RNN在货币金融预测任务中的潜力。通过对TT因子的分析，我们表明，张量分解背后的物理意义使TT-RNN模型能够帮助结果的可解释性，从而减轻了与神经网络相关的臭名昭著的“黑箱”问题。此外，仿真结果突出了TT分解的正则化能力，证明了TT-RNN优于未压缩RNN和其他张量预测方法的性能。
2021-05-11 cs.LG
Graph-Regularized Tensor Regression: A Domain-Aware Framework for Interpretable Multi-Way Financial Modelling
Imperial College London（帝国理工学院）
金融数据的分析本质上是一种大数据范式，因为这些数据是在许多资产、资产类别、国家和时间段内收集的。这对现代机器学习模型来说是一个挑战，因为处理这些数据所需的模型参数数量随着数据维度呈指数级增长;这种效应被称为Curse-of-Objectionality。最近，张量分解（TD）技术在降低与高维金融模型相关的计算成本，同时实现相当的性能方面显示出有希望的结果。然而，张量模型往往无法纳入潜在的经济领域知识。为此，我们开发了一种新的图正则化张量回归（GRTR）框架，其中有关跨资产关系的知识以图拉普拉斯矩阵的形式纳入模型中。然后将其用作正则化工具，以在模型参数内促进经济上有意义的结构。凭借张量代数，所提出的框架是完全可解释的，无论是系数明智的和维度明智的。GRTR模型在多方面的金融预测设置和竞争对手的模型进行了比较，并证明，以降低计算成本，以实现更好的性能。提供详细的可视化，以帮助读者获得一个直观的理解所采用的张量操作。
2022-10-26 cs.LG q-fin.CP
Kernel Regression of Multi-Way Data via Tensor Trains with Hadamard Overparametrization: The Dynamic Graph Flow Case
Department of Information and Communications Engineering, Institute of Science Tokyo, Japan（信息与通信工程系，东京科学研究所，日本）；Department of Statistics and Insurance Science, University of Piraeus, Greece（统计与保险科学系，比雷埃克斯大学，希腊）；CA-AI, Department of Electrical Engineering and Computer Science, Florida Atlantic University, USA（CA-AI，电气工程与计算机科学系，佛罗里达亚特兰大大学，美国）
本文提出KReTTaH框架，将多路数据插补转化为固定TT秩张量黎曼流形上的核回归逆问题，并通过Hadamard过参数化增强稀疏性，在动态图流估计中融合拓扑先验，实验表明其插补性能优于现有张量和神经网络方法。
2025-09-26 cs.LG eess.SP
Multiple Linked Tensor Factorization
University of Minnesota（明尼苏达大学）
提出MULTIFAC方法，扩展CP分解以处理多源多维张量数据，实现维度缩减、共享与特有成分识别及缺失数据插补，并在模拟和真实多组学数据上验证。
2025-02-27 cs.LG stat.CO stat.ME
A New Sampling Technique for Tensors
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们提出了新的技术来采样任意三阶张量，加快张量算法，最近在机器学习中获得了普及的目标。我们的主要贡献是一种新的方法，以有偏随机的方式选择可能的$n^3$元素中的仅$O(n^{1.5}/ε^2)$，同时仍然实现三个目标中的每一个：\\ { \em（a）张量稀疏化}：对于必须从任意样本形成的张量，计算很少的元素以获得良好的谱近似，以及对于任意正交张量{ \em（b）张量完成：}通过交替最小二乘法或{ \em（c）张量因式分解：}从少量样本中恢复精确的低秩张量，逼近被噪声破坏的低秩张量的因子。我们的采样可以与现有的基于张量的算法一起使用，以加快它们的速度，消除这些方法中的计算瓶颈。
2015-02-19 cs.DS cs.IT cs.LG
Optimal Multi-way Decision Trees for Stratified Sampling in Online Controlled Experiments
University of Tsukuba（筑波大学）
针对在线实验分层抽样中方差缩减效果依赖分层构建的问题，提出基于最优多路决策树的OMST方法，通过路径选择与精确方差最小化优化分层，实现更优或相当的方差缩减且保持可解释性。
2026-09-22 cs.LG stat.CO
Learning Mixtures of Separable Dictionaries for Tensor Data: Analysis and Algorithms
Rutgers, The State University of New Jersey（罗格斯大学新泽西州立大学）；Electronic Arts（美国艺电）
这项工作解决了使用结构化字典学习学习张量数据的稀疏表示的问题。它提出了通过推广可分离字典学习模型来学习可分离字典的混合，以更好地捕获张量数据的结构。两种不同的方法学习混合的可分离的字典进行了探讨，并在每种情况下的基础字典的局部可识别性的充分条件。此外，计算算法的开发，以解决学习混合的可分离字典在批处理和在线设置的问题。数值实验表明，所提出的模型和算法的有效性。
2020-06-14 cs.IT cs.LG eess.SP
Robust Factorization of Real-world Tensor Streams with Patterns, Missing Values, and Outliers
KAIST（韩国科学技术院）
考虑以张量流的形式实时收集多个季节性时间序列。真实世界的张量流通常包括缺失的条目（例如，由于网络断开）和同时意外的异常值（例如，由于系统错误）。给定这样一个真实世界的张量流，我们如何才能实时准确地估计缺失的条目并预测未来的进化？在这项工作中，我们回答了这个问题，通过引入SOFIA，一个强大的因子分解方法为现实世界的张量流。简而言之，SOFIA平滑而紧密地集成了张量因子分解、离群值去除和时间模式检测，它们自然地相互加强。此外，SOFIA以在线方式在线性时间内将其整合，尽管存在缺失条目。我们的实验表明，SOFIA是（a）鲁棒性和准确性：产生高达76%的较低的插补误差和71%的较低的预测误差;（b）快速：高达935倍的速度比第二个最准确的竞争对手;和（c）可扩展性：与每个时间步的新条目的数量线性扩展。
2022-06-09 cs.DB cs.LG
Tracking Tensor Subspaces with Informative Random Sampling for Real-Time MR Imaging
Stanford University（斯坦福大学）；University of Minnesota（明尼苏达大学）；Center for Magnetic Resonance Research（磁共振研究中心）；University of Minnesota Medical School（明尼苏达大学医学院）
磁共振成像（MRI）是临床诊断和指导治疗的重要手段。然而，{ \it缓慢采集}过程、器官的动态变形以及对{ \it实时的【形】}重建的需要对获得无伪影图像提出了重大挑战。为了应对这些挑战，本文提出了一种新的子空间学习框架，该框架将张量（多路数据）的并行因子（PARAFAC）分解的好处渗透到图像时间序列的低秩建模中。该方法将图像视为多路数据阵列，通过张量子空间来保持空间结构并揭示各个维度上的潜在相关性。利用图像的时空相关性，采用Tykhonov正则化作为最小二乘优化程序的秩代理。交替优化最小化被采用来开发在线算法，该算法在新的欠采样$k$空间帧到达时递归地获得重构。所开发的算法是{ \it可证明收敛}和高度{ \it并行化}与轻量级FFT任务，每次迭代。为了进一步加速采集过程，设计了随机子采样策略，其利用由在线方案提供的张量子空间的中间估计，以{ \it随机}采集{ \it信息} $k$ -空间样本。简而言之，新方法能够在低采集速率下动态跟踪运动。使用心脏电影图像的真实{ \it in vivo} MRI数据集进行的基于GPU的测试证实了新方法相对于最先进替代方案的优点。
2016-09-14 cs.CV cs.IT cs.LG
Subspace Kernel Learning on Tensor Sequences
Griffith University（格里菲斯大学）；Data61 CSIRO；University of New South Wales（新南威尔士大学）
本文提出UKTL框架，通过不确定性驱动的子空间加权和可扩展的Nyström线性化，实现对多模式张量的高效学习，取得最先进的性能和有意义的模式洞察。
2026-03-20 cs.AI cs.CV cs.LG
The adaptive projected subgradient method constrained by families of quasi-nonexpansive mappings and its application to online learning
University of Peloponnese（伯罗奔尼撒大学）；Tokyo Institute of Technology（东京工业大学）
许多在线，即，信号处理和机器学习中的时间自适应逆问题属于非负、凸和连续函数序列的渐近最小化的广泛范围。为了将先验知识纳入设计中，渐近最小化任务通常被约束在一个固定的闭凸集上，该凸集由可用的先验信息决定。为了增加对可用信息的使用的通用性，本手稿扩展了自适应投影次梯度法（APSM）通过引入一个算法方案，该方案通过一系列强吸引的拟非扩张映射在一个真正的希尔伯特空间的设计中采用了先验知识。通过这种方式，所提出的方法为在线学习任务提供的好处以两种方式展开：1）丰富的准非扩张映射类提供了大量的方法来投射先验知识，以及2）通过引入一系列这样的映射，所提出的方案能够捕获先验信息的时变性质。该算法的收敛性能进行了研究，几个特殊的情况下，具有广泛的适用性的方法显示，和所提出的计划的潜力，证明了考虑越来越重要的，现在，在线稀疏系统/信号恢复任务。
2011-08-05 cs.IT cs.LG math.IT
Streaming Generalized Canonical Polyadic Tensor Decompositions
Sandia National Laboratories（桑迪亚国家实验室）
在本文中，我们开发了一种方法，我们称之为OnlineGCP计算流数据的广义正则多矢（GCP）张量分解。GCP不同于传统的规范多元（CP）张量分解，因为它允许CP模型试图最小化的任意目标函数。当观测到的张量数据是强非高斯的时，这种方法可以提供更好的拟合和更可解释的模型。在流式传输的情况下，张量数据随着时间的推移逐渐被观察到，并且算法必须在有限访问先前数据的情况下递增地更新GCP因式分解。在这项工作中，我们通过导出要在观察新的张量数据时解决的GCP最优化问题来将GCP形式主义扩展到流上下文，制定可调历史项以平衡最近观察到的数据与过去观察到的数据的重建，开发基于使用随机梯度下降法的隔离求解的可扩展求解策略，描述了一种软件实现，该软件实现为当代CPU和GPU架构提供性能和可移植性，并与Matlab集成以增强可用性，并在几个合成和真实张量数据集上演示了该方法和软件的实用性和性能。
2021-10-27 cs.LG cs.MS cs.NA
