Generalized Canonical Polyadic Tensor Decomposition
Sandia National Laboratories（桑迪亚国家实验室）；University of Michigan（密歇根大学）
本文提出了一种广义规范张量分解（GCP），能够使用除均方误差外的其他损失函数，如逻辑损失或KL散度，从而适用于二分类或计数数据，并展示了其在社交网络互动、小鼠神经活动和印度月降雨量等真实数据集上的灵活性。
2019-01-22 cs.LG cs.NA math.NA
Streaming Generalized Canonical Polyadic Tensor Decompositions
Sandia National Laboratories（桑迪亚国家实验室）
在本文中，我们开发了一种方法，我们称之为OnlineGCP计算流数据的广义正则多矢（GCP）张量分解。GCP不同于传统的规范多元（CP）张量分解，因为它允许CP模型试图最小化的任意目标函数。当观测到的张量数据是强非高斯的时，这种方法可以提供更好的拟合和更可解释的模型。在流式传输的情况下，张量数据随着时间的推移逐渐被观察到，并且算法必须在有限访问先前数据的情况下递增地更新GCP因式分解。在这项工作中，我们通过导出要在观察新的张量数据时解决的GCP最优化问题来将GCP形式主义扩展到流上下文，制定可调历史项以平衡最近观察到的数据与过去观察到的数据的重建，开发基于使用随机梯度下降法的隔离求解的可扩展求解策略，描述了一种软件实现，该软件实现为当代CPU和GPU架构提供性能和可移植性，并与Matlab集成以增强可用性，并在几个合成和真实张量数据集上演示了该方法和软件的实用性和性能。
2021-10-27 cs.LG cs.MS cs.NA
Synchronous and Asynchronous Parallelism Approaches for Generalized Canonical Polyadic Tensor Decomposition with GenTen
Sandia National Laboratories（桑迪亚国家实验室）
本文提出同步和异步并行方法用于广义规范张量分解，通过GenTen软件包利用共享和分布式内存并行性，结合Kokkos和MPI实现高效的并行GCP分解，同时提出异步分布式并行方法以提高大规模数据集的可扩展性。
2026-05-19 cs.NA math.NA
Accelerating the Canonical Polyadic Alternating Least Squares Optimization via a Randomized Interpolative Decomposition
PSI Center for Scientific Computing, Theory and Data（PSI科学计算、理论与数据中心）；Institute of Mathematics, EPFL（洛桑联邦理工学院数学研究所）；The University of Maryland, College Park（马里兰大学帕克分校）
研究针对规范多adic分解的随机交替最小二乘优化，提出基于杠杆得分的采样策略，通过随机强秩揭示QR分解近似杠杆得分分布，该方法能以特定采样数实现精度，且优于先前方案，减少计算和存储开销。
2026-07-27 cs.NA math.NA
Guarantees for existence of a best canonical polyadic approximation of a noisy low-rank tensor
低秩张量的正则多元分解（CPD）在数据分析和信号处理中起着重要的作用，它允许唯一地恢复潜在的因素。然而，众所周知，低秩CPD近似问题是不适定的。也就是说，当$R>1$时，张量可能无法具有最佳秩$R$ CPD近似。本文给出了$\mathbb{K}=\mathbb{R}$或$\mathbb{K}=\mathbb{C}$上最佳低秩张量逼近存在性的确定性界。更准确地说，给定秩为$R \leq I$的张量$\mathcal{T} \in \mathbb{K}^{I \times I \times I}$，我们计算以$\mathcal{T}$为中心的Frobenius范数球的半径，其中保证存在最佳$\mathbb{K}$秩$R$近似。此外，我们表明，每个$\mathbb{K}$秩$R$张量内的这个球有一个唯一的规范polyadic分解。这个邻域可以被解释为“数学真理”的邻域，在CPD近似下，计算是适定的。在追求这些界限，我们描述低秩张量分解为一个“联合广义特征值”问题。使用这个框架，我们表明，在温和的假设下，一个低秩张量的秩严格大于边界秩是有缺陷的意义上的代数和几何重数联合广义本征值。通过建立联合广义特征值问题的摄动理论结果，得到了最佳低秩逼近的存在界。通过这种方式，我们建立了最佳低秩逼近的存在性和张量谱范数之间的联系。此外，我们解决了“张量Procrustes问题”，检查张量对正交压缩。本文…
2021-12-15 cs.NA math.AG math.NA
Accelerated Canonical Polyadic Decomposition by Using Mode Reduction
Guangdong University of Technology（广东工业大学）
针对高阶张量CP分解中频繁展开至N个模式导致的效率瓶颈，提出一种将N阶张量先转化为3阶张量再分解的方法，避免逐模式展开，同时保持分解唯一性并提升效率。
2013-06-25 cs.LG cs.NA math.NA
A Latent-Variable Formulation of the Poisson Canonical Polyadic Tensor Model: Maximum Likelihood Estimation and Fisher Information
Sandia National Laboratories（桑迪亚国家实验室）；Harbor Branch Oceanographic Institute, Florida Atlantic University（佛罗里达大西洋大学哈勃分支海洋学研究所）
本文提出通过隐变量 formulation 对泊松广义张量模型进行参数推断，并推导其 Fisher 信息矩阵，以提升张量计数数据的建模能力。
2025-11-25 cs.NA math.NA math.ST
GOCPT: Generalized Online Canonical Polyadic Tensor Factorization and Completion
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IQVIA（艾昆纬）
低秩张量因式分解或完成被充分研究并应用于各种在线设置，例如在线张量因式分解（其中时间模式增长）和在线张量完成（其中不完整切片逐渐到达）。然而，在许多现实世界中，张量可能具有更复杂的演化模式：（i）一个或多个模式可以增长;（ii）缺失的条目可以被填充;（iii）现有的张量元素可以改变。现有的方法无法支持这种复杂的场景。为了填补这一空白，本文提出了一个广义在线正则多矢（CP）张量分解和完成框架（名为GOCPT），在这个一般的设置，我们保持CP结构的动态张量在进化过程中。我们表明，现有的在线张量因式分解和完成设置可以在GOCPT框架下统一。此外，我们提出了一个名为GOCPTE的变体，用于处理历史张量元素不可用的情况（例如，隐私保护），其实现了与GOCPT类似的适应性，但具有少得多的计算成本。实验结果表明，我们的GOCPT可以在JHU Covid数据上提高高达2：8%的适应度，在专有患者索赔数据集上提高9：2%的适应度。我们的变体GOCPTE在两个数据集上显示了高达1：2%和5：5%的适应度改进，与最佳模型相比，加速了约20%。
2022-05-08 cs.LG cs.MS cs.NA
Generalized Canonical Polyadic Tensor Decompositions with General Symmetry
Department of Electrical and Computer Engineering, University of Delaware（电气与计算机工程系，德雷克塞尔大学）
本文提出SymGCP分解，通过引入对称性约束提升张量分解在处理对称数据时的性能，适用于二值和计数数据以及异常值鲁棒性提升。
2026-01-08 cs.LG cs.NA math.NA
Concurrent Alternating Least Squares for multiple simultaneous Canonical Polyadic Decompositions
RWTH Aachen University（亚琛工业大学）；Umeå Universitet（于默奥大学）；University of Copenhagen（哥本哈根大学）
张量分解，如CANDECOMP/PARAFAC（CP），广泛用于各种应用，如化学计量学，信号处理和机器学习。用于计算这种分解的广泛使用的方法依赖于交替最小二乘（ALS）算法。当组件数量较少时，无论其实现如何，ALS都表现出较低的运算强度，这严重阻碍了其性能，并使GPU卸载无效。我们观察到，在实践中，专家经常需要计算同一张量的多个分解，每个分解都有少量的分量（通常少于20个），最终找到最适合手头应用的分解。在本文中，我们说明了如何在算法层面上将同一张量的多个分解融合在一起，以增加运算强度。因此，可以有效地利用GPU来进一步加速;同时，该技术与ALS中通常使用的许多增强功能兼容，例如线搜索，外推和非负约束。我们介绍了并发ALS算法和库，它提供了一个接口到Matlab，和一个机制，以有效地处理在不同的时间分解完成的问题。人工和真实数据集上的实验结果表明，由于增加了算法强度，完成的时间更短。
2021-09-08 cs.LG cs.MS cs.NA
Efficient construction of canonical polyadic approximations of tensor networks
研究为张量网络构造CP分解的问题，通过在优化中利用网络结构降低复杂度，将4阶Coulomb张量的4路CP分解复杂度降至$\mathcal{O}(n^3 R_\text{CP})$，在36原子系统中成本降低2个数量级且精度优于现有方法。
2022-11-10 cs.NA math.NA physics.chem-ph
Covid-19 Analysis Using Tensor Methods
在本文中，我们使用张量模型来分析Covid-19大流行数据。首先，我们使用张量模型，规范polyadic和高阶塔克分解，提取模式在多个模式。其次，我们使用规范多元张量分解实现张量完成算法，以预测来自多个空间源的时空数据并识别Covid-19热点。我们应用正则化迭代张量补全技术和实用的正则化参数估计器来预测Covid-19病例的传播，并发现和识别热点。我们的方法可以高精度地预测每周和每季度的Covid-19传播。第三，我们使用一种新的交替最小二乘抽样方法分析美国的新冠肺炎数据。此外，我们比较的算法与标准张量分解的可解释性，可视化和费用分析。最后，我们通过将这些技术应用于新泽西州的Covid-19数据来证明这些方法的有效性。
2022-12-30 cs.NA math.NA
Three decompositions of symmetric tensors have similar condition numbers
本文揭示了对称张量的规范多元分解、Waring分解和Tucker压缩Waring分解三者条件数之间的内在联系，并据此将条件数计算速度提升数个数量级。
2021-10-08 cs.NA math.NA
Nonnegative Canonical Tensor Decomposition with Linear Constraints: nnCANDELINC
人们对大数据分析和机器学习中的张量因式分解应用产生了浓厚的兴趣。为了加速以多维数组（又名张量）组织的超大数据集的因式分解，使用易于计算的基于压缩的张量表示，例如Tucker和Tensor训练格式来近似初始大张量。此外，张量因子分解用于提取潜在特征，这些特征可以促进发现隐藏在数据中的新机制和签名，其中潜在特征的可解释性至关重要。非负张量因子分解提取自然稀疏的潜在特征和数据的一部分，这使得它们易于解释。然而，考虑到现有的领域知识和主题的专业知识，额外的约束往往需要施加，这导致我们的典型分解与线性约束（CANDELINC），一个典型的多元分解秩亏的因素。在CANDELINC中，Tucker压缩被用作预处理步骤，这导致更大的残差，但更可解释的潜在特征。在这里，我们提出了一个非负CANDELINC（nnCANDELINC）通过一个特定的非负塔克分解完成;我们称为最小或规范的非负塔克。我们得到了几个结果需要了解nnCANDELINC的特异性，专注于保持其塔克核心的非负秩的困难和比较的真实值的非负的情况下。最后，我们展示了nnCANDELINC在合成和真实世界的例子中的性能。
2022-03-21 cs.NA math.NA
Efficient Spatial-Spectral Feature Extraction in Hyperspectral Images via Holistic Multivariance Decomposition
Informatics Institute, Department of Computational Science and Engineering, İstanbul Technical University（伊斯坦布尔理工大学信息学研究所计算科学与工程系）
针对高光谱图像分类，传统张量分解方法有局限，本文引入整体多变量分解框架，通过新张量算法建模多种交互，经实验验证其在多数据集及算法下分类准确率更高，是解决高光谱复杂数据结构的有效框架。
2026-07-27 cs.CE cs.NA math.NA
Nonnegative Tensor Decomposition Via Collaborative Neurodynamic Optimization
本文提出一种协同神经动力学模型，结合递归神经网络与粒子群优化求解非负CPD中的非凸优化问题，并给出连续与离散版本的收敛稳定性分析及实验验证。
2025-01-01 cs.NA math.NA
Proximal Gradient-based Low Rank Tensor Decomposition for State Dependent Riccati Equation
Institute of Mathematical Science, ShanghaiTech University（上海科技大学数学科学学院）；Department of Mathematics, University of Alabama at Birmingham（阿拉巴马大学伯明翰分校数学系）
本文提出了一种基于proximal梯度的低秩张量分解方法，用于解决由偏微分方程产生的大离散维控制系统最优控制问题，通过稀疏优化和灵活混合方法获得低秩CP张量基元素，从而将最优控制问题转化为可高效求解的状态依赖Riccati方程。
2026-05-21 cs.NA math.NA math.OC
Modified Levenberg-Marquardt Algorithm For Tensor CP Decomposition in Image Compression
本文提出一种用于张量CP分解的改进Levenberg-Marquardt迭代算法，将其转化为非线性最小二乘优化问题，在随机张量和RGB图像数据集上验证了该方法的高效性，相比传统LM技术有效降低了计算负担。
2024-01-09 cs.NA math.NA
The condition number of many tensor decompositions is invariant under Tucker compression
本文证明多类加性张量分解的条件数在Tucker压缩下不变，从而大幅加速条件数计算，并在食品科学张量上实现四个数量级的提速。
2021-06-24 cs.NA math.NA
Numerical CP Decomposition of Some Difficult Tensors
本文提出了一种小尺寸张量正则多进（CP）分解的数值方法。重点主要是分解对应于小矩阵乘法的张量。这里，张量的秩等于完成矩阵乘法所需的最小数量的标量乘法。该方法基于约束Levenberg-Marquardt优化。数值结果显示了对应于大小为2x 3和3x 2、3x 3和3x 2、3x 3和3x 3以及3x 4和4x 3的矩阵相乘的张量的秩和边界秩。排名分别为11、15、23和29。特别地，提出了一种新的算法，用于将大小为3x 3和3x 2的矩阵乘以15次乘法。
2016-03-04 cs.NA math.NA stat.CO
Rank-1 Tensor Approximation Methods and Application to Deflation
本文提出改进的秩1近似方法和概率框架，用于高效计算CP分解，并通过实验验证了其有效性。
2015-08-21 cs.NA math.NA
Decoupling multivariate polynomials: interconnections between tensorizations
Université de Lorraine, CNRS, CRAN（洛林大学、法国国家科学研究中心、自动与控制研究实验室）；Vrije Universiteit Brussel (VUB)（布鲁塞尔自由大学）
本文研究了多元多项式解耦问题，通过展示张量之间的线性变换关系，揭示了CP分解和唯一性性质的关联，并指出考虑张量分解中的内在结构可以提升分解的唯一性，从而扩大方法的应用范围。
2019-01-29 cs.NA math.NA
Tensor and Matrix Inversions with Applications
Clarkson University（克拉克森大学）
本文通过Einstein积建立张量群与一般线性群的同构，提出新张量分解并用于求解高维PDE和量子模型，同时处理了最小二乘意义下的多线性系统，并采用双共轭梯度和Jacobi迭代方法数值求解。
2011-09-18 cs.NA math.NA
FFT-based homogenisation accelerated by low-rank tensor approximations
基于快速傅里叶变换（FFT）的方法已被证明是数值均匀化的有效计算方法。特别地，傅里叶-伽辽金方法是用于用三角多项式离散化的偏微分方程的计算方法。它们的计算效率得益于基于FFT的高效算法以及有利的条件数。在这里，这类方法是加速低秩张量近似技术的解决方案领域使用规范polyadic，塔克，张量训练格式。这种降阶模型还允许有效地计算次优全局基函数，而无需解决整个问题。它显着降低了计算和内存需求的问题，承认一个温和的秩近似的材料系数字段。这种方法对那些使用全材料张量的优点证明使用模型均匀化问题，包括一个标量线性椭圆变分问题定义在二维和三维设置连续和不连续的异质材料系数的数值例子。这种方法开辟了一个有效的大规模工程问题的非均质材料的降阶建模的潜力。
2020-02-11 cs.NA math.NA
Practical Leverage-Based Sampling for Low-Rank Tensor Decomposition
低秩规范多元张量分解在数据分析中很有用，可以通过求解一系列超定最小二乘子问题来计算。出于稀疏张量的考虑，我们建议使用杠杆分数来选择行的子集，以概率保证解决方案的准确性，勾画每个子问题。我们随机抽样行比例的杠杆得分上界，可以有效地计算使用特殊的Khatri-Rao子问题结构中固有的张量分解。至关重要的是，对于$(d+1)$ -路张量，对于秩$r$和$ε$ -最小二乘求解中的精度的分解，草图系统中的行数为$O(r^d/ε)$，与张量中非零的大小和数量无关。一路上，我们提供了一个实用的解决方案，以通用的矩阵草图问题的采样过剩的高杠杆分数行，建议包括这些行确定性和重复的样本结合在草图系统，我们推测，这可以导致改进的理论界限。对实际大规模张量问题的数值计算结果表明，在几乎相同的精度水平下，该方法明显快于确定性方法。
2022-01-03 cs.NA math.NA
CANDECOMP/PARAFAC Decomposition of High-order Tensors Through Tensor Reshaping
一般来说，三阶CANDECOMP/-PARAFAC（CP）算法，也被称为规范多元分解（CPD），易于实现，并可扩展到高阶CPD。不幸的是，这些算法的计算量很大，而且它们通常不适用于高阶和相对大规模的张量。本文利用CPD的唯一性以及Kruskal形式张量与其展开张量的关系，提出了一种快速处理该问题的方法。代替直接因式分解高阶数据张量，该方法分解具有较低阶的展开张量，例如，三阶张量在3阶估计张量的基础上，生成与数据张量维数相同的结构化Kruskal张量，并利用结构化CPD的快速算法对其进行分解，得到最终解。
2012-11-16 cs.NA math.NA math.OC
Tensor Decompositions for Count Data that Leverage Stochastic and Deterministic Optimization
针对泊松计数数据的低秩非负CPD模型拟合问题，提出混合GCP-CPAPR与带SVDrop的重启CPAPR两种新算法，提升收敛至MLE的概率并降低多起点计算成本，性能优于现有方法。
2024-07-12 cs.MS cs.NA math.NA
The Epsilon-Alternating Least Squares for Orthogonal Low-Rank Tensor Approximation and Its Global Convergence
本文提出了一种新的交替最小二乘法（$ε$ -ALS），并分析了高阶张量的典型多元分解（近似），其中一个或多个因子矩阵被假定为列方向正交的。结果表明，该算法全局收敛到一个KKT点的所有张量没有任何假设。对于原ALS，通过进一步研究其极式分解的性质，在一个不强于文献的实际假设下，我们也证明了它的整体收敛。这些结果完全解决了[L. Wang，M. T. Chu和B. Yu，\emph{SIAM J. Matrix Anal. Appl.}，36（2015），pp. 1- 19]。此外，提出了一个初始化过程，它具有一个可证明的下界时，列正交因子的数量是1。数值实验表明，该算法在效率和有效性方面具有良好的性能。
2019-12-05 cs.NA math.NA math.OC
A lifting approach to ParaTuck-2 tensor decompositions
本文提出一种提升方法，将ParaTuck-2张量分解问题转化为矩阵零空间和特征值计算，从而在已知最优唯一性条件下用代数算法精确求解PT2D及其对称版本DEDICOM，并推广到PARAFAC2分解。
2025-03-10 cs.NA math.NA math.RA
Stochastic Gradients for Large-Scale Tensor Decomposition
Sandia National Laboratories（桑迪亚国家实验室）；University of Michigan（密歇根大学）
张量分解是一个著名的多路数据分析工具。这项工作提出了使用随机梯度有效的广义正则多元（GCP）张量分解的大规模张量。GCP张量分解是最近提出的张量分解的一个版本，它允许各种损失函数，例如用于二进制数据的Bernoulli损失或用于鲁棒估计的Huber损失。随机梯度由张量的随机采样元素形成，并且是有效的，因为它可以使用稀疏矩阵化张量乘以Khatri-Rao乘积（MTTKRP）张量核来计算。对于稠密张量，我们简单地使用均匀采样。对于稀疏张量，我们提出了两种类型的分层抽样，优先考虑采样非零。数值结果表明，所提出的方法和其可扩展性的大规模问题的优势。
2020-07-08 cs.LG cs.NA math.NA
Tensor Decomposition Meets RKHS: Efficient Algorithms for Smooth and Misaligned Data
Databricks Mosaic Research（Databricks Mosaic 研究院）；Flatiron Institute（弗拉铁隆研究院）；Duke University（杜克大学）；New York University（纽约大学）
该研究提出CP-HiFi混合张量分解方法，用RKHS连续函数替换部分张量向量得到准张量，可施加平滑性约束且适配未对齐非网格数据，并通过合成示例验证了方法。
2024-08-11 cs.LG cs.NA math.NA
A Normal Form Algorithm for Tensor Rank Decomposition
本文提出一种基于多项式方程组和多分级正则性的张量秩分解数值算法，证明了多种张量格式的有效复杂度界，并猜想一般公式，实验表明其在精度、时间和内存上均优于现有方法一个数量级。
2022-11-14 cs.NA math.AG math.NA
On Complexity of Stability Analysis in Higher-order Ecological Networks through Tensor Decompositions
本文研究高阶生态网络线性稳定性判定的复杂度问题，基于高阶广义 Lotka-Volterra 模型，利用多种张量分解高效计算 Jacobian 矩阵，并通过数值算例验证框架有效性。
2024-04-03 cs.NA cs.SY eess.SY
Matrix rigidity and the ill-posedness of Robust PCA and matrix completion
稳健的主成分分析（PCA）（Candes等人，2011）和低秩矩阵完备化（Recht等人，2010）是PCA的扩展，分别允许离群值和缺失条目。众所周知，解决这些问题需要低秩矩阵和规范基之间的低相干性，因为在极端情况下-当我们希望恢复的低秩矩阵也是稀疏的时-存在固有的模糊性。然而，这两个问题中的适定性问题是甚至更基本的问题：在某些情况下，由于低秩加稀疏矩阵的集合不是封闭的，鲁棒PCA和矩阵完备两者可能无法具有任何解，这又等同于矩阵刚性函数不是低秩连续的概念（Kumar等人，2014年）。通过构造矩阵的无限族，得到了低秩加稀疏矩阵的秩和稀疏度的界，使得低秩加稀疏矩阵的集合不封闭。我们还证明了数值上，广泛的鲁棒PCA和矩阵完成的非凸算法有发散组件时，我们构造的矩阵。可以类比高阶张量的集合在规范多元（CP）张量秩下不闭合的情况，使得最佳低秩张量近似不可解（De Silva and Lim，2008），因此鼓励使用多线性张量秩（De Lathauwer，2000）。
2019-07-11 cs.IT cs.NA math.IT
Tensor Decomposition with Unaligned Observations
Department of Statistics, University of Wisconsin-Madison（威斯康星大学麦迪逊分校统计学系）；Departments of Biostatistics & Bioinformatics and Computer Science, Duke University（杜克大学生物统计学与生物信息学系、计算机科学系）
本文提出一种基于RKHS的CP张量分解方法以处理未对齐观测值，引入通用损失函数、优化算法及草图算法提升计算效率，并在合成数据与微生物组数据集上验证了有效性。
2025-08-09 cs.LG cs.NA math.NA
Seeding neural network quantum states with tensor network states
Physics Division, Sophia University（Sophia大学物理系）；Department of Physics, University of Tokyo（东京大学物理系）
本研究提出一种通过MPS的CP分解将张量网络态转换为受限玻尔兹曼机波函数的高效方法，可快速生成优质初始神经网络量子态，经横场伊辛模型验证有效，有望应用于更复杂的量子多体系统。
2025-10-28 cond-mat.str-el cs.LG cs.NA
Parameter Sensitivity Analysis of the SparTen High Performance Sparse Tensor Decomposition Software: Extended Analysis
张量分解模型在现代数据科学应用中发挥着越来越重要的作用。特别感兴趣的一个问题是拟合低秩正则多矢（CP）张量分解模型时，张量具有稀疏结构和张量元素是非负计数数据。Sparten是一个高性能的C++库，它使用不同的求解器计算低秩分解：一阶拟牛顿或二阶阻尼牛顿方法，以及适当的运行时参数选择。由于Sparten中的默认参数是根据先前发表的使用MATLAB实现这些方法的单个真实数据集的实验结果进行调整的，因此目前尚不清楚Sparten中的参数默认值是否适用于一般张量数据。此外，算法收敛对输入参数值的变化有多敏感是未知的。本报告通过对三个基准张量数据集进行大规模实验来解决这些未解决的问题。在几种不同的CPU架构上进行了实验，并复制了许多初态，以建立算法收敛行为的广义轮廓。
2020-12-02 cs.MS cs.NA cs.PF
