New Riemannian preconditioned algorithms for tensor completion via polyadic decomposition
UCLouvain(鲁汶天主教大学)
我们提出了新的黎曼预条件算法的低秩张量完成通过张量的多元分解。这些算法利用了多元分解形式的低秩张量的因子矩阵的积空间上的非欧度量。该度量是利用张量完备化费用函数的Hessian对角块的近似来设计的,因此对这些算法具有预处理作用。我们证明了所提出的黎曼梯度下降算法全局收敛到张量完成问题的一个稳定点,收敛速度估计使用$Ł$ ojasiewicz属性。对合成数据和真实数据的数值结果表明,所提出的算法在内存和时间上比最先进的算法更有效。此外,所提出的算法表现出更大的容忍度高估的秩参数的张量恢复性能,从而使一个灵活的选择的秩参数。
2022-06-02 cs.LG cs.NA math.NA
Generalized Canonical Polyadic Tensor Decomposition
Sandia National Laboratories(桑迪亚国家实验室);University of Michigan(密歇根大学)
本文提出了一种广义规范张量分解(GCP),能够使用除均方误差外的其他损失函数,如逻辑损失或KL散度,从而适用于二分类或计数数据,并展示了其在社交网络互动、小鼠神经活动和印度月降雨量等真实数据集上的灵活性。
2019-01-22 cs.LG cs.NA math.NA
Streaming Generalized Canonical Polyadic Tensor Decompositions
Sandia National Laboratories(桑迪亚国家实验室)
在本文中,我们开发了一种方法,我们称之为OnlineGCP计算流数据的广义正则多矢(GCP)张量分解。GCP不同于传统的规范多元(CP)张量分解,因为它允许CP模型试图最小化的任意目标函数。当观测到的张量数据是强非高斯的时,这种方法可以提供更好的拟合和更可解释的模型。在流式传输的情况下,张量数据随着时间的推移逐渐被观察到,并且算法必须在有限访问先前数据的情况下递增地更新GCP因式分解。在这项工作中,我们通过导出要在观察新的张量数据时解决的GCP最优化问题来将GCP形式主义扩展到流上下文,制定可调历史项以平衡最近观察到的数据与过去观察到的数据的重建,开发基于使用随机梯度下降法的隔离求解的可扩展求解策略,描述了一种软件实现,该软件实现为当代CPU和GPU架构提供性能和可移植性,并与Matlab集成以增强可用性,并在几个合成和真实张量数据集上演示了该方法和软件的实用性和性能。
2021-10-27 cs.LG cs.MS cs.NA
Synchronous and Asynchronous Parallelism Approaches for Generalized Canonical Polyadic Tensor Decomposition with GenTen
Sandia National Laboratories(桑迪亚国家实验室)
本文提出同步和异步并行方法用于广义规范张量分解,通过GenTen软件包利用共享和分布式内存并行性,结合Kokkos和MPI实现高效的并行GCP分解,同时提出异步分布式并行方法以提高大规模数据集的可扩展性。
2026-05-19 cs.NA math.NA
Guarantees for existence of a best canonical polyadic approximation of a noisy low-rank tensor
低秩张量的正则多元分解(CPD)在数据分析和信号处理中起着重要的作用,它允许唯一地恢复潜在的因素。然而,众所周知,低秩CPD近似问题是不适定的。也就是说,当$R>1$时,张量可能无法具有最佳秩$R$ CPD近似。本文给出了$\mathbb{K}=\mathbb{R}$或$\mathbb{K}=\mathbb{C}$上最佳低秩张量逼近存在性的确定性界。更准确地说,给定秩为$R \leq I$的张量$\mathcal{T} \in \mathbb{K}^{I \times I \times I}$,我们计算以$\mathcal{T}$为中心的Frobenius范数球的半径,其中保证存在最佳$\mathbb{K}$秩$R$近似。此外,我们表明,每个$\mathbb{K}$秩$R$张量内的这个球有一个唯一的规范polyadic分解。这个邻域可以被解释为“数学真理”的邻域,在CPD近似下,计算是适定的。在追求这些界限,我们描述低秩张量分解为一个“联合广义特征值”问题。使用这个框架,我们表明,在温和的假设下,一个低秩张量的秩严格大于边界秩是有缺陷的意义上的代数和几何重数联合广义本征值。通过建立联合广义特征值问题的摄动理论结果,得到了最佳低秩逼近的存在界。通过这种方式,我们建立了最佳低秩逼近的存在性和张量谱范数之间的联系。此外,我们解决了“张量Procrustes问题”,检查张量对正交压缩。本文…
2021-12-15 cs.NA math.AG math.NA
GOCPT: Generalized Online Canonical Polyadic Tensor Factorization and Completion
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IQVIA(艾昆纬)
低秩张量因式分解或完成被充分研究并应用于各种在线设置,例如在线张量因式分解(其中时间模式增长)和在线张量完成(其中不完整切片逐渐到达)。然而,在许多现实世界中,张量可能具有更复杂的演化模式:(i)一个或多个模式可以增长;(ii)缺失的条目可以被填充;(iii)现有的张量元素可以改变。现有的方法无法支持这种复杂的场景。为了填补这一空白,本文提出了一个广义在线正则多矢(CP)张量分解和完成框架(名为GOCPT),在这个一般的设置,我们保持CP结构的动态张量在进化过程中。我们表明,现有的在线张量因式分解和完成设置可以在GOCPT框架下统一。此外,我们提出了一个名为GOCPTE的变体,用于处理历史张量元素不可用的情况(例如,隐私保护),其实现了与GOCPT类似的适应性,但具有少得多的计算成本。实验结果表明,我们的GOCPT可以在JHU Covid数据上提高高达2:8%的适应度,在专有患者索赔数据集上提高9:2%的适应度。我们的变体GOCPTE在两个数据集上显示了高达1:2%和5:5%的适应度改进,与最佳模型相比,加速了约20%。
2022-05-08 cs.LG cs.MS cs.NA
Accelerating jackknife resampling for the Canonical Polyadic Decomposition
正则多矢(CP)张量分解经常被用作各种不同领域应用的模型。使用刀切响应估计参数的不确定性往往是可取的,但在已经很高的计算成本的增加的结果。经过观察,重采样张量,虽然不同,几乎是相同的,我们表明,它是可能的,以延长最近提出的并发ALS(CALS)技术的刀切rescue的情况。这种扩展提供了访问CALS的计算效率优势的价格在浮点运算的数量适度增加(通常是百分之几)。在合成数据集和真实数据集上的数值实验表明,基于CALS扩展的新工作流可以比单独处理折刀子模型的简单工作流快几倍。
2021-12-07 cs.MS cs.NA math.NA
A Latent-Variable Formulation of the Poisson Canonical Polyadic Tensor Model: Maximum Likelihood Estimation and Fisher Information
Sandia National Laboratories(桑迪亚国家实验室);Harbor Branch Oceanographic Institute, Florida Atlantic University(佛罗里达大西洋大学哈勃分支海洋学研究所)
本文提出通过隐变量 formulation 对泊松广义张量模型进行参数推断,并推导其 Fisher 信息矩阵,以提升张量计数数据的建模能力。
2025-11-25 cs.NA math.NA math.ST
A recursive eigenspace computation for the Canonical Polyadic decomposition
典型多进分解(CPD)是一种紧分解,它将张量表示为其秩为1的分量之和。计算CPD的一个常见步骤是计算张量的广义特征值分解(GEVD)。GEVD提供CPD的代数近似,然后可以用作优化例程中的初始化。虽然在无噪声设置中GEVD精确地恢复CPD,但最近已经表明,诸如GEVD的基于卷积的计算是不稳定的。在这篇文章中,我们提出了一个代数方法的CPD的近似,大大提高了GEVD的精度。我们的方法基本上仍然是基于粒子束的;然而,我们不是使用单个粒子束并计算其所有的广义本征向量,而是使用许多不同的粒子束,并在每个粒子束中计算对应于充分分离的广义本征值的广义本征空间。由此产生的"广义特征空间分解"是显着更强大的噪声比经典的GEVD。广义特征空间分解的准确性的经验和理论研究。特别是,我们提供了一个确定性的扰动理论界,这是预测的错误计算因式分解。
2021-12-15 cs.NA math.NA
Generalized Canonical Polyadic Tensor Decompositions with General Symmetry
Department of Electrical and Computer Engineering, University of Delaware(电气与计算机工程系,德雷克塞尔大学)
本文提出SymGCP分解,通过引入对称性约束提升张量分解在处理对称数据时的性能,适用于二值和计数数据以及异常值鲁棒性提升。
2026-01-08 cs.LG cs.NA math.NA
Accelerated Canonical Polyadic Decomposition by Using Mode Reduction
Guangdong University of Technology(广东工业大学)
针对高阶张量CP分解中频繁展开至N个模式导致的效率瓶颈,提出一种将N阶张量先转化为3阶张量再分解的方法,避免逐模式展开,同时保持分解唯一性并提升效率。
2013-06-25 cs.LG cs.NA math.NA
Accelerating the Canonical Polyadic Alternating Least Squares Optimization via a Randomized Interpolative Decomposition
PSI Center for Scientific Computing, Theory and Data(PSI科学计算、理论与数据中心);Institute of Mathematics, EPFL(洛桑联邦理工学院数学研究所);The University of Maryland, College Park(马里兰大学帕克分校)
研究针对规范多adic分解的随机交替最小二乘优化,提出基于杠杆得分的采样策略,通过随机强秩揭示QR分解近似杠杆得分分布,该方法能以特定采样数实现精度,且优于先前方案,减少计算和存储开销。
2026-07-27 cs.NA math.NA
Efficient construction of canonical polyadic approximations of tensor networks
研究为张量网络构造CP分解的问题,通过在优化中利用网络结构降低复杂度,将4阶Coulomb张量的4路CP分解复杂度降至$\mathcal{O}(n^3 R_\text{CP})$,在36原子系统中成本降低2个数量级且精度优于现有方法。
2022-11-10 cs.NA math.NA physics.chem-ph
Three decompositions of symmetric tensors have similar condition numbers
本文揭示了对称张量的规范多元分解、Waring分解和Tucker压缩Waring分解三者条件数之间的内在联系,并据此将条件数计算速度提升数个数量级。
2021-10-08 cs.NA math.NA
Concurrent Alternating Least Squares for multiple simultaneous Canonical Polyadic Decompositions
RWTH Aachen University(亚琛工业大学);Umeå Universitet(于默奥大学);University of Copenhagen(哥本哈根大学)
张量分解,如CANDECOMP/PARAFAC(CP),广泛用于各种应用,如化学计量学,信号处理和机器学习。用于计算这种分解的广泛使用的方法依赖于交替最小二乘(ALS)算法。当组件数量较少时,无论其实现如何,ALS都表现出较低的运算强度,这严重阻碍了其性能,并使GPU卸载无效。我们观察到,在实践中,专家经常需要计算同一张量的多个分解,每个分解都有少量的分量(通常少于20个),最终找到最适合手头应用的分解。在本文中,我们说明了如何在算法层面上将同一张量的多个分解融合在一起,以增加运算强度。因此,可以有效地利用GPU来进一步加速;同时,该技术与ALS中通常使用的许多增强功能兼容,例如线搜索,外推和非负约束。我们介绍了并发ALS算法和库,它提供了一个接口到Matlab,和一个机制,以有效地处理在不同的时间分解完成的问题。人工和真实数据集上的实验结果表明,由于增加了算法强度,完成的时间更短。
2021-09-08 cs.LG cs.MS cs.NA
Generalized cyclic symmetric decompositions for the matrix multiplication tensor
本文为非方阵矩阵乘法张量的多元分解提出广义循环对称结构,通过减少优化变量改善收敛,并在现有数值优化算法中验证其能找到更多实用分解。
2025-03-18 cs.NA math.NA math.OC
A constructive arbitrary-degree Kronecker product decomposition of tensors
本文提出了张量Kronecker积奇异值分解TKPSVD,它将一个实$k$ -路张量$\mathcal{A}$分解为一个张量Kronecker积与任意个数的$d$因子$\mathcal{A} = \sum_{j=1}^R σ_j\, \mathcal{A}^{(d)}_j \otimes \cdots \otimes \mathcal{A}^{(1)}_j$的线性组合.我们将矩阵Kronecker积推广到张量,使得TKPSVD中的每个因子$\mathcal{A}^{(i)}_j$是$k$ -路张量。该算法依赖于重塑和置换成一个$d$方式张量的原始张量,然后计算与正交秩-1项的polyadic分解。我们证明了,对于许多不同的结构张量,克罗内克积因子$\mathcal{A}^{(1)}_j,\ldots,\mathcal{A}^{(d)}_j$保证继承这种结构。此外,我们还引入了广义对称张量的概念,它包括了对称张量、过对称张量、中心对称张量、Toeplitz张量和Hankel张量等多种结构。
2016-03-08 cs.NA math.NA
Modified Levenberg-Marquardt Algorithm For Tensor CP Decomposition in Image Compression
本文提出一种用于张量CP分解的改进Levenberg-Marquardt迭代算法,将其转化为非线性最小二乘优化问题,在随机张量和RGB图像数据集上验证了该方法的高效性,相比传统LM技术有效降低了计算负担。
2024-01-09 cs.NA math.NA
On the structure of join tensors with applications to tensor eigenvalue problems
Aalto University School of Science(阿尔托大学理工学院)
研究连接张量的结构,推导其多项式分解和张量列车分解,并探讨其存储复杂度及特征值上界。
2017-05-15 cs.NA math.NA math.RA
Nonnegative Tensor Decomposition Via Collaborative Neurodynamic Optimization
本文提出一种协同神经动力学模型,结合递归神经网络与粒子群优化求解非负CPD中的非凸优化问题,并给出连续与离散版本的收敛稳定性分析及实验验证。
2025-01-01 cs.NA math.NA
The condition number of many tensor decompositions is invariant under Tucker compression
本文证明多类加性张量分解的条件数在Tucker压缩下不变,从而大幅加速条件数计算,并在食品科学张量上实现四个数量级的提速。
2021-06-24 cs.NA math.NA
Proximal Gradient-based Low Rank Tensor Decomposition for State Dependent Riccati Equation
Institute of Mathematical Science, ShanghaiTech University(上海科技大学数学科学学院);Department of Mathematics, University of Alabama at Birmingham(阿拉巴马大学伯明翰分校数学系)
本文提出了一种基于proximal梯度的低秩张量分解方法,用于解决由偏微分方程产生的大离散维控制系统最优控制问题,通过稀疏优化和灵活混合方法获得低秩CP张量基元素,从而将最优控制问题转化为可高效求解的状态依赖Riccati方程。
2026-05-21 cs.NA math.NA math.OC
Newton-Based Optimization for Kullback-Leibler Nonnegative Tensor Factorizations
具有非负约束的张量因子分解已经在分析来自网络流量、社交网络和其他领域的数据中得到应用。我们认为应用程序数据最好被描述为由泊松过程生成(例如,计数数据),这导致可以由稀疏因子矩阵建模的稀疏张量。在本文中,我们研究有效的技术计算一个适当的规范的多元张量因式分解的基础上的Kullback-Leibler发散函数。我们提出了新的子问题求解器内的标准交替块变量的方法。我们的新方法利用结构和重新制定的最优化问题为小的独立的子问题。我们采用边界约束牛顿法和拟牛顿法。我们将我们的算法与其他代码进行比较,证明了高精度结果的优越速度和快速找到稀疏解决方案的能力。
2014-11-10 cs.NA math.NA
Decoupling multivariate polynomials: interconnections between tensorizations
Université de Lorraine, CNRS, CRAN(洛林大学、法国国家科学研究中心、自动与控制研究实验室);Vrije Universiteit Brussel (VUB)(布鲁塞尔自由大学)
本文研究了多元多项式解耦问题,通过展示张量之间的线性变换关系,揭示了CP分解和唯一性性质的关联,并指出考虑张量分解中的内在结构可以提升分解的唯一性,从而扩大方法的应用范围。
2019-01-29 cs.NA math.NA
Numerical CP Decomposition of Some Difficult Tensors
本文提出了一种小尺寸张量正则多进(CP)分解的数值方法。重点主要是分解对应于小矩阵乘法的张量。这里,张量的秩等于完成矩阵乘法所需的最小数量的标量乘法。该方法基于约束Levenberg-Marquardt优化。数值结果显示了对应于大小为2x 3和3x 2、3x 3和3x 2、3x 3和3x 3以及3x 4和4x 3的矩阵相乘的张量的秩和边界秩。排名分别为11、15、23和29。特别地,提出了一种新的算法,用于将大小为3x 3和3x 2的矩阵乘以15次乘法。
2016-03-04 cs.NA math.NA stat.CO
Rank-1 Tensor Approximation Methods and Application to Deflation
本文提出改进的秩1近似方法和概率框架,用于高效计算CP分解,并通过实验验证了其有效性。
2015-08-21 cs.NA math.NA
CANDECOMP/PARAFAC Decomposition of High-order Tensors Through Tensor Reshaping
一般来说,三阶CANDECOMP/-PARAFAC(CP)算法,也被称为规范多元分解(CPD),易于实现,并可扩展到高阶CPD。不幸的是,这些算法的计算量很大,而且它们通常不适用于高阶和相对大规模的张量。本文利用CPD的唯一性以及Kruskal形式张量与其展开张量的关系,提出了一种快速处理该问题的方法。代替直接因式分解高阶数据张量,该方法分解具有较低阶的展开张量,例如,三阶张量在3阶估计张量的基础上,生成与数据张量维数相同的结构化Kruskal张量,并利用结构化CPD的快速算法对其进行分解,得到最终解。
2012-11-16 cs.NA math.NA math.OC
Practical Leverage-Based Sampling for Low-Rank Tensor Decomposition
低秩规范多元张量分解在数据分析中很有用,可以通过求解一系列超定最小二乘子问题来计算。出于稀疏张量的考虑,我们建议使用杠杆分数来选择行的子集,以概率保证解决方案的准确性,勾画每个子问题。我们随机抽样行比例的杠杆得分上界,可以有效地计算使用特殊的Khatri-Rao子问题结构中固有的张量分解。至关重要的是,对于$(d+1)$ -路张量,对于秩$r$和$ε$ -最小二乘求解中的精度的分解,草图系统中的行数为$O(r^d/ε)$,与张量中非零的大小和数量无关。一路上,我们提供了一个实用的解决方案,以通用的矩阵草图问题的采样过剩的高杠杆分数行,建议包括这些行确定性和重复的样本结合在草图系统,我们推测,这可以导致改进的理论界限。对实际大规模张量问题的数值计算结果表明,在几乎相同的精度水平下,该方法明显快于确定性方法。
2022-01-03 cs.NA math.NA
On Koopman Mode Decomposition and Tensor Component Analysis
Koopman模式分解和张量分量分析(也称为CANDECOMP/PARAFAC或规范多元分解)是将高维数据集分解为低维模式的两种流行方法,这些模式捕获最相关的特征和/或动态。尽管它们的目标相似,但这两种方法在很大程度上被不同的科学团体使用,并以不同的数学语言表达。我们一起研究这两个,并表明,在一定的(合理的)条件下的数据,张量分量分析给出的理论分解是\textit{same}的Koopman模式分解。这提供了一座“桥梁”,两族应能通过这座桥梁更有效地沟通。当不满足这个条件时,Koopman模式分解仍然提供具有\textit{a priori}可计算误差的张量分解,提供张量分量分析所需的非凸优化的替代方案。我们的工作提供了新的可能性的算法方法Koopman模式分解和张量分量分析,提供了一个新的视角张量分量分析的成功,并建立在一个越来越多的工作表明,动力系统,特别是Koopman算子理论,可以是有用的问题,历史上利用优化理论。
2021-04-15 cs.NA math.NA
Tensor decompositions and algorithms, with applications to tensor learning
提出了一种新的典型多进分解算法。它的特点是比现有技术实现方式更低的计算复杂性和存储器使用。我们从CPD应用于现实世界问题的一些例子开始。以下是对这项工作的主要贡献的简短总结。在第一章中,我们回顾了经典的张量代数和几何,重点是CPD。第二章侧重于张量压缩,这被认为是(在这项工作中)CPD算法的最重要的部分之一。在第三章中,我们讨论了高斯-牛顿法,这是一种用于最小化非线性函数的非线性最小二乘法。第四章是全文最长的一章。在这一章中,我们介绍了本文的主要研究对象:张量Fox。基本上,它是一个张量包,其中包括CPD求解器。在介绍了Tensor Fox之后,我们将进行大量的计算实验,将这个求解器与其他几个求解器进行比较。在本章的最后,我们将介绍张量训练分解,并展示如何使用它来计算高阶CPD。我们还讨论了一些重要的细节,如正则化,预处理,条件,并行等,在第5章中,我们考虑张量分解和机器学习之间的交叉。介绍了一种新的模型,它作为一个张量版本的神经网络。最后,在第六章中,我们得出了最后的结论,并介绍了我们对未来发展的展望。
2021-10-12 cs.NA math.NA
Stochastic Gradients for Large-Scale Tensor Decomposition
Sandia National Laboratories(桑迪亚国家实验室);University of Michigan(密歇根大学)
张量分解是一个著名的多路数据分析工具。这项工作提出了使用随机梯度有效的广义正则多元(GCP)张量分解的大规模张量。GCP张量分解是最近提出的张量分解的一个版本,它允许各种损失函数,例如用于二进制数据的Bernoulli损失或用于鲁棒估计的Huber损失。随机梯度由张量的随机采样元素形成,并且是有效的,因为它可以使用稀疏矩阵化张量乘以Khatri-Rao乘积(MTTKRP)张量核来计算。对于稠密张量,我们简单地使用均匀采样。对于稀疏张量,我们提出了两种类型的分层抽样,优先考虑采样非零。数值结果表明,所提出的方法和其可扩展性的大规模问题的优势。
2020-07-08 cs.LG cs.NA math.NA
The average condition number of most tensor rank decomposition problems is infinite
本文证明随机秩-2及大多数更高秩张量的秩分解条件数期望为无穷大,而秩-2张量的角度条件数期望有限,揭示了张量秩分解问题的高计算复杂度及其对算法设计与测试的启示。
2022-09-20 cs.NA math.NA
Nonnegative Canonical Tensor Decomposition with Linear Constraints: nnCANDELINC
人们对大数据分析和机器学习中的张量因式分解应用产生了浓厚的兴趣。为了加速以多维数组(又名张量)组织的超大数据集的因式分解,使用易于计算的基于压缩的张量表示,例如Tucker和Tensor训练格式来近似初始大张量。此外,张量因子分解用于提取潜在特征,这些特征可以促进发现隐藏在数据中的新机制和签名,其中潜在特征的可解释性至关重要。非负张量因子分解提取自然稀疏的潜在特征和数据的一部分,这使得它们易于解释。然而,考虑到现有的领域知识和主题的专业知识,额外的约束往往需要施加,这导致我们的典型分解与线性约束(CANDELINC),一个典型的多元分解秩亏的因素。在CANDELINC中,Tucker压缩被用作预处理步骤,这导致更大的残差,但更可解释的潜在特征。在这里,我们提出了一个非负CANDELINC(nnCANDELINC)通过一个特定的非负塔克分解完成;我们称为最小或规范的非负塔克。我们得到了几个结果需要了解nnCANDELINC的特异性,专注于保持其塔克核心的非负秩的困难和比较的真实值的非负的情况下。最后,我们展示了nnCANDELINC在合成和真实世界的例子中的性能。
2022-03-21 cs.NA math.NA
The Epsilon-Alternating Least Squares for Orthogonal Low-Rank Tensor Approximation and Its Global Convergence
本文提出了一种新的交替最小二乘法($ε$ -ALS),并分析了高阶张量的典型多元分解(近似),其中一个或多个因子矩阵被假定为列方向正交的。结果表明,该算法全局收敛到一个KKT点的所有张量没有任何假设。对于原ALS,通过进一步研究其极式分解的性质,在一个不强于文献的实际假设下,我们也证明了它的整体收敛。这些结果完全解决了[L. Wang,M. T. Chu和B. Yu,\emph{SIAM J. Matrix Anal. Appl.},36(2015),pp. 1- 19]。此外,提出了一个初始化过程,它具有一个可证明的下界时,列正交因子的数量是1。数值实验表明,该算法在效率和有效性方面具有良好的性能。
2019-12-05 cs.NA math.NA math.OC
A lifting approach to ParaTuck-2 tensor decompositions
本文提出一种提升方法,将ParaTuck-2张量分解问题转化为矩阵零空间和特征值计算,从而在已知最优唯一性条件下用代数算法精确求解PT2D及其对称版本DEDICOM,并推广到PARAFAC2分解。
2025-03-10 cs.NA math.NA math.RA
Tensors in modelling multi-particle interactions
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所);Marchuk Institute of Numerical Mathematics RAS(俄罗斯科学院马丘克数值数学研究所);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
本文研究了低秩张量分解在多粒子碰撞(三个或更多粒子)聚集动力学建模中的应用,通过降低右端项计算复杂度,提高了数值求解的精度和效率。
2019-05-22 cs.NA math.NA
Efficient Spatial-Spectral Feature Extraction in Hyperspectral Images via Holistic Multivariance Decomposition
Informatics Institute, Department of Computational Science and Engineering, İstanbul Technical University(伊斯坦布尔理工大学信息学研究所计算科学与工程系)
针对高光谱图像分类,传统张量分解方法有局限,本文引入整体多变量分解框架,通过新张量算法建模多种交互,经实验验证其在多数据集及算法下分类准确率更高,是解决高光谱复杂数据结构的有效框架。
2026-07-27 cs.CE cs.NA math.NA
Tensor Decomposition Meets RKHS: Efficient Algorithms for Smooth and Misaligned Data
Databricks Mosaic Research(Databricks Mosaic 研究院);Flatiron Institute(弗拉铁隆研究院);Duke University(杜克大学);New York University(纽约大学)
该研究提出CP-HiFi混合张量分解方法,用RKHS连续函数替换部分张量向量得到准张量,可施加平滑性约束且适配未对齐非网格数据,并通过合成示例验证了方法。
2024-08-11 cs.LG cs.NA math.NA
A Normal Form Algorithm for Tensor Rank Decomposition
本文提出一种基于多项式方程组和多分级正则性的张量秩分解数值算法,证明了多种张量格式的有效复杂度界,并猜想一般公式,实验表明其在精度、时间和内存上均优于现有方法一个数量级。
2022-11-14 cs.NA math.AG math.NA
Holistic Multivariance Decomposition: Adapting Mode Interrelations in Low-Rank Tensor Approximations
Informatics Institute, Department of Computational Science and Engineering, İstanbul Technical University(伊斯坦布尔理工大学计算科学与工程系信息学研究所)
提出整体多变量分解(HMD)框架,通过专用投影算子显式建模孤立模式效应和高阶相互关系,在多个基准测试中相比Tucker和CP分解显著降低重构误差。
2026-06-26 cs.CE cs.NA math.NA
On Complexity of Stability Analysis in Higher-order Ecological Networks through Tensor Decompositions
本文研究高阶生态网络线性稳定性判定的复杂度问题,基于高阶广义 Lotka-Volterra 模型,利用多种张量分解高效计算 Jacobian 矩阵,并通过数值算例验证框架有效性。
2024-04-03 cs.NA cs.SY eess.SY
Fast and Accurate CP-HIFI Tensor Decompositions: Exploiting Kronecker Structure
Arizona State University(亚利桑那州立大学)
本文提出快速准确的CP-HIFI张量分解方法,利用克罗内克结构加速求解,显著提升计算效率。
2026-08-19 cs.NA math.NA
Group Sparse-based Tensor CP Decomposition: Model, Algorithms, and Applications in Chemometrics
针对张量 CP 秩难以准确估计的问题,本文提出组稀疏正则化 CP 分解模型及带外推和秩缩减的双循环块坐标邻近梯度算法,并在化学计量学真实数据上验证其有效性。
2025-01-07 cs.NA math.NA
Efficient Structure-preserving Support Tensor Train Machine
Max Planck Institute for Dynamics of Complex Technical Systems(马克斯·普朗克复杂技术系统动力学研究所);University of Bath(巴斯大学);Technische Universität Chemnitz(开姆尼茨工业大学)
越来越多的收集数据是高维多路数组(张量),这是有效的学习算法,以利用这种张量结构尽可能是至关重要的。高维数据的维数灾难和向量化数据时的结构损失促使使用定制的低秩张量分类方法。在存在少量训练数据的情况下,核方法提供了有吸引力的选择,因为它们提供了非线性决策边界的可能性。我们开发的张量训练多路多级核(TT-MMK),它结合了简单的规范多元分解,双结构保持支持向量机的分类能力,和张量训练(TT)近似的可靠性。我们通过实验表明,TT-MMK方法通常是更可靠的计算,调整参数不太敏感,并提供更高的预测精度时,对其他国家的最先进的技术的SVM分类基准。
2021-08-03 cs.LG cs.NA math.NA
Parameter Sensitivity Analysis of the SparTen High Performance Sparse Tensor Decomposition Software: Extended Analysis
张量分解模型在现代数据科学应用中发挥着越来越重要的作用。特别感兴趣的一个问题是拟合低秩正则多矢(CP)张量分解模型时,张量具有稀疏结构和张量元素是非负计数数据。Sparten是一个高性能的C++库,它使用不同的求解器计算低秩分解:一阶拟牛顿或二阶阻尼牛顿方法,以及适当的运行时参数选择。由于Sparten中的默认参数是根据先前发表的使用MATLAB实现这些方法的单个真实数据集的实验结果进行调整的,因此目前尚不清楚Sparten中的参数默认值是否适用于一般张量数据。此外,算法收敛对输入参数值的变化有多敏感是未知的。本报告通过对三个基准张量数据集进行大规模实验来解决这些未解决的问题。在几种不同的CPU架构上进行了实验,并复制了许多初态,以建立算法收敛行为的广义轮廓。
2020-12-02 cs.MS cs.NA cs.PF
Tensor Decomposition with Unaligned Observations
Department of Statistics, University of Wisconsin-Madison(威斯康星大学麦迪逊分校统计学系);Departments of Biostatistics & Bioinformatics and Computer Science, Duke University(杜克大学生物统计学与生物信息学系、计算机科学系)
本文提出一种基于RKHS的CP张量分解方法以处理未对齐观测值,引入通用损失函数、优化算法及草图算法提升计算效率,并在合成数据与微生物组数据集上验证了有效性。
2025-08-09 cs.LG cs.NA math.NA
Tensor Decompositions for Count Data that Leverage Stochastic and Deterministic Optimization
针对泊松计数数据的低秩非负CPD模型拟合问题,提出混合GCP-CPAPR与带SVDrop的重启CPAPR两种新算法,提升收敛至MLE的概率并降低多起点计算成本,性能优于现有方法。
2024-07-12 cs.MS cs.NA math.NA
Nonlinearly Preconditioned L-BFGS as an Acceleration Mechanism for Alternating Least Squares, with Application to Tensor Decomposition
School of Mathematical Sciences, Monash University(蒙纳士大学理学院);Department of Applied Mathematics, University of Waterloo(滑铁卢大学应用数学系)
本文提出基于L-BFGS更新公式非线性加速方法,用于加速交替最小二乘法在张量分解中的应用,通过非线性预条件化提升优化效率与鲁棒性。
2018-06-27 cs.NA math.NA math.OC
Multilinear analysis of quaternion arrays: theory and computation
CNRS, CRAN(法国国家科学研究中心,自动与控制研究实验室);CNRS, LIS UMR 7020(法国国家科学研究中心,信息系统实验室)
本文提出四元数张量的多线性框架,定义$\mathbb{H}\mathbb{R}$-多线性形式,建立Tucker分解与Q-CPD,研究其性质并给出两种算法,为四元数张量分解提供理论与计算工具。
2025-10-10 cs.NA eess.SP math.NA
A Generating Polynomial Based Two-Stage Optimization Method for Tensor Rank Decomposition
Louisiana State University(路易斯安那州立大学);Xiangtan University(湘潭大学)
本文提出一种基于生成多项式的两阶段优化算法,用于求解秩不超过最大维数的三阶非对称张量分解,即使分解不唯一也能高效鲁棒地得到结果,并在理论上证明了与CP分解的等价性。
2025-11-07 cs.NA math.NA math.OC
Seeding neural network quantum states with tensor network states
Physics Division, Sophia University(Sophia大学物理系);Department of Physics, University of Tokyo(东京大学物理系)
本研究提出一种通过MPS的CP分解将张量网络态转换为受限玻尔兹曼机波函数的高效方法,可快速生成优质初始神经网络量子态,经横场伊辛模型验证有效,有望应用于更复杂的量子多体系统。
2025-10-28 cond-mat.str-el cs.LG cs.NA
Revisit CP Tensor Decomposition: Statistical Optimality and Fast Convergence
本文从统计视角重新审视CP张量分解,在信号加噪声模型下为ALS算法建立了非渐近极小化最优误差界限,提出TASD初始化方法以实现统计一致的估计,并揭示了ALS两阶段收敛动态及秩一设定下的快速最优性。
2025-05-29 cs.NA math.NA math.ST
Identifiability of Nonnegative Tucker Decompositions -- Part I: Theory
University of Mons(蒙斯大学)
本文针对Tucker分解通常不可辨识的问题,通过扩展非负矩阵分解的可辨识性结果,在因子矩阵满足稀疏性条件、核心张量部分结构满秩的前提下,推导了通过最小化核心张量相关结构体积得到可辨识非负Tucker分解的方法。
2025-05-19 cs.LG cs.NA eess.SP