Accelerating jackknife resampling for the Canonical Polyadic Decomposition
正则多矢(CP)张量分解经常被用作各种不同领域应用的模型。使用刀切响应估计参数的不确定性往往是可取的,但在已经很高的计算成本的增加的结果。经过观察,重采样张量,虽然不同,几乎是相同的,我们表明,它是可能的,以延长最近提出的并发ALS(CALS)技术的刀切rescue的情况。这种扩展提供了访问CALS的计算效率优势的价格在浮点运算的数量适度增加(通常是百分之几)。在合成数据集和真实数据集上的数值实验表明,基于CALS扩展的新工作流可以比单独处理折刀子模型的简单工作流快几倍。
2021-12-07 cs.MS cs.NA math.NA
Generalized Canonical Polyadic Tensor Decomposition
Sandia National Laboratories(桑迪亚国家实验室);University of Michigan(密歇根大学)
本文提出了一种广义规范张量分解(GCP),能够使用除均方误差外的其他损失函数,如逻辑损失或KL散度,从而适用于二分类或计数数据,并展示了其在社交网络互动、小鼠神经活动和印度月降雨量等真实数据集上的灵活性。
2019-01-22 cs.LG cs.NA math.NA
Synchronous and Asynchronous Parallelism Approaches for Generalized Canonical Polyadic Tensor Decomposition with GenTen
Sandia National Laboratories(桑迪亚国家实验室)
本文提出同步和异步并行方法用于广义规范张量分解,通过GenTen软件包利用共享和分布式内存并行性,结合Kokkos和MPI实现高效的并行GCP分解,同时提出异步分布式并行方法以提高大规模数据集的可扩展性。
2026-05-19 cs.NA math.NA
Streaming Generalized Canonical Polyadic Tensor Decompositions
Sandia National Laboratories(桑迪亚国家实验室)
在本文中,我们开发了一种方法,我们称之为OnlineGCP计算流数据的广义正则多矢(GCP)张量分解。GCP不同于传统的规范多元(CP)张量分解,因为它允许CP模型试图最小化的任意目标函数。当观测到的张量数据是强非高斯的时,这种方法可以提供更好的拟合和更可解释的模型。在流式传输的情况下,张量数据随着时间的推移逐渐被观察到,并且算法必须在有限访问先前数据的情况下递增地更新GCP因式分解。在这项工作中,我们通过导出要在观察新的张量数据时解决的GCP最优化问题来将GCP形式主义扩展到流上下文,制定可调历史项以平衡最近观察到的数据与过去观察到的数据的重建,开发基于使用随机梯度下降法的隔离求解的可扩展求解策略,描述了一种软件实现,该软件实现为当代CPU和GPU架构提供性能和可移植性,并与Matlab集成以增强可用性,并在几个合成和真实张量数据集上演示了该方法和软件的实用性和性能。
2021-10-27 cs.LG cs.MS cs.NA
New Riemannian preconditioned algorithms for tensor completion via polyadic decomposition
UCLouvain(鲁汶天主教大学)
我们提出了新的黎曼预条件算法的低秩张量完成通过张量的多元分解。这些算法利用了多元分解形式的低秩张量的因子矩阵的积空间上的非欧度量。该度量是利用张量完备化费用函数的Hessian对角块的近似来设计的,因此对这些算法具有预处理作用。我们证明了所提出的黎曼梯度下降算法全局收敛到张量完成问题的一个稳定点,收敛速度估计使用$Ł$ ojasiewicz属性。对合成数据和真实数据的数值结果表明,所提出的算法在内存和时间上比最先进的算法更有效。此外,所提出的算法表现出更大的容忍度高估的秩参数的张量恢复性能,从而使一个灵活的选择的秩参数。
2022-06-02 cs.LG cs.NA math.NA
Accelerating the Canonical Polyadic Alternating Least Squares Optimization via a Randomized Interpolative Decomposition
PSI Center for Scientific Computing, Theory and Data(PSI科学计算、理论与数据中心);Institute of Mathematics, EPFL(洛桑联邦理工学院数学研究所);The University of Maryland, College Park(马里兰大学帕克分校)
研究针对规范多adic分解的随机交替最小二乘优化,提出基于杠杆得分的采样策略,通过随机强秩揭示QR分解近似杠杆得分分布,该方法能以特定采样数实现精度,且优于先前方案,减少计算和存储开销。
2026-07-27 cs.NA math.NA
Guarantees for existence of a best canonical polyadic approximation of a noisy low-rank tensor
低秩张量的正则多元分解(CPD)在数据分析和信号处理中起着重要的作用,它允许唯一地恢复潜在的因素。然而,众所周知,低秩CPD近似问题是不适定的。也就是说,当$R>1$时,张量可能无法具有最佳秩$R$ CPD近似。本文给出了$\mathbb{K}=\mathbb{R}$或$\mathbb{K}=\mathbb{C}$上最佳低秩张量逼近存在性的确定性界。更准确地说,给定秩为$R \leq I$的张量$\mathcal{T} \in \mathbb{K}^{I \times I \times I}$,我们计算以$\mathcal{T}$为中心的Frobenius范数球的半径,其中保证存在最佳$\mathbb{K}$秩$R$近似。此外,我们表明,每个$\mathbb{K}$秩$R$张量内的这个球有一个唯一的规范polyadic分解。这个邻域可以被解释为“数学真理”的邻域,在CPD近似下,计算是适定的。在追求这些界限,我们描述低秩张量分解为一个“联合广义特征值”问题。使用这个框架,我们表明,在温和的假设下,一个低秩张量的秩严格大于边界秩是有缺陷的意义上的代数和几何重数联合广义本征值。通过建立联合广义特征值问题的摄动理论结果,得到了最佳低秩逼近的存在界。通过这种方式,我们建立了最佳低秩逼近的存在性和张量谱范数之间的联系。此外,我们解决了“张量Procrustes问题”,检查张量对正交压缩。本文…
2021-12-15 cs.NA math.AG math.NA
Accelerated Canonical Polyadic Decomposition by Using Mode Reduction
Guangdong University of Technology(广东工业大学)
针对高阶张量CP分解中频繁展开至N个模式导致的效率瓶颈,提出一种将N阶张量先转化为3阶张量再分解的方法,避免逐模式展开,同时保持分解唯一性并提升效率。
2013-06-25 cs.LG cs.NA math.NA
Generalized Canonical Polyadic Tensor Decompositions with General Symmetry
Department of Electrical and Computer Engineering, University of Delaware(电气与计算机工程系,德雷克塞尔大学)
本文提出SymGCP分解,通过引入对称性约束提升张量分解在处理对称数据时的性能,适用于二值和计数数据以及异常值鲁棒性提升。
2026-01-08 cs.LG cs.NA math.NA
GOCPT: Generalized Online Canonical Polyadic Tensor Factorization and Completion
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IQVIA(艾昆纬)
低秩张量因式分解或完成被充分研究并应用于各种在线设置,例如在线张量因式分解(其中时间模式增长)和在线张量完成(其中不完整切片逐渐到达)。然而,在许多现实世界中,张量可能具有更复杂的演化模式:(i)一个或多个模式可以增长;(ii)缺失的条目可以被填充;(iii)现有的张量元素可以改变。现有的方法无法支持这种复杂的场景。为了填补这一空白,本文提出了一个广义在线正则多矢(CP)张量分解和完成框架(名为GOCPT),在这个一般的设置,我们保持CP结构的动态张量在进化过程中。我们表明,现有的在线张量因式分解和完成设置可以在GOCPT框架下统一。此外,我们提出了一个名为GOCPTE的变体,用于处理历史张量元素不可用的情况(例如,隐私保护),其实现了与GOCPT类似的适应性,但具有少得多的计算成本。实验结果表明,我们的GOCPT可以在JHU Covid数据上提高高达2:8%的适应度,在专有患者索赔数据集上提高9:2%的适应度。我们的变体GOCPTE在两个数据集上显示了高达1:2%和5:5%的适应度改进,与最佳模型相比,加速了约20%。
2022-05-08 cs.LG cs.MS cs.NA
A Latent-Variable Formulation of the Poisson Canonical Polyadic Tensor Model: Maximum Likelihood Estimation and Fisher Information
Sandia National Laboratories(桑迪亚国家实验室);Harbor Branch Oceanographic Institute, Florida Atlantic University(佛罗里达大西洋大学哈勃分支海洋学研究所)
本文提出通过隐变量 formulation 对泊松广义张量模型进行参数推断,并推导其 Fisher 信息矩阵,以提升张量计数数据的建模能力。
2025-11-25 cs.NA math.NA math.ST
Concurrent Alternating Least Squares for multiple simultaneous Canonical Polyadic Decompositions
RWTH Aachen University(亚琛工业大学);Umeå Universitet(于默奥大学);University of Copenhagen(哥本哈根大学)
张量分解,如CANDECOMP/PARAFAC(CP),广泛用于各种应用,如化学计量学,信号处理和机器学习。用于计算这种分解的广泛使用的方法依赖于交替最小二乘(ALS)算法。当组件数量较少时,无论其实现如何,ALS都表现出较低的运算强度,这严重阻碍了其性能,并使GPU卸载无效。我们观察到,在实践中,专家经常需要计算同一张量的多个分解,每个分解都有少量的分量(通常少于20个),最终找到最适合手头应用的分解。在本文中,我们说明了如何在算法层面上将同一张量的多个分解融合在一起,以增加运算强度。因此,可以有效地利用GPU来进一步加速;同时,该技术与ALS中通常使用的许多增强功能兼容,例如线搜索,外推和非负约束。我们介绍了并发ALS算法和库,它提供了一个接口到Matlab,和一个机制,以有效地处理在不同的时间分解完成的问题。人工和真实数据集上的实验结果表明,由于增加了算法强度,完成的时间更短。
2021-09-08 cs.LG cs.MS cs.NA
Three decompositions of symmetric tensors have similar condition numbers
本文揭示了对称张量的规范多元分解、Waring分解和Tucker压缩Waring分解三者条件数之间的内在联系,并据此将条件数计算速度提升数个数量级。
2021-10-08 cs.NA math.NA
Efficient construction of canonical polyadic approximations of tensor networks
研究为张量网络构造CP分解的问题,通过在优化中利用网络结构降低复杂度,将4阶Coulomb张量的4路CP分解复杂度降至$\mathcal{O}(n^3 R_\text{CP})$,在36原子系统中成本降低2个数量级且精度优于现有方法。
2022-11-10 cs.NA math.NA physics.chem-ph
Covid-19 Analysis Using Tensor Methods
在本文中,我们使用张量模型来分析Covid-19大流行数据。首先,我们使用张量模型,规范polyadic和高阶塔克分解,提取模式在多个模式。其次,我们使用规范多元张量分解实现张量完成算法,以预测来自多个空间源的时空数据并识别Covid-19热点。我们应用正则化迭代张量补全技术和实用的正则化参数估计器来预测Covid-19病例的传播,并发现和识别热点。我们的方法可以高精度地预测每周和每季度的Covid-19传播。第三,我们使用一种新的交替最小二乘抽样方法分析美国的新冠肺炎数据。此外,我们比较的算法与标准张量分解的可解释性,可视化和费用分析。最后,我们通过将这些技术应用于新泽西州的Covid-19数据来证明这些方法的有效性。
2022-12-30 cs.NA math.NA
Generalized cyclic symmetric decompositions for the matrix multiplication tensor
本文为非方阵矩阵乘法张量的多元分解提出广义循环对称结构,通过减少优化变量改善收敛,并在现有数值优化算法中验证其能找到更多实用分解。
2025-03-18 cs.NA math.NA math.OC
Efficient Spatial-Spectral Feature Extraction in Hyperspectral Images via Holistic Multivariance Decomposition
Informatics Institute, Department of Computational Science and Engineering, İstanbul Technical University(伊斯坦布尔理工大学信息学研究所计算科学与工程系)
针对高光谱图像分类,传统张量分解方法有局限,本文引入整体多变量分解框架,通过新张量算法建模多种交互,经实验验证其在多数据集及算法下分类准确率更高,是解决高光谱复杂数据结构的有效框架。
2026-07-27 cs.CE cs.NA math.NA
Nonnegative Tensor Decomposition Via Collaborative Neurodynamic Optimization
本文提出一种协同神经动力学模型,结合递归神经网络与粒子群优化求解非负CPD中的非凸优化问题,并给出连续与离散版本的收敛稳定性分析及实验验证。
2025-01-01 cs.NA math.NA
Modified Levenberg-Marquardt Algorithm For Tensor CP Decomposition in Image Compression
本文提出一种用于张量CP分解的改进Levenberg-Marquardt迭代算法,将其转化为非线性最小二乘优化问题,在随机张量和RGB图像数据集上验证了该方法的高效性,相比传统LM技术有效降低了计算负担。
2024-01-09 cs.NA math.NA
The condition number of many tensor decompositions is invariant under Tucker compression
本文证明多类加性张量分解的条件数在Tucker压缩下不变,从而大幅加速条件数计算,并在食品科学张量上实现四个数量级的提速。
2021-06-24 cs.NA math.NA
Proximal Gradient-based Low Rank Tensor Decomposition for State Dependent Riccati Equation
Institute of Mathematical Science, ShanghaiTech University(上海科技大学数学科学学院);Department of Mathematics, University of Alabama at Birmingham(阿拉巴马大学伯明翰分校数学系)
本文提出了一种基于proximal梯度的低秩张量分解方法,用于解决由偏微分方程产生的大离散维控制系统最优控制问题,通过稀疏优化和灵活混合方法获得低秩CP张量基元素,从而将最优控制问题转化为可高效求解的状态依赖Riccati方程。
2026-05-21 cs.NA math.NA math.OC
A constructive arbitrary-degree Kronecker product decomposition of tensors
本文提出了张量Kronecker积奇异值分解TKPSVD,它将一个实$k$ -路张量$\mathcal{A}$分解为一个张量Kronecker积与任意个数的$d$因子$\mathcal{A} = \sum_{j=1}^R σ_j\, \mathcal{A}^{(d)}_j \otimes \cdots \otimes \mathcal{A}^{(1)}_j$的线性组合.我们将矩阵Kronecker积推广到张量,使得TKPSVD中的每个因子$\mathcal{A}^{(i)}_j$是$k$ -路张量。该算法依赖于重塑和置换成一个$d$方式张量的原始张量,然后计算与正交秩-1项的polyadic分解。我们证明了,对于许多不同的结构张量,克罗内克积因子$\mathcal{A}^{(1)}_j,\ldots,\mathcal{A}^{(d)}_j$保证继承这种结构。此外,我们还引入了广义对称张量的概念,它包括了对称张量、过对称张量、中心对称张量、Toeplitz张量和Hankel张量等多种结构。
2016-03-08 cs.NA math.NA
Numerical CP Decomposition of Some Difficult Tensors
本文提出了一种小尺寸张量正则多进(CP)分解的数值方法。重点主要是分解对应于小矩阵乘法的张量。这里,张量的秩等于完成矩阵乘法所需的最小数量的标量乘法。该方法基于约束Levenberg-Marquardt优化。数值结果显示了对应于大小为2x 3和3x 2、3x 3和3x 2、3x 3和3x 3以及3x 4和4x 3的矩阵相乘的张量的秩和边界秩。排名分别为11、15、23和29。特别地,提出了一种新的算法,用于将大小为3x 3和3x 2的矩阵乘以15次乘法。
2016-03-04 cs.NA math.NA stat.CO
On Koopman Mode Decomposition and Tensor Component Analysis
Koopman模式分解和张量分量分析(也称为CANDECOMP/PARAFAC或规范多元分解)是将高维数据集分解为低维模式的两种流行方法,这些模式捕获最相关的特征和/或动态。尽管它们的目标相似,但这两种方法在很大程度上被不同的科学团体使用,并以不同的数学语言表达。我们一起研究这两个,并表明,在一定的(合理的)条件下的数据,张量分量分析给出的理论分解是\textit{same}的Koopman模式分解。这提供了一座“桥梁”,两族应能通过这座桥梁更有效地沟通。当不满足这个条件时,Koopman模式分解仍然提供具有\textit{a priori}可计算误差的张量分解,提供张量分量分析所需的非凸优化的替代方案。我们的工作提供了新的可能性的算法方法Koopman模式分解和张量分量分析,提供了一个新的视角张量分量分析的成功,并建立在一个越来越多的工作表明,动力系统,特别是Koopman算子理论,可以是有用的问题,历史上利用优化理论。
2021-04-15 cs.NA math.NA
Rank Approximation of a Tensor with Applications in Color Image and Video Processing
University of Alabama at Birmingham(阿拉巴马大学伯明翰分校)
本文提出了一种块坐标下降类型的算法来估计给定张量的秩,并通过稀疏优化方法利用$\ell_1$范数来估计张量秩,应用于单移动物体视频和彩色图像的秩近似。
2019-04-28 cs.NA math.NA
Practical Leverage-Based Sampling for Low-Rank Tensor Decomposition
低秩规范多元张量分解在数据分析中很有用,可以通过求解一系列超定最小二乘子问题来计算。出于稀疏张量的考虑,我们建议使用杠杆分数来选择行的子集,以概率保证解决方案的准确性,勾画每个子问题。我们随机抽样行比例的杠杆得分上界,可以有效地计算使用特殊的Khatri-Rao子问题结构中固有的张量分解。至关重要的是,对于$(d+1)$ -路张量,对于秩$r$和$ε$ -最小二乘求解中的精度的分解,草图系统中的行数为$O(r^d/ε)$,与张量中非零的大小和数量无关。一路上,我们提供了一个实用的解决方案,以通用的矩阵草图问题的采样过剩的高杠杆分数行,建议包括这些行确定性和重复的样本结合在草图系统,我们推测,这可以导致改进的理论界限。对实际大规模张量问题的数值计算结果表明,在几乎相同的精度水平下,该方法明显快于确定性方法。
2022-01-03 cs.NA math.NA
Decoupling multivariate polynomials: interconnections between tensorizations
Université de Lorraine, CNRS, CRAN(洛林大学、法国国家科学研究中心、自动与控制研究实验室);Vrije Universiteit Brussel (VUB)(布鲁塞尔自由大学)
本文研究了多元多项式解耦问题,通过展示张量之间的线性变换关系,揭示了CP分解和唯一性性质的关联,并指出考虑张量分解中的内在结构可以提升分解的唯一性,从而扩大方法的应用范围。
2019-01-29 cs.NA math.NA
On the structure of join tensors with applications to tensor eigenvalue problems
Aalto University School of Science(阿尔托大学理工学院)
研究连接张量的结构,推导其多项式分解和张量列车分解,并探讨其存储复杂度及特征值上界。
2017-05-15 cs.NA math.NA math.RA
Nonnegative Canonical Tensor Decomposition with Linear Constraints: nnCANDELINC
人们对大数据分析和机器学习中的张量因式分解应用产生了浓厚的兴趣。为了加速以多维数组(又名张量)组织的超大数据集的因式分解,使用易于计算的基于压缩的张量表示,例如Tucker和Tensor训练格式来近似初始大张量。此外,张量因子分解用于提取潜在特征,这些特征可以促进发现隐藏在数据中的新机制和签名,其中潜在特征的可解释性至关重要。非负张量因子分解提取自然稀疏的潜在特征和数据的一部分,这使得它们易于解释。然而,考虑到现有的领域知识和主题的专业知识,额外的约束往往需要施加,这导致我们的典型分解与线性约束(CANDELINC),一个典型的多元分解秩亏的因素。在CANDELINC中,Tucker压缩被用作预处理步骤,这导致更大的残差,但更可解释的潜在特征。在这里,我们提出了一个非负CANDELINC(nnCANDELINC)通过一个特定的非负塔克分解完成;我们称为最小或规范的非负塔克。我们得到了几个结果需要了解nnCANDELINC的特异性,专注于保持其塔克核心的非负秩的困难和比较的真实值的非负的情况下。最后,我们展示了nnCANDELINC在合成和真实世界的例子中的性能。
2022-03-21 cs.NA math.NA
On calculation of canonical decomposition of Tensor via the grid of local discrepancies
本文提出一种基于局部差异网格的高阶张量规范分解近似计算方法,通过局部泛函驻点集确定全局泛函最小值,结合牛顿法与蒙特卡洛方法高效估计分解核,数值测试验证了其有效性。
2025-05-02 cs.NA math.NA
Rank-1 Tensor Approximation Methods and Application to Deflation
本文提出改进的秩1近似方法和概率框架,用于高效计算CP分解,并通过实验验证了其有效性。
2015-08-21 cs.NA math.NA
A lifting approach to ParaTuck-2 tensor decompositions
本文提出一种提升方法,将ParaTuck-2张量分解问题转化为矩阵零空间和特征值计算,从而在已知最优唯一性条件下用代数算法精确求解PT2D及其对称版本DEDICOM,并推广到PARAFAC2分解。
2025-03-10 cs.NA math.NA math.RA
The average condition number of most tensor rank decomposition problems is infinite
本文证明随机秩-2及大多数更高秩张量的秩分解条件数期望为无穷大,而秩-2张量的角度条件数期望有限,揭示了张量秩分解问题的高计算复杂度及其对算法设计与测试的启示。
2022-09-20 cs.NA math.NA
CANDECOMP/PARAFAC Decomposition of High-order Tensors Through Tensor Reshaping
一般来说,三阶CANDECOMP/-PARAFAC(CP)算法,也被称为规范多元分解(CPD),易于实现,并可扩展到高阶CPD。不幸的是,这些算法的计算量很大,而且它们通常不适用于高阶和相对大规模的张量。本文利用CPD的唯一性以及Kruskal形式张量与其展开张量的关系,提出了一种快速处理该问题的方法。代替直接因式分解高阶数据张量,该方法分解具有较低阶的展开张量,例如,三阶张量在3阶估计张量的基础上,生成与数据张量维数相同的结构化Kruskal张量,并利用结构化CPD的快速算法对其进行分解,得到最终解。
2012-11-16 cs.NA math.NA math.OC
Stochastic Gradients for Large-Scale Tensor Decomposition
Sandia National Laboratories(桑迪亚国家实验室);University of Michigan(密歇根大学)
张量分解是一个著名的多路数据分析工具。这项工作提出了使用随机梯度有效的广义正则多元(GCP)张量分解的大规模张量。GCP张量分解是最近提出的张量分解的一个版本,它允许各种损失函数,例如用于二进制数据的Bernoulli损失或用于鲁棒估计的Huber损失。随机梯度由张量的随机采样元素形成,并且是有效的,因为它可以使用稀疏矩阵化张量乘以Khatri-Rao乘积(MTTKRP)张量核来计算。对于稠密张量,我们简单地使用均匀采样。对于稀疏张量,我们提出了两种类型的分层抽样,优先考虑采样非零。数值结果表明,所提出的方法和其可扩展性的大规模问题的优势。
2020-07-08 cs.LG cs.NA math.NA
An adaptive algebraic multigrid algorithm for low-rank canonical tensor decomposition
University of Waterloo(滑铁卢大学)
针对低秩R的规范张量分解,提出一种基于自适应代数多重网格和交替最小二乘的多重网格算法,在要求高精度时显著优于单独使用ALS。
2011-11-25 cs.NA math.NA
Tensor decompositions and algorithms, with applications to tensor learning
提出了一种新的典型多进分解算法。它的特点是比现有技术实现方式更低的计算复杂性和存储器使用。我们从CPD应用于现实世界问题的一些例子开始。以下是对这项工作的主要贡献的简短总结。在第一章中,我们回顾了经典的张量代数和几何,重点是CPD。第二章侧重于张量压缩,这被认为是(在这项工作中)CPD算法的最重要的部分之一。在第三章中,我们讨论了高斯-牛顿法,这是一种用于最小化非线性函数的非线性最小二乘法。第四章是全文最长的一章。在这一章中,我们介绍了本文的主要研究对象:张量Fox。基本上,它是一个张量包,其中包括CPD求解器。在介绍了Tensor Fox之后,我们将进行大量的计算实验,将这个求解器与其他几个求解器进行比较。在本章的最后,我们将介绍张量训练分解,并展示如何使用它来计算高阶CPD。我们还讨论了一些重要的细节,如正则化,预处理,条件,并行等,在第5章中,我们考虑张量分解和机器学习之间的交叉。介绍了一种新的模型,它作为一个张量版本的神经网络。最后,在第六章中,我们得出了最后的结论,并介绍了我们对未来发展的展望。
2021-10-12 cs.NA math.NA
Efficient QR-Based CP Decomposition Acceleration via Restructured Dimension Tree and Customized Extrapolation
School of Mathematics and Computational Science, Xiangtan University(湘潭大学数学与计算科学学院)
针对CP分解中ALS与QR结合虽稳定但计算成本高的问题,提出重构维度树减少TTM运算33%复杂度,并利用Q0矩阵结构定制外推加速收敛,实现最高两倍加速且提升拟合精度。
2025-10-26 cs.NA math.NA
A Normal Form Algorithm for Tensor Rank Decomposition
本文提出一种基于多项式方程组和多分级正则性的张量秩分解数值算法,证明了多种张量格式的有效复杂度界,并猜想一般公式,实验表明其在精度、时间和内存上均优于现有方法一个数量级。
2022-11-14 cs.NA math.AG math.NA
On Complexity of Stability Analysis in Higher-order Ecological Networks through Tensor Decompositions
本文研究高阶生态网络线性稳定性判定的复杂度问题,基于高阶广义 Lotka-Volterra 模型,利用多种张量分解高效计算 Jacobian 矩阵,并通过数值算例验证框架有效性。
2024-04-03 cs.NA cs.SY eess.SY
Tensor Decomposition Meets RKHS: Efficient Algorithms for Smooth and Misaligned Data
Databricks Mosaic Research(Databricks Mosaic 研究院);Flatiron Institute(弗拉铁隆研究院);Duke University(杜克大学);New York University(纽约大学)
该研究提出CP-HiFi混合张量分解方法,用RKHS连续函数替换部分张量向量得到准张量,可施加平滑性约束且适配未对齐非网格数据,并通过合成示例验证了方法。
2024-08-11 cs.LG cs.NA math.NA
Holistic Multivariance Decomposition: Adapting Mode Interrelations in Low-Rank Tensor Approximations
Informatics Institute, Department of Computational Science and Engineering, İstanbul Technical University(伊斯坦布尔理工大学计算科学与工程系信息学研究所)
提出整体多变量分解(HMD)框架,通过专用投影算子显式建模孤立模式效应和高阶相互关系,在多个基准测试中相比Tucker和CP分解显著降低重构误差。
2026-06-26 cs.CE cs.NA math.NA
Tensor Decompositions for Count Data that Leverage Stochastic and Deterministic Optimization
针对泊松计数数据的低秩非负CPD模型拟合问题,提出混合GCP-CPAPR与带SVDrop的重启CPAPR两种新算法,提升收敛至MLE的概率并降低多起点计算成本,性能优于现有方法。
2024-07-12 cs.MS cs.NA math.NA
Optimization via Separated Representations and the Canonical Tensor Decomposition
University of Colorado at Boulder(科罗拉多大学博尔德分校)
本文提出一种二次收敛算法,用于在规范格式中寻找张量的最大绝对值元素,通过该算法可全局求解分离形式的非凸多变量函数最大值。
2016-05-19 cs.NA math.NA math.OC
Tensor Decomposition with Unaligned Observations
Department of Statistics, University of Wisconsin-Madison(威斯康星大学麦迪逊分校统计学系);Departments of Biostatistics & Bioinformatics and Computer Science, Duke University(杜克大学生物统计学与生物信息学系、计算机科学系)
本文提出一种基于RKHS的CP张量分解方法以处理未对齐观测值,引入通用损失函数、优化算法及草图算法提升计算效率,并在合成数据与微生物组数据集上验证了有效性。
2025-08-09 cs.LG cs.NA math.NA
Parameter Sensitivity Analysis of the SparTen High Performance Sparse Tensor Decomposition Software: Extended Analysis
张量分解模型在现代数据科学应用中发挥着越来越重要的作用。特别感兴趣的一个问题是拟合低秩正则多矢(CP)张量分解模型时,张量具有稀疏结构和张量元素是非负计数数据。Sparten是一个高性能的C++库,它使用不同的求解器计算低秩分解:一阶拟牛顿或二阶阻尼牛顿方法,以及适当的运行时参数选择。由于Sparten中的默认参数是根据先前发表的使用MATLAB实现这些方法的单个真实数据集的实验结果进行调整的,因此目前尚不清楚Sparten中的参数默认值是否适用于一般张量数据。此外,算法收敛对输入参数值的变化有多敏感是未知的。本报告通过对三个基准张量数据集进行大规模实验来解决这些未解决的问题。在几种不同的CPU架构上进行了实验,并复制了许多初态,以建立算法收敛行为的广义轮廓。
2020-12-02 cs.MS cs.NA cs.PF
A Generating Polynomial Based Two-Stage Optimization Method for Tensor Rank Decomposition
Louisiana State University(路易斯安那州立大学);Xiangtan University(湘潭大学)
本文提出一种基于生成多项式的两阶段优化算法,用于求解秩不超过最大维数的三阶非对称张量分解,即使分解不唯一也能高效鲁棒地得到结果,并在理论上证明了与CP分解的等价性。
2025-11-07 cs.NA math.NA math.OC
Nonlinearly Preconditioned L-BFGS as an Acceleration Mechanism for Alternating Least Squares, with Application to Tensor Decomposition
School of Mathematical Sciences, Monash University(蒙纳士大学理学院);Department of Applied Mathematics, University of Waterloo(滑铁卢大学应用数学系)
本文提出基于L-BFGS更新公式非线性加速方法,用于加速交替最小二乘法在张量分解中的应用,通过非线性预条件化提升优化效率与鲁棒性。
2018-06-27 cs.NA math.NA math.OC
Identifiability of Nonnegative Tucker Decompositions -- Part I: Theory
University of Mons(蒙斯大学)
本文针对Tucker分解通常不可辨识的问题,通过扩展非负矩阵分解的可辨识性结果,在因子矩阵满足稀疏性条件、核心张量部分结构满秩的前提下,推导了通过最小化核心张量相关结构体积得到可辨识非负Tucker分解的方法。
2025-05-19 cs.LG cs.NA eess.SP
Unitary canonical forms over Clifford algebras, and an observed unification of some real-matrix decompositions
我们表明,谱定理-我们理解为一个声明,每个自伴随矩阵承认某种类型的标准型下酉相似-承认类似物超过其他$*$ -代数不同的复数。如果这些$*$ -代数包含幂零,那么它表明,有一个一致的方式,其中许多经典的矩阵分解-如奇异值分解,高木分解,斜高木分解,和若尔当分解,等等-是这些的直接后果。如果产生自伴随矩阵的相关标准形是某个编程语言中的子例程,则相应的经典矩阵分解将是没有附加步骤的单行调用。我们还建议,通过在编程语言中使用运算符重载,计算一个复杂的自伴随矩阵的酉对角化的数值算法将立即推广到解决像SVD或Takagi这样的问题。虽然没有幂零元的代数(如四元数)允许类似的统一行为,但它们统一的经典矩阵分解从未如此容易获得。在这个过程中,我们发展了Clifford代数上的一些谱理论,形式为$\cl_{p,q,0}(\mathbb R)$和$\cl_{p,q,1}(\mathbb R)$,其中前者是公认的相当容易。我们提出了一个关于谱定理的广义猜想。
2023-01-24 cs.NA cs.SC math.NA
Revisit CP Tensor Decomposition: Statistical Optimality and Fast Convergence
本文从统计视角重新审视CP张量分解,在信号加噪声模型下为ALS算法建立了非渐近极小化最优误差界限,提出TASD初始化方法以实现统计一致的估计,并揭示了ALS两阶段收敛动态及秩一设定下的快速最优性。
2025-05-29 cs.NA math.NA math.ST