The average condition number of most tensor rank decomposition problems is infinite
本文证明随机秩-2及大多数更高秩张量的秩分解条件数期望为无穷大,而秩-2张量的角度条件数期望有限,揭示了张量秩分解问题的高计算复杂度及其对算法设计与测试的启示。
2022-09-20 cs.NA math.NA
Triple Decomposition and Tensor Recovery of Third Order Tensors
本文介绍了一种新的三阶张量的张量分解,它将一个三阶张量均衡地分解为三个三阶低阶张量。我们称这样的分解为三重分解,相应的秩为三重秩。对于一个三阶张量,它的CP分解可以看作是它的三重分解的一个特例。三阶张量的三重秩不大于Tucker秩的中间值,并且对于一类基本例子严格小于Tucker秩的中间值.这表明,只要实际数据能用低秩CP或Tucker分解近似,就可以用低秩三重分解近似。这一理论发现在数值上得到了证实。数值实验表明,网络流量、视频图像等实际应用中的三阶张量数据具有较低的三阶秩。提出了一种基于低秩三重分解的张量恢复方法。证明了它的收敛性和收敛速度。数值实验证实了该方法的有效性。
2020-03-01 cs.NA math.NA
Cannikin's Law in Tensor Modeling: A Rank Study for Entanglement and Separability in Tensor Complexity and Model Capacity
Boston College(波士顿学院);J.P. Morgan(摩根大通);Brandeis University(布兰迪斯大学);Boston University(波士顿大学)
这项研究阐明了适当的标准,以评估建模能力的一般张量模型。本文从张量秩的研究出发,分析了这一问题,张量秩对于高阶张量来说并不是一个明确的量。在处理过程中,作者引入可分性问题讨论了张量建模的Cannikin定律。有趣的是,在信息论和张量分析中研究的纠缠之间建立了联系,为建模容量问题的理论理解提供了新的思路。
2022-04-16 cs.LG cs.NA math.NA
Efficient tensor completion: Low-rank tensor train
University of Technology Sydney(悉尼科技大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一种新的张量补全问题 formulations,利用张量列车(TT)秩有效捕捉张量全局信息,提出两种算法在合成和真实数据上表现优异,尤其在低TT秩情况下优于Tucker方法。
2016-01-06 cs.NA math.NA
Tensor Completion via a Low-Rank Approximation Pursuit
本文考虑有限采样下张量(也称为多维数组)的完备化问题。我们的贪婪方法是基于扩展的低秩近似追求(LRAP)方法的矩阵完成张量完成。该方法使用张量奇异值分解(t-SVD)来执行张量因式分解,该t-SVD将标准矩阵SVD扩展到张量。t-SVD导致了秩的概念,这里称为tubal秩。我们希望尽可能地从低分辨率样本中重建张量数据。为了成功地完成低分辨率张量,我们假设给定的张量数据具有低管秩。对于低管秩张量,我们建立了基于张量限制等距性质(TRIP)的方法的收敛结果。我们的结果与TRIP条件下的张量是类似的RIP条件下的低秩矩阵完成。TRIP条件对低管秩张量使用t-SVD,而RIP对矩阵使用SVD。我们表明,一个亚高斯测量地图满足TRIP条件的概率很高,并给出了一个几乎最佳的约束所需的测量的数量。我们比较了所提出的算法的数值性能与那些国家的最先进的方法对视频恢复和彩色图像恢复。
2020-04-19 cs.NA math.NA
Analyzing Large and Sparse Tensor Data using Spectral Low-Rank Approximation
信息是从组织为3模式张量的大型稀疏数据集中提取的。基于张量的最佳秩-(2,2,2)和秩-(2,2,1)近似,描述了两种方法。第一种方法可以被认为是谱图划分到张量的推广,并且它给出了对信息进行聚类的张量的重新排序。第二种方法给出张量在稀疏秩-(2,2,1)项中的展开,其中项对应于图。低秩近似计算使用一个有效的Krylov-Schur型算法,避免填充稀疏数据。该方法被应用到新闻文本中的主题搜索,一个张量代表会议作者-条款-年,和网络流量日志。
2021-02-08 cs.NA math.NA
Nearly Low Rank Tensors and Their Approximations
University of California San Diego(加州大学圣地亚哥分校)
本文研究了近低秩张量的近似问题,提出了一种新方法,通过线性关系、共同零点和线性最小二乘求解,实现低秩近似。
2014-12-23 cs.NA math.NA
Low Rank Symmetric Tensor Approximations
University of California San Diego(加州大学圣迭戈分校)
本文提出利用生成多项式计算低秩对称张量近似的方法,通过估计生成多项式、寻找近似公共零点并构造近似张量,实现低秩近似。
2017-09-06 cs.NA math.NA
Dynamical low-rank tensor approximations to high-dimensional parabolic problems: existence and convergence of spatial discretizations
本文针对高维抛物问题提出动态低秩张量逼近框架,证明解的存在性、数据扰动稳定性及空间离散化收敛性,并兼容 tensor train 与分层张量等格式。
2025-05-16 cs.NA math.NA
Rank properties and computational methods for orthogonal tensor decompositions
正交分解将张量分解为秩孔张量的正交列表的和。给出了正交秩的几个性质。我们发现子张量的正交秩可以大于整个张量的正交秩,并证明了正交秩的下半连续性。下半连续性保证了低正交秩逼近的存在性。为了适应正交分解,我们提出了一种基于增广拉格朗日方法的算法,并通过一种新的正交化过程来保证正交性。数值实验表明,与现有的强正交分解方法相比,该方法在逼近误差方面具有很大的优势。
2021-03-23 cs.NA math.NA
Rank Approximation of a Tensor with Applications in Color Image and Video Processing
University of Alabama at Birmingham(阿拉巴马大学伯明翰分校)
本文提出了一种块坐标下降类型的算法来估计给定张量的秩,并通过稀疏优化方法利用$\ell_1$范数来估计张量秩,应用于单移动物体视频和彩色图像的秩近似。
2019-04-28 cs.NA math.NA
Note: low-rank tensor train completion with side information based on Riemannian optimization
我们认为,低秩张量训练完成问题时,额外的边信息的形式,包含模式- $k$光纤跨度的子空间。我们提出了一个基于黎曼优化的算法来解决这个问题。数值实验表明,该算法需要更少的已知条目,以恢复张量相比,标准的张量训练完成方法。
2020-06-23 cs.NA math.NA
Time integration of rank-constrained Tucker tensors
Mathematisches Institut, Universität Tübingen(蒂宾根大学数学研究所);Section of Mathematics, University of Geneva(日内瓦大学数学系)
本文提出并分析了秩约束Tucker张量的离散时间积分方法,扩展了已知的矩阵投影分裂积分器至Tucker张量,并展示了其继承的有利性质,通过迭代应用矩阵投影分裂积分器到张量展开并带有不精确子步解,能精确重建给定秩的时变Tucker张量,并对小奇异值具有鲁棒性。
2017-09-08 cs.NA math.NA
High-Dimensional Uncertainty Quantification via Active and Rank-Adaptive Tensor Regression
基于随机谱方法的不确定度量化存在维数灾难问题。这个问题最近通过低秩张量方法得到缓解。然而,基于低秩张量的不确定性量化存在两个基本挑战:如何自动确定张量秩和如何选取模拟样本。本文提出了一种新的张量回归方法来解决这两个挑战。我们的方法使用$\ell_{q}/ \ell_{2}$ -范数正则化来确定张量秩和估计的Voronoi图来挑选信息样本进行模拟。该框架通过19维语音带通滤波器和57维CMOS环形振荡器进行了验证,分别仅用90和290个样本就能很好地捕获高维不确定性。
2021-02-02 cs.NA math.NA
On Trimming Tensor-structured Measurements and Efficient Low-rank Tensor Recovery
研究从张量结构线性测量中进行低秩张量恢复,提出局部修剪技术恢复张量结构映射特性,还给出两种新型张量IHT算法,经理论保证和数值实验验证,相比原始算法在低秩张量恢复上更高效。
2026-09-30 cs.NA math.NA
Practical Sketching Algorithms for Low-Rank Tucker Approximation of Large Tensors
张量的低秩近似在高维数据分析中有着广泛的应用。它通常涉及大规模矩阵的奇异值分解(SVD),具有很高的计算复杂性。速写是一种有效的数据压缩和降维技术,适用于大型矩阵的低秩逼近。本文提出了两种基于草图和幂格式的大张量低秩Tucker逼近的随机算法,并进行了严格的误差分析。合成和真实世界的张量数据的数值实验证明了所提出的算法的竞争力的性能。
2023-01-27 cs.NA math.NA
Low-rank Tensor Train Decomposition Using TensorSketch
本文提出了一种基于TensorSketch和快速傅里叶变换的随机近端ALS算法,用于解决大型张量低秩张量列分解中的维度灾难问题,并给出了草图大小的理论下界及实验验证。
2023-09-15 cs.NA math.NA
An Orthogonal Equivalence Theorem for Third Order Tensors
2011年,Kilmer和Martin提出了三阶张量的张量奇异值分解(T-SVD)。此后,T-SVD在低秩张量近似,张量恢复,多视图聚类,多视图特征提取,张量素描等方面都有应用。通过离散傅里叶变换(DFT),矩阵SVD和逆DFT,将三阶张量映射到f-对角三阶张量。我们称之为Kilmer-Martin映射。证明了三阶张量的Kilmer-Martin映射是不变的,如果该三阶张量与某些正交张量取T-积。基于Kilmer-Martin映射,定义了三阶张量的奇异值和T秩.因此,当一个三阶张量与某些正交张量作T-积时,它的张量管秩、T-秩、奇异值和T-奇异值是不变的。讨论了奇异值、T秩和最佳T秩一逼近的一些性质。
2021-08-10 cs.NA math.NA
Rank one tensor completion problem
本文考虑秩一张量完备化问题。我们解决的秩一解决方案的存在性和唯一性的问题。特别地,我们证明了在实数域上的全局唯一性可以在多项式时间内得到验证。我们给出的例子表明,有一个实质性的区别的问题的全球唯一性领域的实数和复数。最后,我们简要讨论了噪声观测的秩一逼近问题。
2020-09-18 cs.NA math.NA
Reduced Higher Order SVD: ubiquitous rank-reduction method in tensor-based scientific computing
张量数值方法,基于秩结构的张量表示的$d$变量函数和运营商,旨在提供$O(dn)$复杂性的数值计算$n^{\otimes d }$网格相反的$O(n^d)$缩放传统的基于网格的方法。然而,多个张量操作可能导致目标数据的张量秩(秩的诅咒)的巨大增加,使得计算变得棘手。因此,在张量计算中最重要的步骤之一是鲁棒的和有效的降秩过程,在多维算子和函数演算中的各种张量变换的过程中,应该多次执行。在文献[33]中引入的基于降阶高阶奇异值分解(RHOSVD)的降秩方法在张量数值方法的发展中起了重要作用。在这里,我们简要地调查RHOSVD方法的要点,然后集中在一些新的理论和计算方面的RHOSVD证明,这种降秩技术构成的基本成分,在张量计算的现实生活中的问题。特别地,给出了RHOSVD的稳定性分析。我们介绍了张量的多重线性代数表示的范围分离(RS)张量格式。这使得RHOSVD降秩技术可以应用于具有许多奇异性的非规则函数数据,例如,生物分子建模中集体多粒子相互作用势的秩结构计算,以及复杂的复合径向函数。给出了RHOSVD在散乱数据建模中应用的新的理论和数值结果。RHOSVD被证明是一种有效的降秩技术,在许多应用中,从多粒子系统的数值处理到PDE约束控制问题的数值解。
2022-01-29 cs.NA math.NA
Best Rank-One Tensor Approximation and Parallel Update Algorithm for CPD
Lab for Advanced Brain Signal Processing, Brain Science Institute, RIKEN(RIKEN脑科学研究所高级脑信号处理实验室);Systems Research Institute PAS(波兰科学院系统研究所);Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术学院);Institute of Information Theory and Automation(信息与自动化研究所)
本文提出一种新的CPD张量分解算法,通过并行更新秩一张量实现最佳秩一近似。基于Levenberg-Marquardt方法和旋转更新,提出新的所有一次算法,并推导出2×2×2张量的最佳秩一张量闭式表达式,展示了算法在处理复杂张量分解中的有效性。
2017-09-25 cs.NA math.NA
Symmetric tensors and symmetric tensor rank
Laboratoire I3S, CNRS and the University of Nice, Sophia-Antipolis(I3S实验室,法国国家科学研究中心和尼斯大学);Department of Computer Science and the Institute for Computational and Mathematical Engineering, Stanford University(计算机科学系和计算与数学工程研究所,斯坦福大学);Projet GALAAD, INRIA(GALAAD项目,法国国家信息与自动化研究所)
本文研究对称张量的性质,特别是其分解为对称外积向量和的形式,并探讨秩与对称秩的关系以及一般对称秩的已知结果。
2008-09-02 cs.NA math.AG math.NA
Rank One Completion for Higher Order Tensors
University of California San Diego(加州大学圣地亚哥分校)
研究高阶张量的秩一补全问题,引入秩一可确定张量概念,提出递归算法计算秩一张量补全,仅需求解线性系统和计算奇异向量,在无噪声时可得到唯一解,有噪声时计算结果接近真实解。
2026-04-25 cs.NA math.NA math.OC
Tensor Deflation for CANDECOMP/PARAFAC. Part 3: Rank Splitting
BSI-TOYOTA Collaboration Center, RIKEN(理化学研究所BSI-丰田合作中心);System Research Institute, Warsaw(华沙系统研究所);Institute of Information Theory and Automation, Prague(布拉格信息与自动化研究所)
本文提出了一种块消去方法,用于同时提取两个秩-1张量,从而降低数据张量的秩,其复杂度低于ALS算法。
2015-06-16 cs.NA math.NA math.OC
Low-rank optimization on Tucker tensor varieties
该研究探究Tucker张量簇的几何结构,提出可证明的梯度相关线搜索优化方法与秩自适应方法,实验表明其张量补全恢复性能优于现有最优方法,且能自动找到合适秩。
2024-07-13 cs.NA math.NA math.OC
Low rank tensor completion with sparse regularization in a transformed domain
University of Electronic Science and Technology of China(电子科技大学)
张量完备化是一个具有挑战性的问题,有着广泛的应用。基于张量的低秩先验,已经提出了许多相关的模型。然而,低秩先验可能不足以从观察到的不完整张量恢复原始张量。本文利用张量的低秩和稀疏先验,提出了一种张量完备化方法。具体地,张量完成任务可以被公式化为具有稀疏正则化器的低秩最小化问题。基于张量奇异值分解(T-SVD)的张量截断核范数刻画了其低秩性质,与张量核范数相比,T-SVD是张量管秩的一种更好的近似.而稀疏正则化子是在离散余弦变换(DCT)域中通过$\ell_{1}$ -范数来实现的,它能更好地利用完备数据的局部稀疏性。为了解决最优化问题,我们采用了交替方向法的乘法器(ADMM),其中我们只需要解决几个子问题,有封闭形式的解决方案。在真实图像和视频上的大量实验表明,该方法具有更好的性能比现有的国家的最先进的方法。
2019-11-19 cs.LG cs.NA math.NA
The Rank-1 Completion Problem for Cubic Tensors
本文研究三次张量的秩-1补全问题,将其等价转化为秩-1矩阵恢复问题,并提出核范数松弛与矩松弛方法,保证获得补全或判定不存在。
2024-10-22 cs.NA math.NA math.OC
A homogeneous geometry of low-rank tensors
KU Leuven(荷语天主教鲁汶大学)
本文研究低秩张量的均匀几何结构,推导出其作为光滑流形的条件,并利用该结构构建高效的黎曼度量。
2025-12-30 cs.NA math.DG math.NA
Tensor Ranks for the Pedestrian for Dimension Reduction and Disentangling Interactions
张量是一个多路数组,除了数据集之外,它还可以表示联合定律或多元函数的表达式。因此,它包含与每个条目对应的变量之间的相互作用的描述。张量的秩将矩阵秩的概念扩展到具有两个以上元素的数组,请记住,有几种方法可以构建这样的扩展。当秩为1时,变量是分离的,当秩较低时,变量是弱耦合的。许多计算在低阶张量上比较简单。此外,用低秩张量近似给定张量使得计算表的一些特性成为可能,例如当它是联合律时的分拆函数。本文通过系统地使用张量代数,详细地给出了一种用低阶张量逼近给定张量的综合渐进方法。严格定义了张量的概念,给出了张量的基本但有用的运算。在回顾了几个不同的概念扩展到张量的秩,我们展示了如何将这些基本操作相结合,以建立最佳的低秩近似算法。最后一章致力于将这种方法应用于张量构造作为多元函数的离散化,以表明在笛卡尔网格上,这种张量的秩预计是低的。
2022-01-19 cs.NA math.NA math.ST
Guarantees for existence of a best canonical polyadic approximation of a noisy low-rank tensor
低秩张量的正则多元分解(CPD)在数据分析和信号处理中起着重要的作用,它允许唯一地恢复潜在的因素。然而,众所周知,低秩CPD近似问题是不适定的。也就是说,当$R>1$时,张量可能无法具有最佳秩$R$ CPD近似。本文给出了$\mathbb{K}=\mathbb{R}$或$\mathbb{K}=\mathbb{C}$上最佳低秩张量逼近存在性的确定性界。更准确地说,给定秩为$R \leq I$的张量$\mathcal{T} \in \mathbb{K}^{I \times I \times I}$,我们计算以$\mathcal{T}$为中心的Frobenius范数球的半径,其中保证存在最佳$\mathbb{K}$秩$R$近似。此外,我们表明,每个$\mathbb{K}$秩$R$张量内的这个球有一个唯一的规范polyadic分解。这个邻域可以被解释为“数学真理”的邻域,在CPD近似下,计算是适定的。在追求这些界限,我们描述低秩张量分解为一个“联合广义特征值”问题。使用这个框架,我们表明,在温和的假设下,一个低秩张量的秩严格大于边界秩是有缺陷的意义上的代数和几何重数联合广义本征值。通过建立联合广义特征值问题的摄动理论结果,得到了最佳低秩逼近的存在界。通过这种方式,我们建立了最佳低秩逼近的存在性和张量谱范数之间的联系。此外,我们解决了“张量Procrustes问题”,检查张量对正交压缩。本文…
2021-12-15 cs.NA math.AG math.NA
Alternating linear scheme in a Bayesian framework for low-rank tensor approximation
TU Delft(代尔夫特理工大学)
多路数据通常自然地以张量格式出现,其可以近似地由低秩张量分解表示。这是有用的,因为复杂性可以大大降低,并可以促进大规模数据集的处理。在本文中,我们找到了一个低秩表示为一个给定的张量通过解决贝叶斯推理问题。这是通过将整个推理问题划分为子问题来实现的,在子问题中,我们一次顺序地推断一个张量分解分量的后验分布。这导致了著名的迭代算法交替线性计划(ALS)的概率解释。以这种方式,能够考虑测量噪声,以及结合特定于应用的先验知识和低秩张量估计的不确定性量化。为了从张量分解分量的后验分布计算低秩张量估计,我们提出了一种以张量训练格式执行无迹变换的算法。
2021-08-09 cs.LG cs.NA math.NA
A Riemannian rank-adaptive method for higher-order tensor completion in the tensor-train format
本文提出一种黎曼秩自适应方法(RRAM),通过黎曼共轭梯度算法在固定秩流形上优化并结合切锥下降方向与TT-rounding算法实现秩的自适应增减,有效解决了张量列车格式的低秩张量补全问题,且计算时间优于现有方法。
2024-02-19 cs.NA math.NA math.OC
Scaled Nuclear Norm Minimization for Low-Rank Tensor Completion
Columbia University(哥伦比亚大学)
本文提出通过最小化张量展开的加权核范数之和来恢复低TT秩张量,证明该方法相比传统核范数求和方法更高效,需更少样本即可恢复原始张量。
2017-07-25 cs.NA math.NA stat.ML
Desingularization of bounded-rank tensor sets
本文针对有界秩张量集合的非光滑非凸问题,提出通过引入松弛变量将其去奇异化为光滑流形,从而将低秩优化转化为流形优化,并在张量补全实验中验证了方法的优越性。
2024-11-21 cs.NA math.AG math.NA
A condition number for the tensor rank decomposition
KU Leuven(荷语鲁汶大学)
本文研究了张量秩分解问题,提出并分析了衡量该问题参数对张量微小变化敏感性的条件数,证明该条件数与Terracini矩阵的最小奇异值的倒数一致,并探讨了该条件数的基本性质。
2016-03-31 cs.NA math.AG math.NA
Low Rank Tensor Completion for Multiway Visual Data
University of Electronic Science and Technology of China(电子科技大学)
本文综述了低秩张量补全在估计缺失视觉数据中的最新发展,分为基于张量分解因子优化和迭代更新估计张量的两类方法,并通过实验比较不同方法在彩色图像和视频处理中的性能。
2018-05-08 cs.MM cs.NA math.NA
Topology of tensor ranks
GIPSA-Lab CNRS(GIPSA实验室 法国国家科学研究中心);University of Chicago(芝加哥大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院)
本文研究了由张量秩、边界秩、多线性秩及其对称形式定义的张量集合的路径连通性和同调群,探讨了复数和实数域上的连通性及同调群特性。
2018-04-22 cs.NA math.AG math.AT
First-order methods on bounded-rank tensors converging to stationary points
State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学)
本文提出两种保证收敛到驻点的第一阶方法,解决有限秩张量中非光滑性导致的证明难题,通过变分几何和梯度相关投影方法验证了方法的有效性。
2026-05-13 cs.NA math.AG math.NA
The Fascinating World of 2 $\times$ 2 $\times$ 2 Tensors: Its Geometry and Optimization Challenges
本文以实值2×2×2张量为例,利用代数几何和优化工具揭示了张量违背矩阵秩性质(如存在多个典型秩及缺乏最佳低秩近似)的几何与代数复杂性,并提供了交互式可视化工具。
2025-04-04 cs.NA math.AG math.NA
Approximate Rank-Detecting Factorization of Low-Rank Tensors
Berlin Institute of Technology (TU Berlin)(柏林工业大学);FU Berlin(柏林自由大学);Mathematisches Forschungsinstitut Oberwolfach(奥伯沃尔法赫数学研究所)
提出AROFAC2算法,通过检测三阶张量的CP秩并分解为秩一分量,具有内在检测真实秩、避免虚假分量、对异常值和非高斯噪声鲁棒的优势。
2012-11-30 cs.LG cs.NA math.NA