Approximate matrix and tensor diagonalization by unitary transformations: convergence of Jacobi-type algorithms
针对酉群上的一类极大化问题，提出了一种基于梯度的Jacobi算法，重点研究了利用酉变换对复矩阵和张量进行近似对角化.给出了算法的弱收敛结果，并证明了算法的局部线性收敛，收敛结果也适用于实值张量的情形。
2020-07-10 cs.NA math.NA math.OC
An Algebraic Approach to Non-Orthogonal General Joint Block Diagonalization
LMAM & School of Mathematical Sciences, Peking University（北京大学数学科学学院）
本文提出通过求解线性方程组和相似变换实现非正交一般联合块对角化问题的解，并给出精确解的充分必要条件及数值方法。
2016-11-10 cs.NA math.NA
An NPDo Approach for Tensor Block-Diagonalization
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文提出NPDo方法用于张量块对角化，通过正交矩阵的模式乘法最大化块对角部分，结合Gauss-Seidel更新实现全局收敛，验证了方法的效率。
2026-05-13 cs.NA math.NA
Trace maximization algorithm for the approximate tensor diagonalization
本文提出一种基于张量迹最大化的 Jacobi 型算法，用于阶数 $d\geq3$ 的张量近似对角化，并证明其收敛到目标函数的驻点。
2022-07-29 cs.NA math.NA
Convergence of a Jacobi-type method for the approximate orthogonal tensor diagonalization
本文提出一种 Jacobi 型算法，通过迭代优化子张量对角元素平方和，实现三阶张量的近似正交对角化，并证明其收敛性，可推广至高阶张量。
2022-07-29 cs.NA math.NA
Tensor Principal Component Analysis in High Dimensional CP Models
University of Notre Dame（圣母大学）；Rutgers University（罗格斯大学）
高维非正交尖峰张量的CP分解是一个重要的问题，在许多学科中有着广泛的应用。然而，以前的工作与理论保证通常假设限制性的不相干条件的CP分量的基向量。在本文中，我们提出了新的计算效率的复合PCA和并发正交化算法张量CP分解的理论保证下温和的不相干条件。复合PCA将主成分或奇异值分解应用两次，首先应用于张量数据的矩阵展开以获得奇异向量，然后应用于在第一步骤中获得的奇异向量的矩阵折叠。它可以用作张量CP分解的任何迭代优化方案的初始化。并发正交化算法通过同时将投影应用于由其他模式中的其他CP分量生成的空间的正交补来迭代地估计张量的每个模式中的基向量。它的目的是改善交替最小二乘估计和其他形式的高阶正交迭代的张量与低或中等高CP秩，它是保证快速收敛时，任何给定的初始估计的误差是由一个小常数的界限。我们的理论研究提供了两个算法的估计精度和收敛速度。这两种算法都适用于确定性张量，其噪声版本，和顺序-$K$张量数据的顺序-$2K$协方差张量的因子模型与不相关的因素。我们在合成数据上的实现证明了我们的方法比现有方法具有显着的实际优势。
2022-09-18 cs.LG math.ST stat.ML
Understanding Deflation Process in Over-parametrized Tensor Decomposition
Duke University（杜克大学）；Shanghai Jiao Tong University（上海交通大学）
本文研究了过参数化张量分解问题上梯度流的训练动力学。从经验上讲，这种训练过程通常首先拟合较大的分量，然后发现较小的分量，这类似于张量分解算法中常用的张量收缩过程。我们证明，对于正交可分解的张量，稍微修改的版本的梯度流将遵循张量收缩过程，并恢复所有的张量分量。我们的证明表明，对于正交张量，梯度流动力学的工作原理类似于矩阵设置中的贪婪低秩学习，这是理解低秩张量过参数化模型的隐式正则化效应的第一步。
2021-10-24 cs.LG stat.ML
Globally Convergent Jacobi-Type Algorithms for Robust Approximate Diagonalization of Higher-Order Cumulant Tensors
School of Science, Sun Yat-sen University（中山大学理学院）；Department of Systems Engineering and Engineering Management, The Chinese University of Hong Kong（香港理工大学系统工程及工程管理学系）；Centre de Recherche en Automatique de Nancy (CRAN), Université de Lorraine, CNRS（洛林大学国家科学研究中心南西自动化研究中心）
该研究针对ICA中高阶累积量张量的鲁棒近似对角化问题，提出Jacobi-SubG雅可比型框架，证明其全局收敛性，实验显示其在高噪声下源恢复与目标函数值表现更优。
2026-10-14 cs.NA math.NA
Uniform Computability of Isotypic Block Diagonalization for Finite-Group Representations
本文在Type-2有效性理论框架下，证明了有限群表示的等型块对角化器的统一可计算性，并应用于正交表示，在等型基下按块计算QR分解，所得因子可在交换子内计算。
2026-10-05 cs.NA math.LO math.NA
Vector-wise Joint Diagonalization of Almost Commuting Matrices
提出向量式联合对角化算法，通过依次寻找近似公共特征向量构造正交变换，解决几乎交换矩阵的精确交换逼近问题，优于雅可比型算法。
2023-10-12 cs.NA math.NA
Convergence of gradient-based block coordinate descent algorithms for non-orthogonal joint approximate diagonalization of matrices
针对复 Stiefel 流形与特殊线性群上的矩阵联合近似对角化，提出基于黎曼梯度选择块的 BCD-G 与 Jacobi 型算法，并证明其全局及弱收敛性。
2023-04-25 cs.NA math.NA
Rank properties and computational methods for orthogonal tensor decompositions
正交分解将张量分解为秩孔张量的正交列表的和。给出了正交秩的几个性质。我们发现子张量的正交秩可以大于整个张量的正交秩，并证明了正交秩的下半连续性。下半连续性保证了低正交秩逼近的存在性。为了适应正交分解，我们提出了一种基于增广拉格朗日方法的算法，并通过一种新的正交化过程来保证正交性。数值实验表明，与现有的强正交分解方法相比，该方法在逼近误差方面具有很大的优势。
2021-03-23 cs.NA math.NA
Block Diagonalization of Quaternion Circulant Matrices with Applications
本文证明四元数循环矩阵无法被离散四元数傅里叶矩阵对角化，但可通过置换的离散四元数傅里叶变换矩阵块对角化，并应用于高效求逆、求解Toeplitz系统及四元数张量奇异值分解。
2024-02-08 cs.NA math.NA
Symmetric Orthogonal Tensor Decomposition is Trivial
我们考虑将实值对称张量分解为实值两两正交向量的外积之和的问题。这样的分解一般不存在，但我们证明了一些对称张量分解问题可以按照Anandkumar等人（2012）提出的白化过程转换为正交问题。如果一个$m$ -路$n$ -维对称张量的正交分解存在，我们提出了一种新的方法来计算它，减少到一个$n \times n$对称矩阵特征值问题。我们提供的数值结果证明了该方法的有效性。
2015-03-04 cs.NA math.NA
An Orthogonal Equivalence Theorem for Third Order Tensors
2011年，Kilmer和Martin提出了三阶张量的张量奇异值分解（T-SVD）。此后，T-SVD在低秩张量近似，张量恢复，多视图聚类，多视图特征提取，张量素描等方面都有应用。通过离散傅里叶变换（DFT），矩阵SVD和逆DFT，将三阶张量映射到f-对角三阶张量。我们称之为Kilmer-Martin映射。证明了三阶张量的Kilmer-Martin映射是不变的，如果该三阶张量与某些正交张量取T-积。基于Kilmer-Martin映射，定义了三阶张量的奇异值和T秩.因此，当一个三阶张量与某些正交张量作T-积时，它的张量管秩、T-秩、奇异值和T-奇异值是不变的。讨论了奇异值、T秩和最佳T秩一逼近的一些性质。
2021-08-10 cs.NA math.NA
Jacobi-type algorithm for low rank orthogonal approximation of symmetric tensors and its convergence analysis
本文提出了一种求解对称张量低秩正交逼近问题的Jacobi型算法。该算法包括著名的Jacobi CoM 2算法的一个特殊情况下，近似正交对角化问题的对称张量。首先证明了该算法的弱收敛性，即\textit{i.e.}的任何聚点都是一个平稳点。然后研究了该算法在梯度序下的整体收敛：三阶对称张量的最佳秩2正交逼近，并证明了在一定条件下聚点是唯一的极限点.数值实验表明了该算法的有效性。
2021-03-30 cs.NA math.NA
Greedy Approaches to Symmetric Orthogonal Tensor Decomposition
Columbia University（哥伦比亚大学）
本文探讨了张量对称正交分解问题，比较了两种增量秩一近似方法的扰动界，并通过数值实验揭示了研究中的开放问题。
2017-06-05 cs.NA math.NA
Optimal orthogonal approximations to symmetric tensors cannot always be chosen symmetric
研究了对称张量的正交低秩逼近问题。在矩阵的情况下，近似是截断的奇异值分解，它是对称的。此外，对于任意维张量的秩一近似，Banach在1938年证明的一个经典结果表明，最优逼近总是可以选择为对称的。与这些结果相反，本文表明，相应的声明不再是正确的正交逼近的更高的秩。具体而言，对于文献中使用的四个常见的张量正交性的概念，我们表明，最佳的正交近似的秩大于1不能总是被选择为对称。
2019-06-14 cs.NA math.FA math.NA
Orthogonal Decomposition of Tensor Trains
本文研究了将给定张量分解为张量训练，使得顶点处的张量正交可分解的问题。当张量训练长度为2，且两个顶点上的正交可分张量对称时，考虑切片的随机线性组合恢复分解.此外，如果张量的顶点是对称的，低秩，但不是正交可分解的，我们表明，白化过程可以转换成正交的情况下的问题。当张量网络的长度为3或更长，并且顶点处的张量是对称的和正交可分解的时，我们提供了一种在一定秩条件下恢复它们的算法。最后，在长度为2的张量列的情况下，在顶点的张量是正交可分解的，但不一定是对称的，我们表明，分解问题减少到一个新的问题分解成一个正交矩阵乘以对角矩阵的任何一方。我们提供和比较两种解决方案，一个基于辛霍恩定理和一个基于Procrustes算法。我们的结论与众多的开放性问题，在线性和多重线性代数，在我们的研究中出现。
2021-09-24 cs.NA math.NA math.OC
Randomized Joint Diagonalization of Symmetric Matrices
本文提出随机化联合对角化（RJD）方法，通过对近似可交换对称矩阵的随机线性组合使用标准特征值求解器，实现简单且可证明以高概率达到 O(ε) 误差的鲁棒联合对角化。
2023-10-23 cs.NA math.NA
Tensor Orthogonal Subspace Split: Theory and Applications
Yunnan University（云南大学）；Anhui Jianzhu University（安徽建筑大学）；Hong Kong Baptist University（香港浸会大学）；University of Macau（澳门大学）
本文提出张量正交子空间拆分（TOSS）理论框架，将张量沿指定模式拆分为正交分量，构建优化模型并开发算法，在高光谱图像复原等任务中验证了方法的有效性。
2026-09-01 cs.NA math.NA
Recovering orthogonal tensors under arbitrarily strong, but locally correlated, noise
我们考虑的问题，恢复正交可分张量与任意大幅度的噪声失真的元素的子集。我们专注于分解中的每个模式被具有局部相关的分量的噪声向量破坏的特定情况，即，附近的组件。我们表明，这个确定性张量完成问题具有不寻常的属性，它可以在多项式时间内解决，如果张量的秩是足够大的。这与典型的低秩张量和矩阵完备设置的低秩假设截然相反。我们表明，我们的问题可以通过一个系统的耦合西尔维斯特方程，并显示如何加速其解决方案的交替求解。这使得即使具有大量缺失条目也能够恢复，例如对于具有多达$40\%$缺失条目的秩$n$的$n$维张量。
2021-02-18 cs.NA math.NA
ST-SVD Factorization and s-Diagonal Tensors
通过离散傅里叶变换、标准矩阵奇异值分解和逆离散傅里叶变换，将一个三阶实张量映射成一个特殊的f-对角张量。我们称这样的f-对角张量为s-对角张量。f-对角张量是s-对角张量当且仅当它在上述过程中映射到自身。将三阶张量空间划分为正交等价类。每个正交等价类都有唯一的s-对角张量。如果两个s-对角张量正交等价，则它们相等。正交等价类中的三阶张量具有相同的张量管秩和T-奇异值。给出了s-对角张量的四个有意义的必要条件。然后给出了s-对角张量的一组充分和必要条件。这样的条件涉及一个特殊的复数。在第三模维数为$2, 3$和$4$的情形下，给出了不涉及这种复数的直接充分条件和必要条件.
2021-08-09 cs.NA math.NA
Successive Rank-One Approximations for Nearly Orthogonally Decomposable Symmetric Tensors
Columbia University（哥伦比亚大学）
本文研究了在存在扰动时，逐次秩一近似方法仍能稳健地恢复对称张量的对称canonical分解，证明了在扰动足够小时，近似误差不随迭代次数累积。
2017-05-29 cs.NA math.NA
When geometry meets optimization theory: partially orthogonal tensors
由于张量的多重线性性，大多数张量最优化问题的算法都是基于块坐标下降法设计的。这些算法因其可实现性和有效性而被实践者广泛采用。然而，这些算法通常缺乏整体收敛的理论保证和收敛速度的分析。本文对低秩部分正交张量逼近问题提出了一个块坐标下降型算法，并分析了其收敛性。为了实现这一点，我们仔细研究了各种低秩部分正交张量及其几何性质的参数空间，这使我们能够找到有关的最优化问题的KKT点。借助于这些几何性质，我们在没有任何假设的情况下证明了：（1）我们的算法全局收敛到KKT点;（2）对于任何给定的张量，我们的算法表现出一个整体的次线性收敛，其速度比通常的非凸优化一阶方法的$O(1/k)$更快; {（3）}对于一般的张量，我们的算法是$R$ -线性收敛的.
2022-01-13 cs.NA math.NA math.OC
On orthogonal tensors and best rank-one approximation ratio
众所周知，具有$m \le n$的$m \times n$矩阵的谱范数和Frobenius范数之间的最小可能比率是$1/\sqrt{m}$，并且（直到标量缩放）仅由具有成对正交行的矩阵获得。本文研究了$d$阶$n_1 \times \dots \times n_d$张量的谱模与Frobenius模之间的最小可能比，即最佳秩一逼近比.对于$n_1 \le \dots \le n_d$的大多数配置，确切值未知。使用实域上正交张量的自然定义（分别为，复域上的酉张量），它表明，当且仅当一个张量是正交的（分别，统一的）到缩放。正交张量或酉张量是否存在取决于维度$n_1,\dots,n_d$和场。三阶实正交张量的（不）存在性和复合代数上的经典Hurwitz问题之间的联系可以建立：大小为$\ell \times m \times n$的正交张量的存在性等价于三重$[\ell,m,n]$对Hurwitz问题的容许性。高阶张量的一些影响，然后给出。例如，$d \ge 3$阶的实正交$n \times \dots \times n$张量确实存在，但仅当$n = 1,2,4,8$。在复杂的情况下，情况更加激烈：只有当$\ell m \le n$时，才存在大小为$\ell \times m \times n$且具有$\ell \le m \le n$的酉张量。最后给出了谱范数计算的一些数值例子。
2018-03-13 cs.NA math.AG math.NA
Polar decomposition based algorithms on the product of Stiefel manifolds with applications in tensor approximation
基于矩阵极式分解，提出了求解一类复Stiefel流形乘积最优化问题的通用算法框架.利用Morse-Bott性质和Schojasiewicz梯度不等式证明了该算法的弱收敛性、整体收敛和线性收敛速率.本文将这一通用算法及其收敛性结果应用于同时近似张量对角化和同时近似张量压缩，其中包括高阶复张量的低秩正交逼近、最佳秩1逼近和低多线性秩逼近。我们还提出了一个对称的一般算法来解决这类最优化模型，它基本上优化了一个单一的Stiefel流形的对称变体。我们用类似的方法证明了它的弱收敛性、整体收敛和线性收敛速率。这种对称变形及其收敛性结果被应用于同时近似对称张量对角化，其中包括高阶复对称张量的低秩对称正交近似和最佳对称秩1近似.结果表明，著名的算法，如LROAT，S-LROAT，HOPM，S-HOPM都是这个一般的算法框架及其对称变体的特殊情况下，我们的收敛性结果substantive文献中发现的结果为这些特殊情况下设计。文中的算法和收敛性结果也适用于实际情况。
2020-06-13 cs.NA math.NA
Perturbation Bounds for (Nearly) Orthogonally Decomposable Tensors
我们开发的确定性扰动边界的奇异值和向量的正交可分张量，在精神上类似于经典的结果，如那些由于Weyl，Davis，Kahan和Wedin的矩阵。我们的边界展示了矩阵和高阶张量之间有趣的差异。最值得注意的是，他们指出，高阶张量扰动影响每个基本奇异值/向量孤立，其对基本奇异向量的影响并不取决于其相应的奇异值的多重性或其与其他奇异值的距离。我们的研究结果可以很容易地应用，并提供了一个统一的处理统计和机器学习中的许多不同的问题，涉及高阶正交可分张量的谱学习。特别是，我们说明了在高维张量SVD问题的背景下，我们的边界的影响，以及它如何可以用来获得最佳的收敛速度谱学习。
2022-01-21 cs.NA math.NA math.ST
Dynamically orthogonal tensor methods for high-dimensional nonlinear PDEs
我们发展了新的动态正交张量方法来逼近多元函数和高维时间相关的非线性偏微分方程（PDE）的解。其关键思想是将问题的自变量分解为互不相交的子集，从而得到近似空间的层次分解。这个过程可以方便地用二叉树来可视化，产生类似于经典张量火车和分层塔克张量格式的级数展开。通过在二叉树的每一层上施加动态正交条件，我们得到了跨越层次分解中每个子空间的模式的耦合发展方程。这使我们能够有效地计算解决高维时间依赖的非线性偏微分方程的张量流形的常秩，而不需要降秩方法。我们还提出了新的算法动态添加和删除每个子空间内的模式。数值例子和讨论高维双曲型和抛物型偏微分方程在有界域。
2019-07-12 cs.NA math-ph math.MP
Optimal High-order Tensor SVD via Tensor-Train Orthogonal Iteration
Duke University（杜克大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Rice University（莱斯大学）
本文研究了高阶张量奇异值分解的一般框架。我们提出了一种新的计算效率高的算法，张量列车正交迭代（TTOI），其目的是估计低张量列车秩结构的噪声高阶张量观测。所提出的TTOI包括通过TT-SVD（Oseledets，2011）进行的初始化和新的迭代后向/前向更新。我们开发的一般上界的估计误差TTOI的支持下，几个新的表示引理张量矩阵化。通过建立一个匹配的信息论下界，我们还证明了TTOI在尖峰张量模型下达到了极大极小最优性。建议TTOI的优点说明通过应用程序估计和降维的高阶马尔可夫过程，数值研究，并在纽约市出租车行驶记录的真实数据的例子。所提出的算法的软件是可在线$^6$。
2022-01-24 cs.LG cs.NA math.NA
Approximation and composition of functions in quantized tensor trains via orthogonal polynomial expansions
Institute of Fundamental Physics IFF-CSIC（基础物理研究所）
本文提出一种基于正交多项式展开的构造性算法，将单变量和多变量函数表示为量化张量列（QTT）逼近器，支持函数复合，在切比雪夫基下快速收敛且数值稳定，性能优于或媲美TCI等方法。
2026-09-18 cs.NA math.NA quant-ph
Block Diagonalization and Multiplicativity of Quaternion $Z$-Block Circulant Matrices with Applications
Northeast Electric Power University（东北电力大学）；Georgia State University（佐治亚州立大学）；University of Niš（尼什大学）
本文研究了四元数 $Z$-块循环矩阵的块对角化与乘法等价性，推导了 QT-SVD 并应用于视频旋转，展示了其稳定性和色彩保真度。
2026-10-27 cs.NA math.NA
The Epsilon-Alternating Least Squares for Orthogonal Low-Rank Tensor Approximation and Its Global Convergence
本文提出了一种新的交替最小二乘法（$ε$ -ALS），并分析了高阶张量的典型多元分解（近似），其中一个或多个因子矩阵被假定为列方向正交的。结果表明，该算法全局收敛到一个KKT点的所有张量没有任何假设。对于原ALS，通过进一步研究其极式分解的性质，在一个不强于文献的实际假设下，我们也证明了它的整体收敛。这些结果完全解决了[L. Wang，M. T. Chu和B. Yu，\emph{SIAM J. Matrix Anal. Appl.}，36（2015），pp. 1- 19]。此外，提出了一个初始化过程，它具有一个可证明的下界时，列正交因子的数量是1。数值实验表明，该算法在效率和有效性方面具有良好的性能。
2019-12-05 cs.NA math.NA math.OC
A chiseling algorithm for low-rank Grassmann decomposition of skew-symmetric tensors
KU Leuven（荷语鲁汶大学）
本文提出了一种用于对称张量低秩分解的算法，通过线性关系和核对角化实现Grassmann分解，验证了其计算效率和准确性。
2026-01-26 cs.NA math.NA
Numerical Optimization for Tensor Disentanglement
本文将张量解纠缠形式化为最小化矩阵化秩的正交优化问题，提出黎曼优化、交替联合优化及二分搜索策略，并通过数值实验验证其有效性。
2025-08-26 cs.NA math.NA quant-ph
A Sharp Blockwise Tensor Perturbation Bound for Orthogonal Iteration
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Columbia University（哥伦比亚大学）
在本文中，我们开发了新的扰动界的高阶正交迭代（HOOI）[DLDMV 00 b]。在温和的正则性条件下，我们建立了HOOI的块式张量扰动界，并保证了对任何$q \geq 1$，在Hilbert-Schmidt范数$\|\widehat{\bcT} - \bcT \|_{\tHS}$下的张量重建和$q$范数$\| \sin Θ(\widehat{\U}_k, \U_k) \|_q$下的模式- $k$奇异子空间估计。我们发现模式- $k$奇异子空间估计的上界是单边的，并线性收敛到一个由扰动和信号强度的块误差表征的量。对于张量重建误差界，我们表示通过一个简单的量$ξ$，它只依赖于扰动和多线性秩的基础信号的边界。速率匹配确定性下界的张量重建，这表明HOOI的最优性，也提供。此外，我们证明了一步HOOI（即，HOOI仅具有单次迭代）在张量重建方面也是最佳的，并且可以用于降低计算成本。将微扰结果推广到只有部分模式具有低秩结构的$\bcT$。我们支持我们的理论结果进行了广泛的数值研究。最后，我们将HOOI的新扰动界应用于机器学习和统计的两个应用，张量去噪和张量共聚类，这表明了新扰动结果的优越性。
2021-06-05 cs.LG cs.NA math.NA
