Simpler is better: A comparative study of randomized algorithms for computing the CUR decomposition
CUR分解是一种低秩近似技术,它选择给定矩阵的列和行的小子集作为其列和行空间的基础。由于它比传统的基于规范正交基的低秩分解具有许多优点,近年来引起了人们的广泛兴趣。这些特性包括保留稀疏性或非负性等属性、解释数据的能力以及降低存储需求。找到最小化残差范数的骨架集的问题已知是NP难的,但经典的枢转方案,如列枢转QR工作往往在实践中工作得很好。当与随机化降维技术相结合时,经典的基于旋转的方法变得特别有效,并且已经证明能够非常快速地计算大的、潜在稀疏的矩阵的近似CUR分解。另一类用于计算CUR分解的流行算法是基于使用基于杠杆分数的专用概率分布从完整索引集中随机绘制列和行。这种基于采样的技术对于非常大规模的问题特别有吸引力,并且得到理论性能保证的很好支持。这份手稿提供了一个比较研究的各种随机算法计算CUR分解,最近提出的。此外,它提出了一些修改和简化现有的算法,导致更快的执行时间。
2022-06-03 cs.NA math.NA
Stable and Efficient Computation of Generalized Polar Decompositions
提出了一种基于动态加权Halley迭代的矩阵广义极式分解的计算方法。该方法已被很好地建立用于计算标准极式分解。一个稳定的实现是可用的,其中矩阵求逆被避免,而使用QR分解。我们建立了一个自然的推广,这种方法计算广义极式分解的签名矩阵。同样,逆可以通过使用称为双曲QR分解的广义QR分解来避免。然而,这种分解并没有表现出与其正交对应物相同的有利稳定性。我们克服了数值困难,通过推广CholeskyQR 2方法。该方法通过两个连续的Cholesky分解以稳定的方式计算标准QR分解。一个更好的数值稳定性是通过采用置换图基地,产生残差的顺序$10^{-14}$,即使条件差的矩阵,其他方法失败。
2021-04-14 cs.NA math.NA
Two harmonic Jacobi--Davidson methods for computing a partial generalized singular value decomposition of a large matrix pair
针对大型正则矩阵对的部分广义奇异值分解(GSVD)问题,提出了两种基于谐波提取的Jacobi-Davidson(JD)型算法.它们被称为无向量积(CPF)和无逆(IF)谐波JDGSVD算法,分别简称为CPF-HJDGSVD和IF-HJDGSVD。与基于标准提取的JDGSVD算法相比,基于谐波提取的算法收敛更有规律,更适合于计算内部广义奇异值对应的GSVD分量。提出了一种基于压缩和净化技术的厚重启动CPF-HJDGSVD和IF-HJDGSVD算法,用于计算多个GSVD分量。数值实验证实了CPF-HJDGSVD和IF-HJDGSVD算法优于基于标准抽取的JDGSVD算法。
2022-01-09 cs.NA math.NA
On choices of formulations of computing the generalized singular value decomposition of a large matrix pair
对于满列秩的大型矩阵对$(A,B)$的广义奇异值分解(GSVD)的计算,一般将GSVD表示为两个数学等价的广义本征值问题,从而可以将广义本征值求解器应用于其中一个问题,然后从计算的广义本征对中恢复所需的GSVD分量.我们关心的是,在有限精度算法中,哪种广义本征值公式在计算所需的GSVD分量时更精确。我们对这两种提法进行了详细的扰动分析,并展示了如何在它们之间做出适当的选择。数值实验验证了所得结果。
2020-01-10 cs.NA math.NA
$M$-QR decomposition and hyperpower iterative methods for computing outer inverses of tensors
本文在 $M$-乘积结构下结合张量 QR 分解与超幂迭代方法计算具有指定值域和核的张量外逆,证明其十九阶收敛性,并通过数值算例验证了方法的有效性。
2025-07-21 cs.NA math.NA
A Power Method for Computing Singular Value Decomposition
本文提出一种基于神经网络编码器的幂方法,用于高效计算实值矩阵的SVD子空间,通过优化器设置和奇异值行为影响精度。
2025-12-07 cs.NA math.NA
Parallel algorithms for computing the tensor-train decomposition
张量序列(TT)分解以用于分子模拟、高阶相关函数和优化的数据稀疏格式表达张量。在本文中,我们提出了四种可并行化的算法,从各种张量输入计算TT格式:(1)用于传统格式的Tucel-TTSVD,(2)用于流数据的PSTT及其变体,(3)用于Tucker格式的Tucker 2 TT,以及(4)用于Sylvester张量方程解的TT-fADI。我们提供理论保证的准确性,并行化方法,缩放分析和数值结果。例如,对于$\mathbb{R}^{n\times\dots\times n}$中的$d$ -维张量,双侧草图绘制算法PSTT 2被示出为具有$\mathcal{O}(n^{\lfloor d/2 \rfloor})$的存储器复杂度,改进了来自先前算法的$\mathcal{O}(n^{d-1})$。
2021-11-19 cs.NA math.NA
Towards a more robust algorithm for computing the restricted singular value decomposition
提出了一种计算稠密矩阵限制奇异值分解的新算法。与Zha的方法\cite{Zha92}一样,新算法使用隐式Kogbetliantz迭代,但有四个主要创新。第一个创新是一个有用的准上三角广义舒尔形式,只需要正交变换计算。根据应用,可以使用Schur形式代替完全分解。第二个创新是一个新的预处理阶段,需要更少的排名确定比以前的方法。第三个创新是一个数值稳定的RSVD算法的$2\times 2$上三角形矩阵,形成了隐式Kogbetliantz迭代的关键组成部分。第四个创新是一个替代缩放的限制奇异三胞胎,结果在优雅的公式计算。除了这四个创新,算法的定性(数值)特性进行了广泛的讨论。在(可选的)后处理阶段的一些数值挑战也被认为是;虽然,他们的解决方案需要进一步的研究。数值试验和算例验证了该方法的有效性。
2020-02-12 cs.NA math.NA
A numerical method for computing the Jordan Canonical Form
矩阵的若尔当典范形对扰动高度敏感,其数值计算仍然是一个艰巨的挑战。本文提出了一个正则化理论,建立了一个适定的最小二乘问题,找到最近的楼梯分解的最高余维的矩阵束。提出了一种计算数值若尔当典范形的两阶段算法。在第一阶段,该方法计算矩阵的Jordan结构和多重特征值的初始近似。然后在第二阶段通过迭代算法构造阶梯分解。因此,即使底层矩阵受到扰动,也可以高精度地计算数值Jordan正则分解和多重特征值。
2021-03-02 cs.NA math.NA
RSVDPACK: An implementation of randomized algorithms for computing the singular value, interpolative, and CUR decompositions of matrices on multi-core and GPU architectures
RSVDPACK库通过高效随机算法实现矩阵低秩近似,支持SVD、ID和CUR分解,提升数据解释效率并降低内存需求。
2016-08-29 cs.MS cs.NA math.NA
A cross-product free Jacobi-Davidson type method for computing a partial generalized singular value decomposition (GSVD) of a large matrix pair
提出了一种计算大型正则矩阵对$(A,B)$的部分广义奇异值分解(GSVD)的无向量积(CPF)Jacobi-Davidson(JD)方法.它隐式地解决了$(A^TA,B^TB)$的数学等价的广义本征值问题,但没有显式地形成向量积矩阵,从而避免了计算广义奇异值和广义奇异向量可能带来的精度损失.该方法是一种内-外迭代方法,其中右搜索子空间的扩展形成近似求解所涉及的校正方程的内迭代,而外迭代提取关于子空间的近似GSVD分量。建立了内迭代和外迭代的收敛性结果,并根据这些结果设计了内迭代的实用停止准则。提出了一种带收缩的厚重启动CPF-JDGSVD算法,用于计算多个GSVD分量。数值实验验证了算法的有效性。
2021-03-09 cs.NA math.NA
On Algorithms for and Computing with the Tensor Ring Decomposition
诸如规范格式和张量训练格式的张量分解已经被广泛用于降低高维数据的存储成本和操作复杂性,实现了与输入维度的线性缩放而不是指数缩放。在本文中,我们研究了更低的存储成本表示的张量环格式,这是一个扩展的张量训练格式与可变端秩。首先,我们介绍了两个算法,用于转换张量在全格式张量环格式,以低存储成本。其次,我们详细介绍了张量环的舍入操作,并展示了如何在格式中定义常见的线性代数操作以节省存储成本。最后,我们介绍了基于图的张量格式的图结构转换算法,其复杂度比现有文献低几个数量级。所有算法的效率证明了一些数值例子,在某些情况下,我们表现出显着更高的压缩比相比,以前的方法使用张量环格式。
2020-02-10 cs.NA math.NA
Canonical Polyadic Decomposition via the generalized Schur decomposition
典型多进分解(CPD)是一种基本张量分解,它将张量表示为秩为1的张量之和。与矩阵情况形成鲜明对比的是,在轻假设下,低秩张量的CPD(本质上)是唯一的。CPD的本质独特性使得这种分解在许多应用中成为一种强大的工具,因为它允许从感兴趣的信号中提取分量信息。一种常用的CPD的代数计算算法是广义本征值分解(GEVD),其选择张量的矩阵子束,然后计算束的广义本征向量。在这篇文章中,我们提出了一个简化的GEVD,提高了算法的精度。令人惊讶的是,在GEVD中的广义特征向量计算实际上是不必要的,并且可以由QZ分解代替,QZ分解将一对矩阵分解为酉矩阵和上三角形矩阵的乘积。在计算广义特征向量时,计算QZ分解是标准的第一步,因此我们的算法可以被看作是GEVD的直接简化。
2022-02-23 cs.NA math.NA
GR decompositions and their relations to Cholesky-like factorizations
对于一个给定的矩阵,我们感兴趣的是计算GR分解$A=GR$,其中$G$是一个等距关于给定的标量产品。正交QR分解是欧几里德标积的代表。对于签名矩阵,给出相应的因子分解作为双曲QR分解。考虑斜对称矩阵导致辛QR分解。计算GR分解的标准方法是基于次对角矩阵项的连续消除。对于双曲和辛的情况下,这种方法一般不会导致令人满意的数值精度。另一种方法通过Cholesky分解来计算QR分解,但稳定性也很差。通过第二次重复该过程来改进。以同样的方式,双曲和辛QR分解与$LDL^T$和反对称Cholesky样分解有关。我们表明,利用这种连接的方法可以提供更好的数值稳定性比基于消除的方法。
2020-06-11 cs.NA math.NA
On computing local monodromy and the numerical local irreducible decomposition
本文研究代数簇的局部结构,提出一种基于线性投影局部单值作用在解析延拓下行为的算法,用于计算局部单值作用及数值局部不可约分解。
2024-12-23 cs.NA math.AG math.NA
Randomized Algorithms for Generalized Singular Value Decomposition with Application to Sensitivity Analysis
广义奇异值分解(GSVD)是计算科学中一种有价值的工具,有着广泛的应用。然而,计算大规模问题的GSVD是具有挑战性的。受超微分灵敏度分析(HDSA)应用的启发,本文提出了一种新的基于随机子空间迭代和加权QR分解的GSVD随机算法。详细的误差分析提供了洞察算法的精度和算法参数的选择。我们证明了我们的算法的性能测试矩阵和一个大规模的模型问题,HDSA是用来研究地下水流。
2020-02-07 cs.NA math.NA
The eigenvalue decomposition of normal matrices by the skew-symmetric part
ICTEAM Institute, UCLouvain(UCLouvain ICTEAM研究所);Department of Mathematics, Florida State University(佛罗里达州立大学数学系)
本文提出通过分解斜反对称部分计算实正常矩阵特征值分解的新方法,利用已知高效算法如双对角SVD和对称特征值分解,针对具有少数实特征值的正常矩阵(如随机正交矩阵)具有优势,并分析了方法的稳定性与复杂度。
2026-03-30 cs.NA math.NA
Three decompositions of symmetric tensors have similar condition numbers
本文揭示了对称张量的规范多元分解、Waring分解和Tucker压缩Waring分解三者条件数之间的内在联系,并据此将条件数计算速度提升数个数量级。
2021-10-08 cs.NA math.NA
Tensor decomposition and homotopy continuation
Dipartimento di Matematica, Università di Trento(特伦托大学数学系);Worcester State University(伍斯特州立大学);Department of Applied and Computational Mathematics and Statistics, University of Notre Dame(圣母大学应用与计算数学及统计学系);Inria Sophia Antipolis Méditerranée(索菲亚-安提波利斯地中海国家信息与自动化研究所)
本文提出通过数值消元理论计算张量秩和边秩的方法,结合实例展示数值代数几何的应用。
2016-07-06 cs.NA math.AG math.NA
An L-DEIM Induced High Order Tensor Interpolatory Decomposition
本文提出基于L-DEIM的高阶张量插值分解方法,结合随机采样技术构造高效保结构分解和混合分解算法,在降低计算成本的同时获得比张量CUR分解更小的近似误差。
2023-04-11 cs.NA math.NA
Computing mixed Schatten norm of completely positive maps
计算矩阵的$p \rightarrow q$范数是计算数学中的一个经典问题,幂迭代法是计算非负矩阵的$p \rightarrow q $范数的一种常用方法.本文定义了一个计算完全正映射的$ S_p \rightarrow S_q $范数的等价迭代法,其中$S_p$是Schatten $p$范数.我们将矩阵环境中的几乎所有定义、性质、引理等推广到完全正映射,并证明了一个重要定理。
2022-09-15 cs.NA math.NA
Efficient Algorithms for CUR and Interpolative Matrix Decompositions
该手稿描述了有效的算法计算的CUR和ID分解。所使用的方法是基于对经典截断枢轴QR分解的简单修改,这意味着可以利用高度优化的库代码来实现。对于某些应用,可以通过结合基于随机投影的技术来实现进一步的加速。数值实验表明,优越的性能相比,现有的技术计算CUR因子分解。
2016-10-19 cs.NA math.NA
Streaming GPU Singular Value and Dynamic Mode Decompositions
本文提出了一种在图形处理器上并行计算动态模式分解(DMD)的算法,该算法采用快照流方法进行奇异值分解。这使得算法能够在新数据可用时通过避免冗余内积来有效地对流数据进行操作。此外,可以利用许多数据流(例如,在傅立叶域中稀疏表示的HD视频和计算物理代码)的原生压缩格式,以大量减少从CPU到GPU的数据传输,并实现稀疏矩阵乘法。两者合计,这些算法有利于实时流DMD的高维数据流。我们证明了所提出的方法在众多的高维数据集,从视频背景建模到科学计算应用,DMD正在成为一个支柱算法。计算框架被开发为用C++与CUDA编写的开源库,并且算法可以被推广到包括其他DMD进展,例如压缩感测DMD、多分辨率DMD或具有控制的DMD。保留字:奇异值分解,动态模式分解,流式计算,图形处理单元,视频背景建模,科学计算。
2016-12-23 cs.NA math.NA
Fast Wavelet Decomposition of Linear Operators through Product-Convolution Expansions
积分算子的小波分解已经证明了它们在减少许多问题的计算时间方面的效率,从波或流体的模拟到成像中的逆问题的分辨率。不幸的是,计算分解本身就是一个很难的问题,对于大规模的问题来说,这往往是遥不可及的。这项工作的目的是设计快速分解算法的基础上,另一种表示称为产品卷积扩展。这种分解可以有效地评估,假设一些脉冲响应的运营商是可用的,但它通常是效率低于小波分解时,纳入迭代方法。建议的分解算法,运行在准线性时间,我们提供了一些数值实验,以评估其性能的成像问题,涉及空间变化的模糊。
2020-07-31 cs.NA eess.IV eess.SP
A domain decomposition method for computing the scattering matrix of waveguide circuits
University of Chicago(芝加哥大学);Flatiron Institute, Simons Foundation(西蒙斯基金会平顿研究所);Indian Institute of Technology Bombay(孟买印度理工学院)
本文提出一种基于投影辐射边界条件和阻抗到阻抗映射的区域分解方法,用于高效计算金属波导电路散射矩阵,数值实验表明比现有快速求解器快一至两个数量级。
2025-09-25 cs.NA math.NA physics.optics
Computing Spectral Measures and Spectral Types
谱测度出现在许多应用中,例如量子力学、信号处理、共振和流体稳定性。类似地,谱分解(纯点、绝对连续和奇异连续)通常会忽略相关的物理性质,例如量子系统的长时间动力学。尽管在计算谱方面有了新的结果,但仍然没有能够计算无限维正规算子的谱测度或谱分解的通用方法。以前的努力集中在具体的例子中,分析公式(或其扰动)或具有很多结构的运营商类。因此,一般的计算问题主要是开放的。我们解决了这个问题,提供了第一套通用的算法,计算谱测度和分解的广泛的一类运营商。给定一个矩阵表示的自伴或酉算子,使每列衰减在无穷远在一个已知的渐近速率,我们展示了如何计算谱测度和分解。我们讨论这些方法如何允许计算的对象,如谓词演算,以及他们如何推广到一个大类的偏微分算子,例如,允许解决方案,如薛定谔方程的演化偏微分方程$L^2(\mathbb{R}^d)$。无限维中的计算谱问题导致了SCI层次,它对计算问题的难度进行了分类。我们分类计算的措施,措施分解,类型的频谱,谓词演算,和Radon-Nikodym衍生物的SCI层次。新的算法被证明是有效的例子从OP的实数线和单位圆(例如,给出计算实现的Favard定理和Verblunsky定理),并适用于发展方程的二维准晶。
2021-03-01 cs.NA math-ph math.FA