Randomized strong rank-revealing QR for column subset selection and low-rank matrix approximation
本研究提出一种随机化强秩揭示QR分解,借助满足ε-嵌入性质的随机概要矩阵,通过概要矩阵的确定性强秩揭示QR选列,实现矩阵谱特性揭示,可用于列子集选择、低秩逼近等任务。
2025-03-24 cs.NA math.NA
A Fast Implementation of Singular Value Thresholding Algorithm using Recycling Rank Revealing Randomized Singular Value Decomposition
Tsinghua University(清华大学);Old Dominion University(老道明大学)
本文提出一种快速实现奇异值阈值算法的方法,通过回收秩揭示随机奇异值分解算法降低计算成本,用于矩阵补全问题,包括图像恢复和电影推荐系统。
2017-04-14 cs.NA math.NA
A sublinear-time randomized algorithm for column and row subset selection based on strong rank-revealing QR factorizations
本文提出一种基于均匀随机选取与强秩揭示QR分解细化的亚线性时间行列子集选择算法,并在非相干性与稀疏性假设下证明了CUR低秩逼近的误差界。
2024-02-21 cs.NA math.NA
A Generalized Randomized Rank-Revealing Factorization
我们引入了一个广义随机QR分解,可以应用于矩阵及其逆矩阵的任意乘积,而不需要显式计算的产品或逆。这种分解是一个通信最佳频谱分治算法的非对称本征值问题的关键部分。在本文中,我们建立了这种随机QR-因子分解满足强秩揭示性质。我们还正式证明了它的稳定性,使其适用于应用程序。最后,我们提出的数值实验表明,我们的理论界捕获的经验行为的因子分解。
2019-09-14 cs.DS cs.NA math.NA
A Rank Revealing Randomized Singular Value Decomposition (R3SVD) Algorithm for Low-rank Matrix Approximations
本文提出R3SVD算法,通过正交高斯采样逐步构建低秩近似,并自适应估计秩以捕捉矩阵主要特征。算法在图像压缩和矩阵补全中验证了有效性。
2016-05-26 cs.NA math.NA
Randomized Rank-Revealing QLP for Low-Rank Matrix Decomposition
本文提出随机化无主元QLP分解(RU-QLP),通过随机列采样和无主元QR分解实现低秩矩阵的秩揭示分解,并给出谱范数和Frobenius范数下的理论界,实验表明其相比随机化SVD在CPU和GPU上分别获得最高7.1倍和2.3倍加速。
2023-07-05 cs.NA eess.SP math.NA
Rank Revealing Gaussian Elimination by the Maximum Volume Concept
University of Edinburgh(爱丁堡大学)
本文提出了一种高斯消元算法,通过在Schur补中产生小的条目来揭示矩阵的数值秩。该算法利用最大体积概念寻找最大维度的非奇异子矩阵。揭示奇异值的界与最佳已知的秩揭示LU分解的界相似,但与现有方法不同的是,该算法不使用正则矩阵。
2018-02-08 cs.NA math.NA
Efficient Randomized Algorithms for the Fixed-Precision Low-Rank Matrix Approximation
研究了低秩矩阵逼近的随机化算法,重点研究了固定精度问题和处理大型矩阵的计算效率。该算法是基于所谓的QB分解,其中Q是一个正交矩阵。首先,提出了一种计算Frobenius范数近似误差的机制,该机制使得对于大型和/或稀疏矩阵能够有效地进行自适应秩确定。它可以与任何QB形式的因式分解算法相结合,其中B的行是增量生成的。基于P. - G. Martinsson和S.沃罗宁,这导致了一个称为randQB EI的算法。然后,我们进一步修改算法,得到一个通过有效的算法,randQB FP,这是数学上等价于现有的randQB算法,也适用于固定精度的问题。特别地,在一定条件下,randQB FP可以作为计算前导奇异值的单遍算法。与大和/或稀疏的测试矩阵,我们已经经验验证了所提出的技术,表现出显着的加速比和内存节省块randQB算法的优点。我们还证明了由randQB FP导出的单遍算法比现有的单遍算法精确得多。并从风景图像和信息检索应用程序的数据,我们已经显示了所提出的算法的优势,自适应测距算法解决固定精度的问题。
2018-02-10 cs.DC cs.DS cs.NA
The PowerURV algorithm for computing rank-revealing full factorizations
科学计算和数据科学中的许多应用需要计算大型矩阵的秩揭示因子分解。在这些情况中的许多情况下,用于计算奇异值分解的经典算法在计算上昂贵得令人望而却步。随机化的奇异值分解通常是有帮助的,但不是有效的,除非矩阵的数值秩基本上小于矩阵的维数。我们介绍了一种新的随机算法,用于基于Demmel,Dumitriu和Holtz [Numerische Mathematik,108(1),2007]的现有工作产生秩揭示因子分解。该方法是非常容易实现的,并在接近最佳的低秩近似一个给定的矩阵的结果。绝大多数浮点运算都是在3级BLAS中执行的,这导致了很高的计算速度。该方法的性能说明通过几个数值实验,直接比较它的替代技术,如列枢轴QR分解,或QLP方法由斯图尔特。
2018-12-14 cs.NA math.NA
Randomized Rank-Revealing UZV Decomposition for Low-Rank Approximation of Matrices
Centre for Telecommunications Studies (CETUC)(电信研究中心);Pontifical Catholic University of Rio de Janeiro(里约热内卢天主教大学)
本文提出了一种新的秩揭示分解方法——随机化秩揭示UZV分解(RRR-UZVD),用于矩阵低秩近似。该方法通过随机化技术近似低秩输入矩阵,通过构造近似矩阵$\hat{f A}={f UZV}^T$,其中$f U$和$f V$具有正交列,$f Z$的对角块揭示$f A$的秩,非对角块具有小$\ell_2$-范数,该方法简单、准确且仅需几次遍历$f A$,计算成本为$O(mnk)$次浮点运算。
2018-11-21 cs.NA eess.SP math.NA
Efficient QR-based Column Subset Selection through Randomized Sparse Embeddings
PSI Center for Scientific Computing, Theory and Data(瑞士保罗谢勒研究所科学计算、理论与数据中心);Institute of Mathematics, EPFL(洛桑联邦理工学院数学研究所)
介绍一种结合列主元 QR 分解与稀疏子空间嵌入的列子集选择高效算法 SE - QRCS,对宽矩阵有效,能从草图矩阵选列并映射回原矩阵,证明其分解有强秩揭示特性,所得界对\(A\)列数依赖性降低,一般矩阵可扩展。
2026-07-27 cs.NA math.NA
Fast adaptive tubal rank-revealing algorithm for t-product based tensor approximation
本文提出一种自适应随机算法,用于揭示数据张量的管秩并高效计算低管秩近似,无需预知管秩或傅里叶域奇异值,在图像处理和背景建模任务中验证了有效性。
2025-08-12 cs.NA math.NA
Randomized Numerical Linear Algebra: Foundations & Algorithms
这篇综述描述了线性代数计算的概率算法,例如分解矩阵和求解线性系。它侧重于那些在实际问题实例中具有良好记录的技术。本文将同时处理这一问题的理论基础和实际的计算问题。涵盖的主题包括范数估计;通过抽样进行矩阵逼近;结构化和非结构化随机嵌入;线性回归问题;低秩逼近;子空间迭代和Krylov方法;误差估计和自适应;插值和CUR分解;正半定矩阵的Nyström逼近;单视图(“流”)算法;全秩揭示因子分解;用于线性系的求解器;以及在机器学习和科学计算中出现的核矩阵的近似。
2021-03-15 cs.NA math.NA
URV Factorization with Random Orthogonal System Mixing
本文提出利用随机正交系统在计算无回旋QR分解前混合矩阵列,以减少列范数变异,提升精度,相比传统有回旋QR分解更高效。
2017-03-07 cs.NA math.NA
Spectrum-Revealing Cholesky Factorization for Kernel Methods
UC Berkeley(加州大学伯克利分校)
本文提出一种可靠的低秩矩阵分解——揭示谱的Cholesky分解,用于核矩阵近似,并开发高效的随机算法,实验表明该算法在机器学习任务中效果与传统Cholesky分解方法相当,但速度更快。
2018-04-14 cs.NA math.NA
Computing Strong Rank-Revealing Factorizations for Matrices with Orthonormal Rows
Cornell University(康奈尔大学)
研究具有正交行矩阵的强秩揭示分解,采用斯图尔特枢轴策略与GKS列选择算法结合,可实现良好精度界和基条件,还从两方向扩展框架,包括对GKS近似情况分析及提供随机变体,速度更快。
2026-07-16 cs.NA math.NA
Randomized Cholesky QR factorizations
本文提出并分析了矩阵$X$的随机Cholesky QR分解的几种变体。而不是从$X^T X$计算R因子,如通过标准方法所做的,我们从一个小的,有效地计算随机草图的$X$,从而节省计算成本,提高数值稳定性。提出的随机Cholesky QR的直接变体只需要一半的触发器和相同的通信成本作为经典的Cholesky QR。同时,它更鲁棒,因为只要输入矩阵是满秩的,它就保证是稳定的。秩揭示随机化Cholesky QR变体具有整理出$X$的线性相关列的能力,这允许具有无条件的数值稳定性,并在$X$秩不足时降低计算成本。我们还描述了一个列导向的随机Cholesky QR,建立了与随机Gram-Schmidt过程的连接,以及一个减少的变体,输出Q因子的低维投影,而不是全因子,因此产生了巨大的计算节省。结果表明,在所提出的算法中,以更高的精度执行较小的操作可以允许与主矩阵维数无关的工作单元循环的稳定性。此功能可能是特别感兴趣的QR分解的高和瘦的矩阵上的低精度架构。
2022-10-22 cs.NA math.NA
Low-Rank Matrix Approximations with Flip-Flop Spectrum-Revealing QR Factorization
我们提出了触发器频谱揭示QR(触发器SRQR)因式分解,一个显着更快,更可靠的变体的QLP因式分解的斯图尔特,低秩矩阵近似。触发器SRQR使用SRQR分解来初始化部分列枢轴QR分解,然后计算部分LQ分解。正如Stewart在他最初的QLP工作中所观察到的,触发器SRQR以“相当的保真度”跟踪精确的奇异值。我们开发的奇异值下界和残差上界的触发器SRQR分解。在输入矩阵的奇异值衰减相对较快的情况下,保证SRQR计算的低秩近似与截断SVD一样准确。我们还进行了复杂度分析,以表明对于相同的精度,Flip-Flop SRQR比随机子空间迭代更快地近似SVD,这是Matlab张量工具箱中使用的标准方法。我们还比较了触发器SRQR与替代品的两个应用程序,张量近似和核范数最小化,以证明其效率和有效性。
2018-03-14 cs.NA math.NA
Fast Parallel Randomized QR with Column Pivoting Algorithms for Reliable Low-rank Matrix Approximations
UC Berkeley(加州大学伯克利分校);University of Colorado Denver(科罗拉多大学丹佛分校)
本文提出快速并行随机化QR与列主元算法,通过降低通信开销提升效率,并展示其在低秩矩阵近似中的可靠性与效率优势。
2018-04-13 cs.NA math.NA
Study of Compressed Randomized UTV Decompositions for Low-Rank Matrix Approximations in Data Science
在这项工作中,提出了一种新的秩显示矩阵分解算法,称为压缩随机UTV(CoR-UTV)分解以及一个CoR-UTV变体的辅助下的功率方法技术。CoR-UTV通过使用随机采样方案来计算低秩输入矩阵的近似值。给定大小为$m\times n$且具有数值秩$k$的大且密集的矩阵,其中$k \ll \text{min} \{m,n\}$,CoR-UTV需要在数据上经过几次,并且在$O(mnk)$浮点运算中运行。此外,CoR-UTV可以利用现代计算平台,并可以优化以实现最大效率。CoR-UTV也适用于解决鲁棒主成分分析问题。仿真结果表明,CoR-UTV优于现有的方法。
2019-06-08 cs.DS cs.NA math.NA
Efficient algorithms for computing rank-revealing factorizations on a GPU
本文提出两种基于随机投影的 GPU 秩揭示分解算法,将大部分运算转化为高效的矩阵乘法,在保持接近 SVD 低秩近似误差的同时实现了一个数量级的加速。
2023-05-21 cs.MS cs.NA math.NA
CholeskyQR with Randomization and Pivoting for Tall Matrices (CQRRPT)
提出 CQRRPT 算法,将随机 sketching、选主元与随机预处理 CholeskyQR 结合,用于高矩阵 QRCP,具备秩揭示与稳定性保证,且在 RandLAPACK 中实现并显著加速。
2025-03-16 cs.NA math.NA
Compressed Randomized UTV Decompositions for Low-Rank Approximations and Big Data Applications
Centre for Telecommunications Studies (CETUC)(电信研究中心);Pontifical Catholic University of Rio de Janeiro(里约热内卢天主教大学);University of York(约克大学)
本文提出了一种名为压缩随机UTV(CoR-UTV)分解的新型低秩矩阵近似算法,该算法通过随机采样方案高效计算低秩输入矩阵的近似,并在图像重建和鲁棒主成分分析等大数据应用中表现出更高的效率和准确性。
2018-10-15 cs.DS cs.NA math.NA
Subspace Iteration Randomization and Singular Value Problems
本文提出了一种基于子空间迭代框架的随机算法,用于高效计算具有快速衰减奇异值的矩阵的低秩近似,并证明其能准确计算奇异值和低秩近似。
2014-08-10 cs.NA math.NA
Estimating leverage scores via rank revealing methods and randomization
IBM Research Zurich(IBM苏黎世研究院);University of Patras(帕特雷大学)
我们研究算法估计的统计杠杆得分的矩形稠密或稀疏矩阵的任意秩。我们的方法是基于结合排名揭示方法与密集和稀疏随机降维变换的组合物。我们首先开发了一套快速的新算法的秩估计,列子集选择和最小二乘预处理。然后,我们描述了杠杆分数估计器的设计和实现基于这些原语。这些估计器对于排名不足的输入也是有效的,这在数据分析应用中经常发生。我们提供了详细的复杂性分析,以及有意义的近似边界和比较与国家的最先进的。我们进行了广泛的数值实验,以评估我们的算法,并说明其属性和性能使用合成和真实世界的数据集。
2021-05-23 cs.DS cs.LG cs.NA
Generalized Inverses of Matrix Products: From Fundamental Subspaces to Randomized Decompositions
Samsung AI Center(三星人工智能中心);MIT(麻省理工学院)
本文研究了矩阵乘积的广义逆,通过基本子空间和随机分解方法,揭示了随机线性代数算法的结构,并应用于稀疏传感器布置和电阻估计。
2026-01-30 cs.AI cs.LG cs.NA
Adaptive Parallelizable Algorithms for Interpolative Decompositions via Partially Pivoted LU
本文提出用部分主元LU替代列主元QR进行随机化插值分解,实现自适应并行化,降低通信开销,提升速度,并已在CPU和GPU上公开实现。
2023-10-13 cs.NA math.NA
Computing rank-revealing factorizations of matrices stored out-of-core
University of Colorado at Boulder(科罗拉多大学博尔德分校);University of Texas at Austin(得克萨斯大学奥斯汀分校);Universitat Jaume I(海梅一世大学)
本文描述了用于计算矩阵的秩揭示因子分解的有效算法,这些矩阵太大而无法放入RAM中,并且必须存储在缓慢的外部存储器设备上,例如固态或旋转磁盘硬盘驱动器(核心外或内存外)。用于计算秩揭示因子分解的传统算法(例如列枢轴QR因子分解)或用于计算矩阵的完整奇异值分解的技术,通信非常密集。它们自然地被表示为矩阵向量操作的序列,当数据在主存储器中不可用时,这变得非常昂贵。随机化允许这些方法重新制定,以便可以批量处理基质的大的连续块。本文介绍了两种不同的方法。第一个是列旋转Householder QR的阻塞版本,组织为一种“左看”方法,以最大限度地减少写入操作的数量(这比旋转磁盘驱动器上的读取操作更昂贵)。第二种方法导致所谓的UTV因式分解,其将矩阵$A$表示为$A = U T V^*$,其中$U$和$V$是酉的,并且$T$是三角的。该方法被组织为按块的算法,其中浮点操作重叠读取和写入操作。第二种方法结合了幂迭代,并且非常擅长揭示数值秩;它通常可以用作完全奇异值分解的替代品。数值实验表明,新算法在处理存储在硬盘上的数据时几乎与传统算法在处理存储在主存中的数据时一样快。准确地说,用于完全因式分解$n\times n$矩阵的计算时间按比例缩放为$cn^{3}$,其中缩放常数$c$仅在矩阵存储在核心外时稍微大一点。
2020-03-04 cs.CL cs.DC cs.DS
An Efficient Randomized QLP Algorithm for Approximating the Singular Value Decomposition
在本文中,我们介绍了一个随机QLP分解称为Rand-QLP。Rand-QLP对矩阵$\bf A$进行运算,得到${\bf A}={\bf QLP}^T$,其中$\bf Q$和$\bf P$是正交的,并且$\bf L$是下三角的。在输入矩阵秩为$k$的假设下,我们得到了Rand-QLP的几个误差界:第一个$k$近似奇异值的界和中间因子$\bf L$的尾块的界,这表明该分解是秩揭示的;以及由$\bf Q$和$\bf P$的列构造的低秩近似的误差的界限。Rand-QLP能够有效地利用现代计算架构,由于利用随机采样和无枢轴QR分解,从而解决了与经典算法,如奇异值分解(SVD),列枢轴QR(CPQR)和最新的矩阵分解算法相关的严重瓶颈。为了评估不同算法的性能行为,我们使用了运行在2.6 GHz的Intel Xeon Gold 6240 CPU和NVIDIA GeForce RTX 2080 Ti GPU。与CPQR和SVD相比,Rand-QLP在CPU上分别实现了高达5倍和6.6倍的加速比,在混合GPU架构下分别实现了3.8倍和4.4倍的加速比。在近似质量方面,我们的结果对合成和真实数据表明,由Rand-QLP的近似是可比的枢轴QLP和最佳SVD,在大多数情况下是远远优于CPQR。
2023-01-28 cs.NA eess.SP math.NA
Literature survey on low rank approximation of matrices
矩阵的低秩逼近在文献中已有很好的研究。奇异值分解、列主元QR分解、秩显示QR分解(RRQR)、插值分解等是经典的确定性低秩逼近算法。但是这些技术非常昂贵(对于$n\times n$矩阵需要$(O(n^{3})$操作)。在文献中有几种随机算法,它们不像经典技术那样昂贵(但复杂度不是n的线性)。因此,当矩阵维数很大时,构造矩阵的低秩逼近是非常昂贵的。还有一些替代技术,如Cross/Skeleton approximation,它给出了n中线性复杂度的低秩近似。本文对低秩逼近技术作了简要的回顾,并给出了许多技术的广泛参考。
2016-06-21 cs.NA math.NA
An Efficient, Sparsity-Preserving, Online Algorithm for Low-Rank Approximation
University of California, Berkeley(加州大学伯克利分校)
本文提出了一种高效的SRLU因子分解算法,用于低秩矩阵近似,通过理论分析和实验验证,展示了其在计算效率和近似质量上的竞争力。
2017-08-18 cs.NA math.NA
The shift-and-invert Arnoldi method for singular matrix pencils
KU Leuven(荷语鲁汶大学);Dalian Polytechnic University(大连工业大学)
本文提出利用移位-反向 Arnoldi 方法解决大规模稀疏奇异矩阵 pencil 的问题,通过稀疏 LU 分解得到的消元序列生成稀疏正则化矩阵,并提出修正方法以提高计算精度。
2026-05-18 cs.NA math.NA
A Novel Adaptive Low-Rank Matrix Approximation Method for Image Compression and Reconstruction
提出EOD-ABE方法,通过随机基提取机制自适应识别最优秩,实现低秩矩阵近似,计算复杂度为$O(mnr)$,在图像压缩与重建及高光谱图像降维中展现优越速度与精度。
2025-06-28 cs.NA math.NA
Finding structure with randomness: Probabilistic algorithms for constructing approximate matrix decompositions
University of Colorado at Boulder(科罗拉多大学博尔德分校);California Institute of Technology(加州理工学院)
本文综述并扩展了随机化技术在低秩矩阵近似中的应用,提出模块化框架,通过随机采样识别子空间并压缩矩阵,实现高效、准确、鲁棒的部分矩阵分解。
2010-12-14 cs.NA math.NA math.PR
Making the Nyström method highly accurate for low-rank approximations
Purdue University(普渡大学)
针对非对称或矩形核矩阵,本文提出高精度 Nyström 方法,通过交替行列选主元、自适应采样、Schur 补子集更新和随机精度控制,实现接近 SVD 的低秩近似。
2023-07-11 cs.LG cs.NA math.NA
Column Subset Selection, Matrix Factorization, and Eigenvalue Optimization
本文提出一种随机多项式时间算法,通过特征值最小化构造Grothendieck分解,实现Bourgain-Tzafriri定理中良好条件列子集的提取,并给出矩阵(∞,1)范数的近似算法。
2008-06-26 cs.NA math.FA math.NA