Recovery of Sparse Matrices via Matrix Sketching
Syracuse University(雪城大学);Technion-Israel Institute of Technology(以色列理工学院)
本文研究通过矩阵草图Y=AXB^T恢复未知稀疏矩阵X的问题,采用矩阵形式而非克罗内克积结构改进FISTA和OMP算法,提升计算效率。
2013-11-11 cs.IT cs.NA math.IT
Fast and forward stable randomized algorithms for linear least-squares problems
针对超定线性最小二乘问题,本文证明合理实现的迭代草图随机算法兼具前向稳定性与高效性,通过数值实验验证其在大规模问题上比基于QR的求解器更快且稳定,解决了此前草图预处理算法存在数值不稳定性的相关疑问。
2024-04-11 cs.NA math.NA
Fast and Accurate Interpolative Decompositions for General, Sparse, and Structured Tensors
本研究针对两类张量插值分解,提出带与张量规模无关误差界的自适应方法,结合随机草图实现高效精确计算,还为稀疏及CP格式张量设计专用算法,经理论与实验验证有效。
2025-03-24 cs.NA math.NA
Tensor-structured sketching for constrained least squares
约束最小二乘问题出现在许多应用中。在涉及高维输入数据的实践中,它们的存储器和计算成本是昂贵的。我们采用所谓的“草图”策略,通过一个随机的草图矩阵投影到一个更低的“草图维”的最小二乘问题的空间。草绘的核心思想是在保持近似精度的前提下尽可能地降低问题的维数。张量结构经常出现在最小二乘的数据矩阵中,包括线性化反问题和张量分解。在这项工作中,我们利用一般类的行张量次高斯矩阵作为草图矩阵的草图设计的兼容性与张量结构的约束优化。从误差准则和概率故障率两个方面为草图尺寸的确定提供了理论保证。在无约束线性回归的背景下,我们得到了草图尺寸的最优估计。对于一般约束集的最优化问题,我们表明,草图尺寸取决于统计复杂性,其特征的几何基础问题。我们的理论在几个具体的例子中得到了证明,包括无约束线性回归和稀疏恢复问题。
2021-09-03 cs.NA math.NA math.OC
Sketching with Kerdock's crayons: Fast sparsifying transforms for arbitrary linear maps
给定一个任意矩阵$A\in\mathbb{R}^{n\times n}$,我们考虑计算$Ax$的任何$x\in\mathbb{R}^n$,使$Ax$是$s$ -稀疏的基本问题。虽然存在用于$A$的特定选择的快速算法,例如离散傅立叶变换,但是目前没有处理非结构化情况的$o(n^2)$算法。在本文中,我们设计了一个随机的方法来解决非结构化的情况下。我们的方法依赖于表示$A$在某些实值相互无偏基地来自Kerdock集。在我们算法的预处理阶段,我们在$O(n^3\log n)$操作中计算$A$的这种表示。接下来,给定任何单位向量$x\in\mathbb{R}^n$,使得$Ax$是$s$ -稀疏的,我们的随机化快速变换使用$A$的这种表示来计算仅在$O(sn + ε^{-2}\|A\|_{2\to\infty}^2n\log n)$操作中具有高概率的$Ax$的逐条目$ε$ -硬阈值。除了性能保证,我们提供的数值结果表明,我们的算法在现实世界中实现的可扩展性。
2021-05-12 cs.CC cs.NA math.NA
Sketching for low-rank nonnegative matrix approximation: Numerical study
本文提出基于随机草图的近似交替投影方法求解低秩非负矩阵近似问题,分析复杂度并经数值实验证明其比确定性方法更快且收敛性质相近。
2023-04-24 cs.NA math.NA math.OC
Hashing embeddings of optimal dimension, with applications to linear least squares
本文的目的是双重的:首先,提出子空间嵌入属性的$s$散列草图矩阵,$s\geq 1$,这是最佳的投影尺寸$m$的草图,即,$m=\mathcal{O}(d)$,其中$d$是子空间的维数。当输入矩阵具有足够低的相干性时,提出了一组不同的结果,(因此,在Bourgain等人(2015)的低相干性结果中,以较小的相干性要求为代价,消除了$m$中的$\log^2 d$因子依赖性);此一致性如何随列非零值的数量$s$而变化(允许相干边界的$\sqrt{s}$的缩放),或者通过适当的变换来减少(当考虑散列的-而不是二次采样的-相干减少变换时,诸如随机化Hadamard)。其次,我们将这些一般散列草图结果的特殊情况下,线性最小二乘法(LLS),并开发滑雪LLS,这些问题的通用软件包,建立在并提高了密集输入的Blendenpik求解器和稀疏问题的(顺序)LSRN性能。除了散列草图改进之外,我们还为秩不足和稀疏问题添加了合适的线性代数工具,这使得Ski-LLS不仅在随机生成的输入上优于基于草图的例程,而且在稀疏佛罗里达矩阵集合的某些子集上优于最先进的直接求解器SPQR和迭代代码HSL;也就是说,在最小二乘问题是显着超定,或适度稀疏,或困难。
2021-05-25 cs.NA math.NA math.OC
ISLET: Fast and Optimal Low-rank Tensor Regression via Importance Sketching
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Columbia University(哥伦比亚大学)
在本文中,我们开发了一种新的程序,即\emph{\underline{I}mportance \underline{S}ketching \underline{L}ow-rank \underline{E}stimation for \underline{T}ensors}(ISLET)的低秩张量回归。ISLET背后的中心思想是\emph{importance sketching},即,基于感兴趣的参数的响应和低维结构精心设计的草图。我们表明,所提出的方法是急剧minimax最优的均方误差低秩Tucker假设下,随机高斯系综设计。此外,如果一个张量是低秩的组稀疏,我们的程序也实现了极大极小最优性。此外,我们通过数值研究表明,ISLET实现可比或更好的均方误差性能,现有的最先进的方法,同时具有大量的存储和运行时的优势,包括并行和分布式计算的能力。特别是,我们的程序进行可靠的估计与张量的尺寸$p = O(10^8)$和$1$或$2$数量级快于基线方法。
2020-05-08 cs.LG cs.NA math.NA
Analysis of randomized CholeskyQR for sparse matrices
The Hong Kong Polytechnic University(香港理工大学);Huawei Leibniz Research Center(华为莱布尼茨研究中心)
本文针对稀疏矩阵建立新模型,对随机化CholeskyQR型算法进行舍入误差分析,并通过理论与实验比较不同稀疏性模型下的误差界,验证算法的适用性、精度、效率与鲁棒性。
2025-11-07 cs.NA math.NA
Fast & Accurate Randomized Algorithms for Linear Systems and Eigenvalue Problems
本文发展了一类新的求解一般线性系和本征值问题的算法。这些算法应用快速随机草图来加速子空间投影方法,如GMRES和Rayleigh-Ritz。这种方法在设计近似子空间的基础方面提供了很大的灵活性,这可以提高许多计算环境中的可扩展性。由此产生的算法优于经典的方法,以最小的精度损失。对于模型问题,数值实验表明,MATLAB的优化例程,包括一个$100 \times$加速gmres和一个$10 \times$加速eigs有很大的优势。
2022-02-16 cs.NA math.NA
Cost-efficient Gaussian Tensor Network Embeddings for Tensor-structured Inputs
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文讨论了具有张量网络结构的随机矩阵($S$)的张量网络嵌入。这些嵌入已被用于执行张量网络结构化输入$x$的降维,并加速诸如张量分解和核回归之类的应用。现有的工作已经为具有特定结构的输入$x$设计了嵌入,使得计算$Sx$的计算成本是有效的。我们提供了一种系统的方法来设计由高斯随机张量组成的张量网络嵌入,使得对于具有更一般的张量网络结构的输入,草图大小($S$的行大小)和草图计算成本都很低。我们分析了一般的张量网络嵌入,可以减少到一个序列的草图矩阵。我们提供了一个充分条件来量化这种嵌入的准确性,并推导出草图渐近成本下界使用嵌入,满足这个条件,并具有低于任何输入尺寸的草图大小。然后,我们提供了一个算法,有效地使用这样的嵌入草图输入数据。该算法中使用的嵌入的草图大小与输入的草图尺寸的数量呈线性关系。假设张量收缩与经典的稠密矩阵乘法算法进行,该算法实现的渐近成本的一个因素$O(\sqrt{m})$的成本下界,其中$m$是草图的大小。此外,当输入中的每个张量具有需要绘制的尺寸时,该算法产生最优的绘制渐近成本。我们将我们的草图分析不精确张量分解优化算法。我们提供了一个草图算法的CP分解,是渐近快于现有的工作在多个政权,并显示最优的张量训练舍入的现有算法。
2022-05-26 cs.DS cs.LG cs.NA
Sketchy Moment Matching: Toward Fast and Provable Data Selection for Finetuning
New York University(纽约大学)
本文提出Sketchy Moment Matching(SkMM)数据选择方法,通过梯度草图控制低秩近似偏差、矩匹配降低方差,在微调中实现快速且可证明的数据选择,并保持与参数维度无关的快速泛化率。
2024-11-17 cs.LG cs.NA math.NA
A fast block nonlinear Bregman-Kaczmarz method with averaging for nonlinear sparse signal recovery
针对非线性稀疏信号恢复问题,提出带平均的快速块非线性Bregman-Kaczmarz方法,理论证明恒定与自适应步长下均收敛,实验显示其收敛速度优于现有同类方法。
2025-02-21 cs.NA math.NA
Sketch and Project: Randomized Iterative Methods for Linear Systems and Inverting Matrices
The University of Edinburgh(爱丁堡大学)
本文提出了一种新的随机迭代方法,通过草图与投影框架求解线性系统和矩阵求逆,方法在理论分析和实际应用中均表现出更高的效率和扩展性。
2016-12-19 cs.NA math.NA
A Fast Randomized Algorithm for Computing an Approximate Null Space
本文提出一种快速随机化算法,利用草图化和乘法扰动理论计算高瘦矩阵的近似零空间,将复杂度从 O(mn²) 降至 O(mn log n + n³),并在 AAA 算法和总体最小二乘问题中分别实现 30 倍和 10 倍加速。
2023-05-23 cs.NA math.NA
Faster Linear Systems and Matrix Norm Approximation via Multi-level Sketched Preconditioning
University of Michigan(密歇根大学);New York University(纽约大学)
本文提出基于多级稀疏随机草图与低秩 Nyström 逼近的新型预处理迭代方法,显著加快了良态加离群奇异值线性系统、正则化线性系统及 Schatten 范数逼近等问题的求解速度。
2025-04-11 cs.DS cs.LG cs.NA
PLSS: A Projected Linear Systems Solver
针对相容线性系统,本文提出每次迭代扩展草图矩阵并产生正交更新的 PLSS 迭代投影方法,可有限步收敛并推广 Kaczmarz,在大型稀疏问题上优于或匹敌现有求解器。
2022-12-02 cs.MS cs.NA math.NA
Fast Parallel Randomized Algorithm for Nonnegative Matrix Factorization with KL Divergence for Large Sparse Datasets
本文提出一种快速并行随机坐标下降算法,用于大规模稀疏数据集的非负矩阵分解与KL散度优化,实现更高效的稀疏建模与表示。
2016-04-14 cs.LG cs.NA math.NA