Sketching for Motzkin's Iterative Method for Linear Systems
求解大型超定线性系的投影迭代法以其简单性和计算效率而闻名。还已知的是，草图绘制过程的正确选择（即，减少每次迭代的维数的预处理步骤）可以以多种方式改善迭代法的性能，例如通过对抗系统的内部相关性来加速方法的收敛，或者减少由噪声的存在引起的方差。在目前的工作中，我们表明，草图也可以帮助我们得到更好的理论保证，基于投影的方法。具体来说，我们使用良好的性能高斯素描证明加速收敛速度的素描松弛（也称为Motzkin的）方法。新的估计适用于任意结构的线性系。我们还提供了数值实验支持我们的理论分析的草图松弛法。
2019-11-28 cs.NA math.NA math.PR
Sequential Least-Squares Estimators with Fast Randomized Sketching for Linear Statistical Models
School of Mathematics, Nanjing University of Aeronautics and Astronautics（南京航空航天大学数学学院）
提出一种融合草图-求解与迭代草图方法的序贯最小二乘估计框架，通过逐步增大草图尺寸迭代求解子问题，高效获得高精度参数估计。
2026-05-29 cs.LG cs.NA math.NA
Learning Linear Models Using Distributed Iterative Hessian Sketching
Columbia University（哥伦比亚大学）
本文研究了从观测数据中学习线性系的马尔可夫参数的问题。最近的非渐近系统辨识结果的特点是样本的复杂性，这个问题在单和多推出设置。在这两种情况下，为了获得可接受的估计所需样本个数可以产生最优化问题，对于二阶算法具有难以处理的大量决策变量。我们证明了一个基于Hessian-sketching的随机分布式牛顿算法可以产生$ε$ -最优解并几何收敛。此外，该算法是平凡并行。我们的结果适用于各种素描矩阵，我们用数值例子说明了理论。
2021-12-08 cs.LG cs.NA cs.SY
Fast and Accurate Interpolative Decompositions for General, Sparse, and Structured Tensors
本研究针对两类张量插值分解，提出带与张量规模无关误差界的自适应方法，结合随机草图实现高效精确计算，还为稀疏及CP格式张量设计专用算法，经理论与实验验证有效。
2025-03-24 cs.NA math.NA
On randomized sketching algorithms and the Tracy-Widom law
有越来越多的工作探索随机投影到数值线性代数的算法集成。主要动机是减少处理大型数据集的总体计算成本。可以使用适当选择的随机投影来将原始数据集嵌入低维空间中，使得原始数据集的关键属性被保留。这些算法通常被称为草图算法，因为投影数据集可以用作完整数据集的压缩表示。我们表明，随机矩阵理论，特别是Tracy-Widom法，是有用的描述操作特性的素描算法在高大的数据制度时，$n \gg d$。渐近大样本的结果是特别感兴趣的，因为这是制度，草图是最有用的数据压缩。特别是，我们开发的渐近近似的成功率在生成随机子空间嵌入和迭代素描算法的收敛概率。我们测试了一些草图算法在真正的大型高维数据集，并发现渐近表达式给出了准确的预测的经验性能。
2022-01-03 cs.NA math.NA stat.CO
A Projector-Based Approach to Quantifying Total and Excess Uncertainties for Sketched Linear Regression
线性回归是数据分析的经典方法。近年来，素描--一种使用随机抽样、随机投影或两者的降维方法--作为一种有效的计算近似方法，在观测数量大大超过变量数量时得到了普及。在本文中，我们解决了以下问题：素描如何影响的解决方案和关键量的统计特性？为了回答这个问题，我们提出了一个基于投影仪的方法来勾画线性回归，这是准确的，需要最少的假设上的草图矩阵。因此，下游分析对所有草图方案都准确且普遍适用。此外，基于投影仪的方法能够从经典的线性回归中推导出关键量，这些回归解释了模型和算法引起的不确定性。我们展示了一个基于投影仪的方法在量化和实现对草图线性回归的过度不确定性和偏差方差分解的洞察力的有用性。最后，我们展示了如何从我们的基于投影仪的分析的见解可以用来产生实际的草图诊断，以帮助明智的草图方案的设计。
2020-08-03 cs.LG cs.NA math.NA
ALS: Augmented Lagrangian Sketching Methods for Linear Systems
我们开发了两种基本的随机草图技术：惩罚草图（PS）和增广拉格朗日草图（ALS）解决一致的线性系。所提出的PS和ALS技术通过引入拉格朗日惩罚草图来扩展和推广草图与项目（SP）方法的范围。在这样做，我们恢复SP方法作为特殊情况下，并进一步开发了一个家庭的新的随机迭代法。通过改变所提出的PS方法中的草图参数，我们恢复新的随机方法，如惩罚牛顿下降，惩罚Kaczmarz，惩罚随机下降，惩罚坐标下降，惩罚高斯追求，和惩罚块Kaczmarz。此外，所提出的ALS方法综合了各种各样的新的随机方法，如增强牛顿下降，增强Kaczmarz，增强随机下降，增强坐标下降，增强高斯追踪和增强块Kaczmarz到一个框架。此外，我们表明，开发的PS和ALS框架可以用来重新制定原来的线性系等价的随机最优化问题，即惩罚随机重新制定和增广随机重新制定。我们证明了PS和ALS方法的整体收敛速度以及次线性$\mathcal{O}(\frac{1}{k})$速率的Cesaro平均迭代。所提出的收敛结果适用于广泛的随机矩阵的分布，这提供了微调适合于特定应用的方法的随机性的机会。最后，我们进行计算实验，证明我们的方法相比，现有的SP方法的效率。
2022-08-12 cs.LG cs.NA math.NA
Preconditioning Kaczmarz method by sketching
Skolkovo Institute of Science and Technology（斯科尔科沃科学与技术学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文提出了一种通过采样预条件化Kaczmarz方法的新方法，利用QR分解构建最优预条件器，但其复杂度过高，因此采用随机采样降低复杂度，并在随机和实际过定线性系统中进行了数值实验。
2019-03-05 cs.NA math.NA
Model-based Sketching and Recovery with Expanders
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文提出基于展开器的迭代硬阈值算法，用于从稀疏邻接矩阵获得的线性 sketch 中恢复具有模型稀疏性的信号，证明了利用模型稀疏性可减少 sketch 大小而不牺牲恢复质量。
2014-02-06 cs.NA math.NA
Linear-Scaling Tensor Train Sketching
Virginia Tech（弗吉尼亚理工大学）；Sorbonne Université（索邦大学）
本文提出TTStack草图，一种针对张量列车格式的结构化随机投影，统一了现有TT适应草图运算符。通过调整参数P和R，TTStack在Khatri-Rao草图和高斯TT草图之间插值。证明TTStack满足无偏子空间嵌入属性，并在数值实验中验证了理论结果。
2026-06-29 cs.DS cs.NA math.NA
Distributed Hybrid Sketching for $\ell_2$-Embeddings
本文研究分布式 $\ell_2$-子空间嵌入中的通信与隐私问题，提出在本地草图聚合后再施加第二次草图的混合草图方法，可在嵌入维度和乘法时间上获得更好权衡，并通过数值实验验证。
2025-09-22 cs.DC cs.IT cs.NA
Random sketching of operators with application to learning preconditioners
International Computer Science Institute, University of California, Berkeley（国际计算机科学研究所，加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Centrale Nantes, Nantes Université, Laboratoire de Mathématiques Jean Leray UMR CNRS 6629（南特中央理工学院，南特大学，让·勒雷数学实验室 CNRS 联合研究单位 6629）
本文提出了一种新的随机嵌入方法，用于高维Hilbert-Schmidt算子的近似，通过求解小的最小二乘问题在低维子空间中实现。该方法通过引入结构化的随机映射，提供高概率准确嵌入的条件，并应用于高维线性方程的预处理器构造。
2026-04-14 cs.NA math.NA
Randomized Iterative Solver as Iterative Refinement: A Simple Fix Towards Backward Stability
本文将随机迭代求解器视为迭代细化，提出结合迭代与递归细化的新算法SIRR，仅通过重组计算顺序即实现后向误差四个数量级改进，是首个兼具前向和后向稳定性的渐近快速单阶段随机最小二乘求解器。
2024-10-16 cs.NA math.NA stat.CO
Recursive Importance Sketching for Rank Constrained Least Squares: Algorithms and High-order Convergence
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Xiamen University（厦门大学）；Fudan University（复旦大学）；Duke University（杜克大学）
本文提出了{ \it \underline{R}递归} { \it \underline{I}重要性}{\it \underline{S} ketching}算法求解{ \it \underline{R} ank}约束最小二乘{ \it \underline{O}优化}（RISRO）. RISRO的关键步骤是递归重要性草图，一个新的草图框架的基础上确定性设计的递归投影，这显着不同于随机草图在文献\citep{mahoney2011randomized,woodruff2014sketching}。在这个新的草图框架下，可以重新解释文献中现有的几种算法，RISRO提供了明显的优势。RISRO易于实现，计算效率高，每次迭代的核心过程是解决降维最小二乘问题。在较弱的条件下，我们建立了RISRO的局部二次线性收敛速度和二次收敛速率。我们还发现了一个深刻的连接RISRO的黎曼高斯-牛顿算法固定秩矩阵。RISRO的有效性在机器学习和统计学中的两个应用中得到了证明：低秩矩阵迹回归和相位检索。仿真研究表明，优越的数值性能的RISRO。
2022-12-05 cs.LG cs.NA math.NA
An Implicit Representation and Iterative Solution of Randomly Sketched Linear Systems
随机线性系求解器已经变得流行，因为它们具有降低浮点复杂度的潜力，同时仍然实现期望的收敛速度。一类特别有前途的方法，随机草绘求解器，已经实现了理论上最著名的计算复杂性界限，但由于两个实际考虑因素而变得迟钝：没有明确的方法来选择草绘矩阵的大小先验;以及草绘系统的存储成本不小。在这项工作中，我们取得了进展，通过隐式生成的草图系统，并通过迭代过程同时解决这些问题。因此，我们取代了问题的大小的草图矩阵确定适当的停止标准，我们也避免了显式表示的草图线性系的成本，我们的隐式表示也解决了系统在同一时间，这控制了每次迭代的计算成本。此外，我们的方法允许我们生成随机草图方法和随机迭代求解器之间的连接（例如，随机化Kaczmarz方法，随机化Gauss-Seidel）。因此，我们利用这种联系来（1）为任意采样方案下的这种随机迭代求解器产生更强，更精确的收敛理论（i.i.d.，自适应、置换、依赖等），以及（2）以用户确定的每次迭代计算和存储成本的增加为代价来提高随机化迭代求解器的收敛速率。我们证明了这些概念的数值例子上的49个不同的线性系。
2020-12-22 cs.NA math.NA
Sketching with Kerdock's crayons: Fast sparsifying transforms for arbitrary linear maps
给定一个任意矩阵$A\in\mathbb{R}^{n\times n}$，我们考虑计算$Ax$的任何$x\in\mathbb{R}^n$，使$Ax$是$s$ -稀疏的基本问题。虽然存在用于$A$的特定选择的快速算法，例如离散傅立叶变换，但是目前没有处理非结构化情况的$o(n^2)$算法。在本文中，我们设计了一个随机的方法来解决非结构化的情况下。我们的方法依赖于表示$A$在某些实值相互无偏基地来自Kerdock集。在我们算法的预处理阶段，我们在$O(n^3\log n)$操作中计算$A$的这种表示。接下来，给定任何单位向量$x\in\mathbb{R}^n$，使得$Ax$是$s$ -稀疏的，我们的随机化快速变换使用$A$的这种表示来计算仅在$O(sn + ε^{-2}\|A\|_{2\to\infty}^2n\log n)$操作中具有高概率的$Ax$的逐条目$ε$ -硬阈值。除了性能保证，我们提供的数值结果表明，我们的算法在现实世界中实现的可扩展性。
2021-05-12 cs.CC cs.NA math.NA
Fast and forward stable randomized algorithms for linear least-squares problems
针对超定线性最小二乘问题，本文证明合理实现的迭代草图随机算法兼具前向稳定性与高效性，通过数值实验验证其在大规模问题上比基于QR的求解器更快且稳定，解决了此前草图预处理算法存在数值不稳定性的相关疑问。
2024-04-11 cs.NA math.NA
Randomized linear algebra for model reduction. Part II: minimal residual methods and dictionary-based approximation
[Balabanov and Nouy 2019，Part I]中介绍了在高维参数相关方程组的模型降阶背景下使用随机草图的方法。在这个框架下，我们在这里构建一个降阶模型从一个小的，有效的可计算的随机对象称为草图的降阶模型，使用最小残差方法。我们介绍了一个草图版本的最小残差投影以及一种新的非线性逼近方法，其中对于每个参数值，该解决方案是近似的最小残差投影到一个子空间上的几个向量挑选（在线）从候选基向量的字典。结果表明，随机绘制技术不仅可以提高计算效率，而且可以提高数值稳定性。严格分析了获得给定精度所需的随机草图上的条件。通过考虑草绘矩阵的足够大尺寸的不经意嵌入，可以以高概率先验地确保这些条件。此外，提供了一个简单可靠的程序，用于后验验证的质量的草图。该方法可用于近似性的证明以及随机草图矩阵大小的自适应选择。
2020-07-22 cs.NA math.NA
Sketching Low-Rank Plus Diagonal Matrices
Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学）
针对高维线性算子近似问题，提出可同时估计低秩与对角分量的SKETCHLORD方法，将其建模为凸优化问题，理论和实验均证明其优于顺序估计方法，可用于大规模算子的高保真近似。
2025-10-02 cs.LG cs.NA math.NA
Sketching for Principal Component Regression
Tel Aviv University（特拉维夫大学）
主成分回归（PCR）是正则化线性回归的一种有效方法。虽然概念上简单，但PCR的直接实现具有较高的计算成本，因此在使用大规模数据进行学习时是不合适的。在本文中，我们提出了用于计算近似PCR解的有效算法，这些算法一方面是真实PCR解的高质量近似（当被视为约束最优化问题的最小化者时），另一方面考虑严格的风险边界（当被视为统计估计量时）。特别地，我们提出了一个输入稀疏时间近似PCR算法。我们还考虑在流模型中计算近似PCR和内核PCR。实验结果表明，我们所提出的方法的优异性能。
2019-03-07 cs.DS cs.LG cs.NA
Random-sketching Techniques to Enhance the Numerical Stability of Block Orthogonalization Algorithms for s-step GMRES
本文将随机草图技术引入 s-step GMRES 的块正交化流程，并基于 Trilinos 在 Perlmutter 上验证其可在几乎不增加运行时间的情况下提升数值稳定性。
2025-09-30 cs.DC cs.NA math.NA
Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching
University of Chicago（芝加哥大学）；University of California, Berkeley（加州大学伯克利分校）；International Computer Science Institute（国际计算机科学研究所）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本文针对等式约束非线性非凸优化问题，提出一种结合随机迭代草图求解器与精确增广拉格朗日线搜索的自适应非精确牛顿法，实现全局几乎必然收敛及局部超线性收敛，并在多个基准问题上验证了其优越性能。
2023-05-28 cs.LG cs.NA math.NA
Practical sketching algorithms for low-rank matrix approximation
California Institute of Technology（加州理工学院）；École Polytechnique Fédéral de Lausanne（洛桑联邦理工学院）；Cornell University（康奈尔大学）
本文提出了一系列构造输入矩阵低秩近似的算法，通过随机线性图像生成 sketch，保留矩阵结构特性，提供指定秩的近似，并保证数值稳定性与正确性。
2018-01-02 cs.DS cs.NA math.NA
PLSS: A Projected Linear Systems Solver
针对相容线性系统，本文提出每次迭代扩展草图矩阵并产生正交更新的 PLSS 迭代投影方法，可有限步收敛并推广 Kaczmarz，在大型稀疏问题上优于或匹敌现有求解器。
2022-12-02 cs.MS cs.NA math.NA
Hashing embeddings of optimal dimension, with applications to linear least squares
本文的目的是双重的：首先，提出子空间嵌入属性的$s$散列草图矩阵，$s\geq 1$，这是最佳的投影尺寸$m$的草图，即，$m=\mathcal{O}(d)$，其中$d$是子空间的维数。当输入矩阵具有足够低的相干性时，提出了一组不同的结果，（因此，在Bourgain等人（2015）的低相干性结果中，以较小的相干性要求为代价，消除了$m$中的$\log^2 d$因子依赖性）;此一致性如何随列非零值的数量$s$而变化（允许相干边界的$\sqrt{s}$的缩放），或者通过适当的变换来减少（当考虑散列的-而不是二次采样的-相干减少变换时，诸如随机化Hadamard）。其次，我们将这些一般散列草图结果的特殊情况下，线性最小二乘法（LLS），并开发滑雪LLS，这些问题的通用软件包，建立在并提高了密集输入的Blendenpik求解器和稀疏问题的（顺序）LSRN性能。除了散列草图改进之外，我们还为秩不足和稀疏问题添加了合适的线性代数工具，这使得Ski-LLS不仅在随机生成的输入上优于基于草图的例程，而且在稀疏佛罗里达矩阵集合的某些子集上优于最先进的直接求解器SPQR和迭代代码HSL;也就是说，在最小二乘问题是显着超定，或适度稀疏，或困难。
2021-05-25 cs.NA math.NA math.OC
On block Gaussian sketching for the Kaczmarz method
Kaczmarz算法由于其简单性和计算效率而成为求解大规模超定线性方程组最常用的方法之一。此方法可视为更一般的草图和项目方法类的特殊实例。最近，提出了一个块高斯版本，该版本使用块高斯草图，享受高斯草图的正则化属性，并结合块变体的加速。理论分析只提供了非块版本的高斯草图方法。在这里，我们提供了理论保证的块高斯Kaczmarz方法，证明了一些收敛结果显示收敛到解决方案的指数快速的期望。另一方面，有了这个理论和广泛的实验支持，我们观察到，每次迭代的数值复杂性通常使这种方法不如其他迭代投影方法。我们只强调一种可能有利的设置，即当正则化效应用于减少某些噪声模型下迭代的方差和某些特定矩阵构造的收敛性时。
2020-01-21 cs.NA math.NA math.PR
Stochastic Multiresolution Image Sketching for Inverse Imaging Problems
针对高维逆成像问题计算成本高的难题，提出基于图像域多分辨率速写的随机优化算法ImaSk，证明其线性收敛性，CT实验验证了有效性且可通过增加算子数量提速。
2024-12-13 cs.NA math.NA math.OC
Iterative Sketching for Secure Coded Regression
University of Michigan（密歇根大学）；Northeastern University（东北大学）；Stanford University（斯坦福大学）
本文提出一种分布式迭代随机方法，通过随机旋转基和块子采样同时实现信息安全与降维，从而加速异步系统中的分布式线性回归。
2024-03-31 cs.CR cs.DC cs.IT
What is a Sketch-and-Precondition Derivation for Low-Rank Approximation? Inverse Power Error or Inverse Power Estimation?
University of Chicago（芝加哥大学）；Northwestern University（西北大学）
针对低秩逼近中草图-预处理框架缺失的问题，提出误差幂草图逆迭代（EPSI）方法，通过草图牛顿迭代实现收敛速度随草图大小线性提升的理论保证。
2025-05-22 cs.CC cs.LG cs.NA
Sketch and Project: Randomized Iterative Methods for Linear Systems and Inverting Matrices
The University of Edinburgh（爱丁堡大学）
本文提出了一种新的随机迭代方法，通过草图与投影框架求解线性系统和矩阵求逆，方法在理论分析和实际应用中均表现出更高的效率和扩展性。
2016-12-19 cs.NA math.NA
On the Robustness of Sparse Randomized Sketching to FP16 Rounding on GPUs
Technical University of Munich（慕尼黑工业大学）；International Computer Science Institute（国际计算机科学研究所）；University of Tennessee, Knoxville（田纳西大学）
研究随机草图在GPU低精度下的性能与精度，提出SparseStack改进CountSketch，发现FP16舍入方式对嵌入质量影响小，分布比量化更关键。
2026-06-19 cs.NA cs.PF math.NA
Accelerating an ensemble of variational data assimilations with randomized preconditioning
CERFACS（欧洲研究与培训航空中心）；CECI, Université de Toulouse, CERFACS/CNRS/IRD（图卢兹大学）；Météo-France, CNRS, Univ. Toulouse, CNRM（法国气象局）
针对变分数据同化集合（EDA）求解线性方程组效率低的问题，提出利用随机低秩矩阵近似构造有限内存预处理器，通过利用右端项差异构造草图矩阵，有效加速所有集合成员的求解过程。
2026-10-16 cs.NA math.NA
Faster SGD Using Sketched Conditioning
The Hebrew University（希伯来大学）
本文提出通过Sketching方法加速随机优化算法，通过构造低成本的conditioner提升SGD效率，并在深度学习中验证其有效性。
2015-06-08 cs.LG cs.NA math.NA
Gradient Coding with Iterative Block Leverage Score Sampling
University of Michigan（密歇根大学）；Stanford University（斯坦福大学）
本文提出一种迭代块杠杆分数采样方法，将随机数值线性代数与近似编码计算统一，用于分布式线性回归，以应对掉队节点故障，并通过均匀采样和加权实现高效近似求解。
2024-06-25 cs.DC cs.IR cs.IT
Sketch-and-project methods for tensor linear systems
对于张量线性系关于流行的t-积，我们首先提出了草图和投影方法及其自适应变种。它们的傅立叶域版本也进行了研究。然后，针对现有的草图张量或采样方式存在的局限性，提出了两种改进策略。对上述方法进行了收敛性分析。我们比较我们的方法与现有的合成和真实数据。数值结果表明，它们在迭代次数和运行时间方面具有相当不错的性能。
2022-03-29 cs.NA math.NA
Fast & Accurate Randomized Algorithms for Linear Systems and Eigenvalue Problems
本文发展了一类新的求解一般线性系和本征值问题的算法。这些算法应用快速随机草图来加速子空间投影方法，如GMRES和Rayleigh-Ritz。这种方法在设计近似子空间的基础方面提供了很大的灵活性，这可以提高许多计算环境中的可扩展性。由此产生的算法优于经典的方法，以最小的精度损失。对于模型问题，数值实验表明，MATLAB的优化例程，包括一个$100 \times$加速gmres和一个$10 \times$加速eigs有很大的优势。
2022-02-16 cs.NA math.NA
Sharp Analysis of Sketch-and-Project Methods via a Connection to Randomized Singular Value Decomposition
本文通过建立与随机奇异值分解的联系，为 Sketch-and-Project 方法提出了新的理论框架，首次证明收敛速度随 sketch 大小至少线性提升并支持稀疏 sketching 矩阵，解释了极端稀疏化不影响每次迭代收敛速度的现象。
2023-09-18 cs.NA math.NA math.OC
