Adaptive Sketch-and-Project Methods for Solving Linear Systems
我们提出了新的自适应采样规则的草图和项目的方法来解决线性系。为了推导出我们的新的采样规则，我们首先展示了草图和项目方法的一个步骤的进展如何直接取决于草图残差。基于这种见解，我们推导出1）最大距离采样规则，通过对具有最大草图残差的草图进行采样2）比例采样规则，通过与草图残差成比例地进行采样，以及最后3）封顶采样规则。上限采样规则是最近引入的自适应采样规则的Kaczmarz方法的推广。我们提供了一个整体的线性收敛定理的每一个采样规则，并表明，最大距离规则享有最快的收敛。这一发现也验证了大量的数值实验，使我们得出结论，最大距离采样规则是优于实验和理论上的上限采样规则。我们还提供了实现自适应策略的数值见解，使每次迭代的成本是相同的顺序时，使用一个固定的采样策略，草图的数量乘以草图的大小是不是显着大于列的数量。
2019-09-09 cs.NA math.NA
Adaptive Randomized Tensor Train Rounding using Khatri-Rao Products
本文提出基于 Khatri-Rao 乘积草图的随机张量列（TT）舍入算法，支持在用户指定容差内自适应压缩，误差估计具理论保证，数值实验显示较确定性方法加速达50倍且开销低。
2025-11-05 cs.NA math.NA
Linear-Scaling Tensor Train Sketching
Virginia Tech（弗吉尼亚理工大学）；Sorbonne Université（索邦大学）
本文提出TTStack草图，一种针对张量列车格式的结构化随机投影，统一了现有TT适应草图运算符。通过调整参数P和R，TTStack在Khatri-Rao草图和高斯TT草图之间插值。证明TTStack满足无偏子空间嵌入属性，并在数值实验中验证了理论结果。
2026-06-29 cs.DS cs.NA math.NA
Sketch and Project: Randomized Iterative Methods for Linear Systems and Inverting Matrices
The University of Edinburgh（爱丁堡大学）
本文提出了一种新的随机迭代方法，通过草图与投影框架求解线性系统和矩阵求逆，方法在理论分析和实际应用中均表现出更高的效率和扩展性。
2016-12-19 cs.NA math.NA
Streaming Tensor Train Approximation
张量序列是压缩和处理高维数据和函数的通用工具。在这项工作中，我们介绍了流张量训练近似（STTA），一类新的算法近似给定的张量$\mathcal T$的张量训练格式。STTA仅通过原始数据的双侧随机草图访问$\mathcal T$，使其可流式传输且易于并行实现-与现有的确定性和随机张量训练近似不同。该属性还允许STTA方便地利用$\mathcal T$中的结构，例如稀疏性和各种低秩张量格式，以及其线性组合。当使用高斯随机矩阵进行草图时，STTA可以用于建立和扩展矩阵广义Nyström逼近现有结果的分析。我们的研究结果表明，STTA可以预期达到一个接近最优逼近的误差，如果草图的大小是适当的选择。一系列的数值实验说明了STTA的性能相比，现有的确定性和随机化的方法。
2022-08-04 cs.NA math.NA
Recursive Sketched Interpolation: Efficient Hadamard Products of Tensor Trains
North Carolina State University（北卡罗来纳州立大学）；University of Chicago（芝加哥大学）；Flatiron Institute（平顿研究所）
递归插值法通过高效算法实现张量列车的哈达玛积，提升计算效率并保持精度。
2026-10-07 cs.NA math.NA quant-ph
Randomized Extended Kaczmarz is a Limit Point of Sketch-and-Project
用于求解线性方程组的草图和投影（SAP）框架已经统一了流行的投影迭代法（诸如随机Kaczmarz、随机坐标下降及其变体）背后的理论。随机化扩展Kaczmarz（REK）方法是随机化Kaczmarz方法的一个流行的扩展，用于解决不一致系统，尚未被证明是在SAP框架内。在这项工作中，我们表明，在某种意义上说，REK可以表示为一个家庭的SAP方法的极限点，但我们认为，它是不太可能的，REK可以被翻译成一个SAP方法本身。我们提供了一个广泛的理论分析家庭的方法，包括所述限制，包括收敛保证和进一步连接到REK。我们遵循这一点，一系列的实验证明这些方法和它们在实践中的联系。
2022-04-11 cs.NA math.NA
A sketch-and-project method for solving the matrix equation AXB = C
提出一种基于优化问题的草图与投影方法求解矩阵方程 AXB=C，给出收敛速率下界与含秩亏缺情形的收敛条件，并通过参数选择恢复多种已知算法及 GaussGRK，数值实验验证其有效性。
2023-06-06 cs.NA math.NA
Sketch & Project Methods for Linear Feasibility Problems: Greedy Sampling & Momentum
我们开发了两个贪婪的抽样规则的草图和项目的方法来解决线性可行性问题。贪婪采样规则推广了现有的最大距离采样规则和均匀采样规则，并产生更快的Sketch & Project方法的变体。我们还引入贪婪的上限采样规则，改进现有的上限采样规则。此外，我们将所谓的重球动量技术，建议贪婪草图和项目方法。通过改变参数，如采样规则，草图矢量，我们恢复几个著名的算法作为特例，包括随机Kaczmarz（RK），Motzkin松弛（MR），采样Kaczmarz Motzkin（SKM）。我们还得到了一些新的方法，如随机坐标下降法，抽样坐标下降法，封顶坐标下降法等，以解决线性可行性问题。我们提供了全局线性收敛结果的基本贪婪方法和贪婪方法与动量。在较弱的条件下，我们证明了$\mathcal{O}(\frac{1}{k})$对这两种方法产生的序列的Cesaro平均的收敛速度。我们延长了所谓的证书的可行性结果的建议的动量方法，概括了现有的几个结果。为了支持所提出的理论结果，我们进行了全面的数值实验，随机生成的测试实例以及稀疏的现实世界的测试实例。所提出的贪婪抽样方法显著优于现有的抽样方法。最后，在这项工作中设计的动量变量扩展了所有采样规则的Sketch & Project方法的计算性能。
2020-12-05 cs.NA math.NA math.OC
Sharp Analysis of Sketch-and-Project Methods via a Connection to Randomized Singular Value Decomposition
本文通过建立与随机奇异值分解的联系，为 Sketch-and-Project 方法提出了新的理论框架，首次证明收敛速度随 sketch 大小至少线性提升并支持稀疏 sketching 矩阵，解释了极端稀疏化不影响每次迭代收敛速度的现象。
2023-09-18 cs.NA math.NA math.OC
PLSS: A Projected Linear Systems Solver
针对相容线性系统，本文提出每次迭代扩展草图矩阵并产生正交更新的 PLSS 迭代投影方法，可有限步收敛并推广 Kaczmarz，在大型稀疏问题上优于或匹敌现有求解器。
2022-12-02 cs.MS cs.NA math.NA
Randomized linear algebra for model reduction. Part II: minimal residual methods and dictionary-based approximation
[Balabanov and Nouy 2019，Part I]中介绍了在高维参数相关方程组的模型降阶背景下使用随机草图的方法。在这个框架下，我们在这里构建一个降阶模型从一个小的，有效的可计算的随机对象称为草图的降阶模型，使用最小残差方法。我们介绍了一个草图版本的最小残差投影以及一种新的非线性逼近方法，其中对于每个参数值，该解决方案是近似的最小残差投影到一个子空间上的几个向量挑选（在线）从候选基向量的字典。结果表明，随机绘制技术不仅可以提高计算效率，而且可以提高数值稳定性。严格分析了获得给定精度所需的随机草图上的条件。通过考虑草绘矩阵的足够大尺寸的不经意嵌入，可以以高概率先验地确保这些条件。此外，提供了一个简单可靠的程序，用于后验验证的质量的草图。该方法可用于近似性的证明以及随机草图矩阵大小的自适应选择。
2020-07-22 cs.NA math.NA
Structured Sketching for Linear Systems
本文针对线性系统求解问题，提出基于草图-投影的迭代算法，通过利用残差历史等草图选择策略实现短递归公式，在降低内存占用和迭代复杂度的同时，数值表现可与 GMRES、SYMMLQ 及先进随机求解器相媲美。
2024-06-30 cs.MS cs.NA math.NA
Inference for Newton Methods with Accelerated Sketch-and-Project via Random Scaling
Georgia Institute of Technology（佐治亚理工学院）；Princeton University（普林斯顿大学）；University of Michigan（密歇根大学）
本研究提出一种基于广义加速草图投影求解器的在线牛顿方法，建立其平均迭代的渐近正态性与函数中心极限定理，并开发基于随机缩放的在线推断程序，数值实验验证了其优越性能。
2026-09-14 cs.LG cs.NA math.NA
Low-Rank Tucker Approximation of a Tensor From Streaming Data
Cornell University（康奈尔大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Columbia University（哥伦比亚大学）；California Institute of Technology（加州理工学院）
本文描述了一种计算张量低Tucker秩近似的新算法。该方法将随机线性映射应用于张量以获得捕获每个模式内的重要方向以及模式之间的相互作用的草图。草图可以从流或分布式数据中提取，也可以通过张量进行单次传递，并且它使用与输出Tucker近似中的自由度成比例的存储。该算法不需要第二次通过张量，尽管它可以利用另一个视图来计算更好的近似。本文对逼近误差提供了严格的理论保证。大量的数值实验表明，该算法产生有用的结果，提高了最先进的流塔克分解。
2021-04-30 cs.LG cs.NA math.NA
A sequential multilinear Nyström algorithm for streaming low-rank approximation of tensors in Tucker format
提出一种顺序多线性Nyström算法，用于流式张量的低秩Tucker近似，仅利用随机草图，通过确定性分析验证其高效性，并在视频处理中展示优势。
2024-08-21 cs.NA math.NA
Sketch Tomography: Hybridizing Classical Shadow and Matrix Product State
Stanford University（斯坦福大学）；University of Chicago（芝加哥大学）
提出Sketch Tomography方法，基于经典阴影协议和矩阵乘积态假设，通过张量列分解和可观测量估计高效重构量子态，样本复杂度随系统规模二次增长，数值实验表明在可观测量估计中优于经典阴影和最大似然估计方法。
2026-05-26 cs.NA math.NA math.ST
