A Sampling-Based Method for Tensor Ring Decomposition
我们提出了一种基于采样的方法来计算张量环（TR）分解的数据张量。该方法使用杠杆分数采样交替最小二乘法，以迭代的方式来拟合TR核心。利用TR张量的特殊结构，我们可以有效地估计杠杆分数，并获得一个方法，具有复杂度的输入张量条目的数量呈次线性。我们提供了高概率的相对误差保证采样最小二乘问题。我们比较我们的建议，现有的方法在实验中的合成和真实数据。我们的方法实现了实质性的加速-有时两个或三个数量级-在竞争的方法，同时保持良好的准确性。我们还提供了一个例子，我们的方法可以用于快速特征提取。
2021-06-12 cs.NA math.NA
Practical Leverage-Based Sampling for Low-Rank Tensor Decomposition
低秩规范多元张量分解在数据分析中很有用，可以通过求解一系列超定最小二乘子问题来计算。出于稀疏张量的考虑，我们建议使用杠杆分数来选择行的子集，以概率保证解决方案的准确性，勾画每个子问题。我们随机抽样行比例的杠杆得分上界，可以有效地计算使用特殊的Khatri-Rao子问题结构中固有的张量分解。至关重要的是，对于$(d+1)$ -路张量，对于秩$r$和$ε$ -最小二乘求解中的精度的分解，草图系统中的行数为$O(r^d/ε)$，与张量中非零的大小和数量无关。一路上，我们提供了一个实用的解决方案，以通用的矩阵草图问题的采样过剩的高杠杆分数行，建议包括这些行确定性和重复的样本结合在草图系统，我们推测，这可以导致改进的理论界限。对实际大规模张量问题的数值计算结果表明，在几乎相同的精度水平下，该方法明显快于确定性方法。
2022-01-03 cs.NA math.NA
More Efficient Sampling for Tensor Decomposition With Worst-Case Guarantees
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
最近的论文已经开发了交替最小二乘（ALS）的CP和张量环分解的每次迭代的成本是次线性的低秩分解的输入张量条目的数量的方法。然而，这些方法的每次迭代的成本仍然具有指数依赖于张量模式的数量时，选择参数，以实现某些最坏情况下的保证。在本文中，我们提出了基于采样的ALS方法的CP和张量环分解，其成本不具有这种指数依赖性，从而显着提高了以前的国家的最先进的。我们提供了详细的理论分析，并在特征提取实验中应用的方法。
2022-06-17 cs.LG cs.NA math.NA
Fast Exact Leverage Score Sampling from Khatri-Rao Products with Applications to Tensor Decomposition
本文提出按精确杠杆分数分布从 Khatri-Rao 积中采样行的数据结构，以低时空复杂度支持大规模矩阵，并提升 CANDECOMP / PARAFAC 张量分解的求解效率与精度。
2024-02-28 cs.NA math.NA
Gappy probabilistic manifold decomposition for nonlinear field reconstruction
Tongji University（同济大学）
本文提出Gappy PMD方法，结合可微点选择方法DPS优化采样点，在圆柱绕流等三个测试案例中，其平均相对L²误差比Gappy POD低一到两个数量级，提升了稀疏测量下的高维场重建精度。
2026-09-01 cs.NA math.NA
A Practical Randomized CP Tensor Decomposition
Georgia Institute of Technology（佐治亚理工学院）；Wake Forest University（维克森林大学）；Sandia National Laboratories（桑迪亚国家实验室）
本文提出一种基于随机最小二乘法的CP张量分解方法，通过高效预处理和采样技术显著提升计算效率，同时保持分解质量。
2017-10-22 cs.NA math.NA
Improving CUR Matrix Decomposition and the Nyström Approximation via Adaptive Sampling
Zhejiang University（浙江大学）；Shanghai Jiao Tong University（上海交通大学）
本文通过建立自适应列/行采样算法的更一般误差界，提出了具有预期相对误差界的更精确CUR和Nyström算法，并给出了标准Nyström方法和集成Nyström方法的低误差界理论分析。
2013-10-01 cs.LG cs.NA math.NA
An L-DEIM Induced High Order Tensor Interpolatory Decomposition
本文提出基于L-DEIM的高阶张量插值分解方法，结合随机采样技术构造高效保结构分解和混合分解算法，在降低计算成本的同时获得比张量CUR分解更小的近似误差。
2023-04-11 cs.NA math.NA
High-performance sampling of generic Determinantal Point Processes
决定点过程（DPPs）是由Macchi引入的，作为排斥（费米子）粒子分布的模型。但它们最近的普及主要是由于它们在推荐系统的最后阶段鼓励多样性的有用性。有限DPP的标准采样方案是谱分解，随后是正交投影的随机对角旋转的Cholesky分解的等价物，其仅适用于Hermitian核并且具有昂贵的设置成本。研究人员已经开始将DPP采样与$LDL^H$因子分解连接起来，作为避免初始谱分解的一种手段，但是现有的方法仅在特殊情况下优于谱分解方法，其中保留的模式的数量是地面集大小的一小部分。本文证明了$LU$和$LDL^H$因子分解的微小修改分别为非Hermitian和Hermitian DPP内核产生有效的直接采样方案。此外，它是实验表明，即使动态调度，共享内存并行化的高性能密集和稀疏直接因式分解可以平凡地修改，以产生DPP采样方案具有基本相同的性能。作为本研究的一部分开发的软件Catamari，https：//hodestar.com/catamari，在Mozilla公共许可证v2.0下发布。它包含密集和稀疏直接、Hermitian和非Hermitian DPP采样器的仅报头、C++14加上OpenMP 4.0实现。
2019-08-17 cs.NA math.NA
A Rank Revealing Randomized Singular Value Decomposition (R3SVD) Algorithm for Low-rank Matrix Approximations
本文提出R3SVD算法，通过正交高斯采样逐步构建低秩近似，并自适应估计秩以捕捉矩阵主要特征。算法在图像压缩和矩阵补全中验证了有效性。
2016-05-26 cs.NA math.NA
Tensor Completion via Leverage Sampling and Tensor QR Decomposition for Network Latency Estimation
Wenzhou University（温州大学）
针对大规模网络时延估计计算开销大的问题，提出融合改进张量杠杆率采样、CSVD-QR、L_{2,1} 范数与张量 QR 分解 ADMM 的张量补全方法，在保持精度的同时显著提升速度。
2023-06-27 cs.LG cs.NA cs.NI
Stochastic Gradients for Large-Scale Tensor Decomposition
Sandia National Laboratories（桑迪亚国家实验室）；University of Michigan（密歇根大学）
张量分解是一个著名的多路数据分析工具。这项工作提出了使用随机梯度有效的广义正则多元（GCP）张量分解的大规模张量。GCP张量分解是最近提出的张量分解的一个版本，它允许各种损失函数，例如用于二进制数据的Bernoulli损失或用于鲁棒估计的Huber损失。随机梯度由张量的随机采样元素形成，并且是有效的，因为它可以使用稀疏矩阵化张量乘以Khatri-Rao乘积（MTTKRP）张量核来计算。对于稠密张量，我们简单地使用均匀采样。对于稀疏张量，我们提出了两种类型的分层抽样，优先考虑采样非零。数值结果表明，所提出的方法和其可扩展性的大规模问题的优势。
2020-07-08 cs.LG cs.NA math.NA
A Multilevel, Hierarchical Sampling Technique for Spatially Correlated Random Fields
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
本文提出了一种生成空间相关随机场样本的替代方法，用于大规模问题的不确定性传播。该方法通过多级分解随机场，结合混合有限元形式的随机反应扩散方程，实现可扩展的分层采样。
2017-03-24 cs.NA math.NA
On the effect of different samplings to the solution of parametric PDE Eigenvalue Problems
在这篇文章中，我们应用降阶技术的近似参数本征值问题。采样点的选择的效果进行了研究。在这里，我们使用标准的真正交分解技术来获得约化空间的基，并使用Galerking正交技术来获得约化问题。我们提出了一些数值结果，并观察到，如果参数空间的维度是高的，稀疏采样的使用是一个好主意。
2023-03-25 cs.NA math.NA
High Dimensional Low Rank plus Sparse Matrix Decomposition
University of Central Florida（中佛罗里达大学）
本文提出一种可扩展的子空间追猎方法，将矩阵分解问题转化为子空间学习问题，通过小数据草稿实现分解，适应性采样算法提升了处理结构化数据的效率。
2017-03-16 cs.DS cs.LG cs.NA
Randomized GCUR decompositions
本文提出一种高效的随机化广义 CUR 分解算法，结合 L-DEIM 方法降低大规模数据集计算成本，并扩展至基于 RSVD 的 CUR 分解，同时提供了详细的概率误差分析与数值验证。
2023-04-06 cs.NA math.NA
CUR Decompositions, Approximations, and Perturbations
Department of Mathematics, University of Arizona, Tucson, AZ 85719 USA（亚利桑那大学数学系，图森，亚利桑那州，85719 USA）；Department of Mathematics, Vanderbilt University, Nashville, TN 37240 USA（范德比尔特大学数学系，纳什维尔，田纳西州，37240 USA）
本文探讨了用于降维和低秩矩阵近似的CUR分解方法，综述并比较了文献中的不同观点，提出了一种新的精确CUR分解特征，并对噪声低秩矩阵的CUR近似进行了新颖的扰动分析，同时给出了新的列和行采样结果，证明了低秩矩阵的CUR分解在高概率下得以实现，并展示了这些采样方法在之前研究的扰动下的稳定性以及相关方法和界限的数值示例。
2019-04-03 cs.LG cs.NA math.NA
The linear sampling method for data generated by small random scatterers
本文扩展线性采样方法以处理随机分布小散射体产生的二维声软逆散射数据，理论基于渐近模型与修正Helmholtz–Kirchhoff恒等式，数值实现结合边界元、SVD、Tikhonov正则化和Morozov偏差原理，并通过实验验证了算法的鲁棒性与准确性。
2024-07-02 cs.NA math.NA
Random Sampling and Efficient Algorithms for Multiscale PDEs
我们描述了一个数值框架，使用随机抽样有效地捕捉低秩局部解空间的多尺度PDE问题所产生的区域分解。与现有的技术相比，我们的方法不依赖于具体的多尺度偏微分方程的详细分析理解，特别是它们的渐近极限。我们给出了两个例子-一个线性动力学方程和一个含有粗糙介质的椭圆型方程的应用。在这两个例子中，该框架实现了动力学方程的渐近保持性和椭圆型方程的数值均匀化。
2020-02-04 cs.NA math.NA
Randomized Algorithms for Low-Rank Matrix and Tensor Decompositions
Oden Institute & Dept. of Mathematics, University of Texas at Austin（德克萨斯大学奥斯汀分校奥登研究所与数学系）
本文提出随机算法用于加速低秩矩阵和张量分解，涵盖SVD、ID、CUR等方法，并探讨其在张量分解中的应用。
2025-12-30 cs.NA math.NA
Tensor Deli: Tensor Completion for Low CP-Rank Tensors via Random Sampling
本文提出两种基于随机采样的低CP秩张量补全算法，结合矩阵补全与Jennrich算法，在保证高概率恢复的同时实现样本和计算效率优化，并在合成与真实数据上验证有效性。
2024-03-15 cs.NA math.NA
Hierarchical Gaussian Random Fields for Multilevel Markov Chain Monte Carlo: Coupling Stochastic Partial Differential Equation and The Karhunen-Loève Decomposition
针对高维多层贝叶斯推断中GRF采样的精度、降维与遍历性难题，本文耦合KL展开与SPDE采样，提出协方差保持的分层多重网格框架，并在地下流动基准上验证其效率、精度和收敛优势。
2025-03-18 cs.NA math.NA math.PR
Mode-wise Tensor Decompositions: Multi-dimensional Generalizations of CUR Decompositions
University of California, Los Angeles（加州大学洛杉矶分校）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
低阶张量近似是现代机器学习和数据科学中的基本工具。在本文中，我们研究了两个主要的张量CUR近似，即Chidori和纤维CUR的特征，扰动分析，和一个有效的采样策略。我们刻画了低多线性秩张量的精确张量CUR分解。我们还提出了理论误差界的张量CUR近似（对抗或高斯）噪声出现时。此外，我们表明，低成本的均匀采样是足够的张量CUR近似，如果张量有一个不相干的结构。经验性能评估，与合成和真实世界的数据集，建立张量CUR近似的速度优势，比其他国家的最先进的低多线性秩张量近似。
2021-06-25 cs.IT cs.LG cs.NA
Accelerating the Canonical Polyadic Alternating Least Squares Optimization via a Randomized Interpolative Decomposition
PSI Center for Scientific Computing, Theory and Data（PSI科学计算、理论与数据中心）；Institute of Mathematics, EPFL（洛桑联邦理工学院数学研究所）；The University of Maryland, College Park（马里兰大学帕克分校）
研究针对规范多adic分解的随机交替最小二乘优化，提出基于杠杆得分的采样策略，通过随机强秩揭示QR分解近似杠杆得分分布，该方法能以特定采样数实现精度，且优于先前方案，减少计算和存储开销。
2026-07-27 cs.NA math.NA
Approximation and sampling of multivariate probability distributions in the tensor train decomposition
一般的多元分布是众所周知的昂贵的采样，特别是在偏微分方程约束的反问题的高维后验分布。本文提出了一种基于张量序列格式的低秩代理的任意连续多元分布的采样器。我们构造一个张量训练近似的目标密度函数使用交叉插值，这需要少量的函数评估。对于足够光滑的分布，TT近似所需的存储是适度的，随维度线性缩放。张量列车代理的结构允许有效的采样的条件分布方法。可以通过使用Metropolis-Hastings接受/拒绝步骤校正变换的随机种子来计算无偏估计。此外，可以使用更有效的拟蒙特卡罗方法求积，其可以通过控制变量策略或通过重要性加权来校正。我们表明，在张量列车近似的误差线性传播到大都会-黑斯廷斯拒绝率和综合自相关时间所产生的马尔可夫链。这些方法证明在三个计算实例：拟合故障时间的减震器;偏微分方程约束的逆扩散问题;和抽样从Rosenbrock分布。延迟拒绝自适应大都会（DRAM）算法被用作基准。我们发现，重要性权重校正的拟蒙特卡罗方法正交在所有计算的例子中表现最好，并且在很宽的近似精度和样本量范围内比DRAM更有效。事实上，这里开发的所有方法在所有计算示例中都显著优于DRAM。
2019-07-03 cs.NA math.NA math.PR
Accuracy and Stability of CUR decompositions with Oversampling
本文研究带过采样的CUR分解的准确性与稳定性，证明过采样可提升性能，并提出基于CUR和余弦-正弦分解的过采样算法，实验验证其有效性。
2024-11-20 cs.NA math.NA
Sublinear randomized algorithms for skeleton decompositions
令$A$是$n$乘$n$矩阵。骨架分解是$CUR$形式的任何因式分解，其中$C$包括$A$的列，$R$包括$A$的行。在本文中，我们考虑均匀采样$ł\simeq k \log n$的行和列，以产生一个骨架分解。该算法在$O(ł^3)$时间内运行，并具有以下错误保证。令$\norm{\cdot}$表示2-范数。假设$A\simeq X B Y^T$，其中$X,Y$各自具有$k$正交归一化列。假设$X,Y$是不相干的，我们表明，以高概率，近似误差$\norm{A-CUR}$将规模与$(n/ł)\norm{A-X B Y^T}$或更好。该算法中的关键步骤涉及正则化。这一步对于非对称$A$是至关重要的，正如经验结果所表明的那样。最后，我们使用我们的证明框架，以直观的方式分析两个现有的算法。
2012-04-10 cs.NA math.NA
CPQR-based randomized algorithms for generalized CUR decompositions
基于列旋转QR分解，我们提出了矩阵对和矩阵三元组的广义CUR分解的随机化算法，其中包括通过有效算法。对这些算法进行了详细的误差分析。数值实验给出了测试所提出的随机化算法。
2023-03-13 cs.NA math.NA
HOID: Higher Order Interpolatory Decomposition for tensors based on Tucker representation
基于插值分解，我们导出了Tucker格式张量的一个CUR-type分解，我们将其称为高阶插值分解（HOID）。给定张量$\mathcal{X}$，该算法提供一组列向量$\{ \mathbf{C}_n\}_{n=1}^d$，它们是从模式- $n$张量展开中提取的列，以及核心张量$\mathcal{G}$，它们一起满足某些误差界.与高阶奇异值分解（HOSVD）算法相比，HOID提供了一种分解，保留了原始张量的某些重要特征，如稀疏性、非负性、整数值等。提供了误差界以及计算成本的详细估计。本文提出的算法已被验证对精心挑选的数值例子突出了有利的性能的算法。矩阵CUR分解，如离散经验插值方法（DEIM）和杠杆得分抽样，提出了相关的方法进行子集选择，也被扩展到张量，并对我们提出的算法进行比较。
2016-06-30 cs.NA math.NA
Scalable Extended Dynamic Mode Decomposition using Random Kernel Approximation
Brookhaven National Laboratory（布鲁克海文国家实验室）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
本文提出了一种基于随机核近似的扩展动态模式分解方法，用于处理大规模数据集，通过随机傅里叶特征和Nystrom方法生成特征，以提高计算效率并解决高维状态空间问题。
2019-05-10 cs.NA math.NA
Perspectives on CUR Decompositions
本文讨论了一个有趣的矩阵分解，称为CUR分解。我们通过在不同情况下的比较和对比来说明这种方法的各种观点。此外，我们提供了一个新的表征CUR分解协同这些观点，并表明它们确实是相同的，在确切的分解情况下。
2019-09-03 cs.NA math.NA
Efficient Algorithms for CUR and Interpolative Matrix Decompositions
该手稿描述了有效的算法计算的CUR和ID分解。所使用的方法是基于对经典截断枢轴QR分解的简单修改，这意味着可以利用高度优化的库代码来实现。对于某些应用，可以通过结合基于随机投影的技术来实现进一步的加速。数值实验表明，优越的性能相比，现有的技术计算CUR因子分解。
2016-10-19 cs.NA math.NA
Randomized Interpolative Decomposition of Separated Representations
我们引入张量插值分解（张量ID）的标准张量分解（CTD）的分离秩的减少。对于用户定义的准确度ε，张量ID选择CTD的项的接近最优的子集，以经由所选项的线性组合来表示剩余项。张量ID可以用作交替最小二乘（ALS）算法的替代方案或步骤。此外，我们简要讨论了Q因子分解，以减少ALS迭代中的组件的大小。结合，张量ID和Q-因子分解导致一个新的范例减少的分离秩的CTD。在这种情况下，我们还讨论了谱范数作为计算替代Frobenius范数。我们减少了张量ID的问题，构造某些矩阵的插值分解。这些矩阵通过给定张量的随机投影或随机采样生成。我们提供了成本估计和几个例子的新方法，以减少分离秩。
2013-12-17 cs.NA math.NA
Randomized Quaternion Singular Value Decomposition for Low-Rank Approximation
针对彩色人脸识别、视频压缩和信号处理中的低秩矩阵逼近问题，提出了一种随机四元数奇异值分解（QSVD）算法。该算法利用四元数正态分布的随机抽样方法，将高维数据投影到低维子空间中，然后识别出四元数矩阵的近似值域子空间。提出了四元数Wishart分布的关键统计性质，并利用其对算法进行了近似误差分析。理论结果表明，随机QSVD算法可以跟踪四元数矩阵的优势奇异值分解三元组，并具有可接受的精度。数值实验也表明了所提出理论的合理性。将随机QSVD算法应用于彩色人脸识别问题，与基于Lanczos的部分QSVD算法和四元数快速频繁方向算法相比，该算法具有更高的识别精度和更好的效率。
2021-12-26 cs.NA math.NA
Study of Compressed Randomized UTV Decompositions for Low-Rank Matrix Approximations in Data Science
在这项工作中，提出了一种新的秩显示矩阵分解算法，称为压缩随机UTV（CoR-UTV）分解以及一个CoR-UTV变体的辅助下的功率方法技术。CoR-UTV通过使用随机采样方案来计算低秩输入矩阵的近似值。给定大小为$m\times n$且具有数值秩$k$的大且密集的矩阵，其中$k \ll \text{min} \{m,n\}$，CoR-UTV需要在数据上经过几次，并且在$O(mnk)$浮点运算中运行。此外，CoR-UTV可以利用现代计算平台，并可以优化以实现最大效率。CoR-UTV也适用于解决鲁棒主成分分析问题。仿真结果表明，CoR-UTV优于现有的方法。
2019-06-08 cs.DS cs.NA math.NA
High-dimensional Optimization with Low Rank Tensor Sampling and Local Search
本研究提出融合低秩张量离散优化与梯度类局部搜索的TESALOCS高维优化方法，解决现有方法易陷局部最优、不适配连续函数或计算开销大的问题，在20个100维测试函数上以相同计算预算实现数量级性能提升。
2025-05-18 cs.NA math.NA math.OC
Matrix Completion with Cross-Concentrated Sampling: Bridging Uniform Sampling and CUR Sampling
University of Central Florida（中佛罗里达大学）；Michigan State University（密歇根州立大学）；University of Michigan（密歇根大学）；University of California, Los Angeles（加州大学洛杉矶分校）
针对均匀采样与CUR采样在矩阵补全应用中灵活性不足的问题，提出交叉集中采样（CCS）策略及迭代CUR补全（ICURC）算法，验证其在采样成本与补全效果上的优势。
2023-03-22 cs.LG cs.NA math.NA
Optimized Sampling for Multiscale Dynamics
University of Washington（华盛顿大学）
本文提出了一种基于动态模态分解的多尺度动力学分析方法，通过稀疏采样实现对复杂动力学的分层多分辨率分解，并用于动态区域分类和全状态重建。
2017-12-14 cs.NA math.DS math.NA
Fast and Accurate Randomized Algorithms for Low-rank Tensor Decompositions
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
低秩Tucker和CP张量分解是数据分析中的强大工具。广泛使用的交替最小二乘（ALS）方法，它解决了一系列超定最小二乘子问题，是昂贵的大型和稀疏张量。我们提出了一个快速，准确的草图ALS算法的塔克分解，解决了一系列的草图秩约束线性最小二乘法子问题。理论草图大小上界提供实现$O(ε)$相对误差的每个子问题与两个草图技术，TensorSketch和杠杆得分采样。实验结果表明，这种新的ALS算法，结合一个新的初始化方案的基础上随机测距仪，产量高达$22.0\%$相对分解残留的改善相比，国家的最先进的草图随机算法的各种合成和真实数据集的塔克分解。该Tucker-ALS算法进一步用于加速CP分解，通过使用随机化Tucker压缩，然后对Tucker核心张量进行CP分解。实验结果表明，该算法不仅收敛速度快，而且CP分解精度高。
2021-08-25 cs.DS cs.LG cs.NA
A Domain Decomposition-based Solver for Acoustic Wave propagation in Two-Dimensional Random Media
Carleton University（卡尔顿大学）
本文提出一种基于域分解的求解器，用于高效求解二维随机介质中的声波传播问题，采用侵入性随机伽辽金方法和双级预条件技术提升计算效率。
2026-01-22 cs.CE cs.DC cs.NA
Bayesian Low-Rank Interpolative Decomposition for Complex Datasets
在本文中，我们介绍了一个概率模型学习插值分解（ID），这是常用的特征选择，低秩近似，并确定隐藏模式的数据，其中的矩阵因子是潜在的变量与每个数据维。先验密度与支持的指定的子空间被用来解决的约束的观测矩阵的因子分量的大小。贝叶斯推理过程的基础上吉布斯抽样。我们在各种真实世界的数据集上评估了该模型，包括CCLE EC50，CCLE IC50，CTRP EC50和MovieLens 100K数据集，具有不同的大小和维度，并表明与现有的随机方法相比，所提出的贝叶斯ID GBT和GBTN模型导致更小的重建误差。
2022-05-30 cs.IT cs.LG cs.NA
