Randomized average block coordinate descent method with heavy-ball momentum for tensor least squares problem under the t-product
Tongji University（同济大学）
针对t-积张量最小二乘问题，提出带重球动量的随机平均块坐标下降法，通过平均技术避免计算Moore-Penrose逆，并自适应确定步长与动量，理论证明收敛且改进线性收敛率，实验验证其迭代效率与视频恢复性能。
2026-09-15 cs.NA math.NA
Global Convergence of a Grassmannian Gradient Descent Algorithm for Subspace Estimation
University of Michigan（密歇根大学）
本文提出一种约束于格拉斯曼流形的梯度下降算法，用于估计流数据矩阵的子空间，证明在无噪声情况下算法能从任意初始化收敛到全局最优，且在有噪声情况下提供预期收敛率。
2016-06-25 cs.NA math.NA stat.ML
Online Low-Rank Tensor Subspace Tracking from Incomplete Data by CP Decomposition using Recursive Least Squares
The University of Electro-Communications（电气通信大学）
本文提出基于CP分解和递归最小二乘法的在线张量子空间跟踪算法OLSTEC，实验证明其在每轮迭代中的收敛速度优于现有方法。
2016-08-19 cs.NA math.NA
Stochastic Gradient Descent for Incomplete Tensor Linear Systems
University of California, Irvine（加州大学尔湾分校）；University of California, Los Angeles（加州大学洛杉矶分校）
针对不完全张量线性系统，通过修改更新方向适应不同缺失数据模型，提出基于随机梯度下降的方法，并证明收敛性。
2026-05-26 cs.NA math.NA
Tensor Matched Subspace Detection
本文提出基于变换基张量模型的张量匹配子空间检测方法，通过管状采样和元素采样估计信号能量并分析检测性能，验证了方法的有效性。
2018-04-22 cs.NA math.NA
Randomized Tensor Krylov Subspace Methods via Sketched Einstein Product with Applications to Image and Video Restoration
Mohammed VI Polytechnic University（穆罕默德六世理工大学）
本文提出了一种基于刻痕爱因斯坦乘积的随机张量Krylov子空间方法，用于高效求解图像和视频恢复中的大规模多线性系统。
2026-02-28 cs.NA math.NA
Tensor Krylov subspace methods via the T-product for color image processing
本文研究了求解大型多线性张量方程的张量迭代Krylov子空间方法。我们使用著名的T-产品的两个张量定义张量全球Arnoldi和张量全球Gloub-Kahan双对角化算法。此外，我们还说明了如何利用基于张量的全局方法来解决恢复模糊多通道（彩色）图像和视频所产生的不适定问题，使用所谓的Tikhonov正则化技术，以提供可计算的近似正则化解决方案。我们还审查了广义交叉验证和差异原则类型的标准选择的正则化参数的Tikhonov正则化。RGB图像和视频处理的应用证明了算法的有效性。
2020-06-10 cs.NA math.NA
Applying acceleration to Krylov subspace eigenvalue solvers
本文将Nesterov加速梯度法和Polyak重叠球法应用于改进的反预处理Krylov子空间方法，证明了更一般的子空间选择下的收敛性，并通过数值结果展示了动量参数固定和适应性选择对收敛速度的提升。
2026-03-21 cs.NA math.NA
Tensorized block rational Krylov methods for tensor Sylvester equations
本文提出张量化块有理 Krylov 子空间方法，用于求解具有低多线性秩或 Tensor Train 秩的张量 Sylvester 方程，并给出收敛性分析、极点选择策略和残差高效计算技术。
2023-06-01 cs.NA math.NA
Inexact subspace projection methods for low-rank tensor eigenvalue problems
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Virginia Tech（弗吉尼亚理工大学）
本文提出不精确子空间迭代方法求解低秩张量特征值问题，通过低秩压缩处理高维向量，相比不精确Lanczos方法对秩截断误差更鲁棒，且不要求矩阵为Hermitian，适用于DMRG停滞的问题。
2025-10-15 cs.NA math.NA
Alternating steepest descent methods for tensor completion with applications to spectromicroscopy
针对X射线光谱显微成像欠采样导致的张量补全问题，提出两种基于低秩$\u22c6_{M}$乘积格式的张量交替最速下降算法，在真实数据上验证了其用更少样本实现同等重构误差的优势。
2025-06-12 cs.NA math.NA
Convergence of a Grassmannian Gradient Descent Algorithm for Subspace Estimation From Undersampled Data
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Department of Electrical Engineering and Computer Science（电气与计算机工程系）
本文研究了在欠采样数据下，基于Grassmannian约束的一阶增量梯度下降算法的收敛性，提出了一种自适应步长方案，证明了该方法在任意随机初始化下能够收敛到真实子空间，即使在非凸问题和正交约束下也能保证收敛。
2022-02-21 cs.NA math.NA stat.ML
RBF approximation of three dimensional PDEs using Tensor Krylov subspace methods
在本文中，我们提出了不同的算法解决张量线性离散不适定的问题所产生的应用程序的无网格方法求解偏微分方程在三维空间中使用多二次径向基函数。截断奇异值分解（TSVD）是求解病态系统最常用的有效方法，但对于大规模矩阵，用TSVD求解线性系的运算量很大。在目前的工作中，我们提出了算法的基础上使用著名的爱因斯坦产品的两个张量定义张量全球Arnoldi和张量Gloub Kahan双对角化算法。使用所谓的Tikhonov正则化技术，我们将能够在几次迭代中提供可计算的近似正则化解。
2021-03-03 cs.NA math.NA
Low-rankness and Smoothness Meet Subspace: A Unified Tensor Regularization for Hyperspectral Image Super-resolution
College of Science, Jiangxi University of Water Resources and Electric Power（江西水利水电大学理学院）；Key Laboratory of Engineering Mathematics and Advanced Computing, Jiangxi University of Water Resources and Electric Power（江西水利水电大学工程数学与先进计算重点实验室）；Department of Statistics and Data Science, Southern University of Science and Technology（南方科技大学统计与数据科学系）
本文提出一种统一的张量正则化方法JLRST，结合低秩性和局部光滑性先验，通过子空间框架提升超分辨率 hyperspectral 图像的效率和精度。
2026-05-12 cs.NA math.NA
Subspace method for multiparameter-eigenvalue problems based on tensor-train representations
在本文中，我们解决$m$参数本征值问题（$m$ EPs），与$m$任何自然数通过使用张量列车（TT）表示的问题，并设计了一种方法，基于这种格式。$m$ EP通常出现在分离变量应用于可分离的边值问题时。通常，用于求解$m$ EP的方法限于$m = 3$，这是由于以下事实：据我们所知，对于$m>3$和所涉及的矩阵的合理大小，不存在可用的求解器。本文证明了计算$m$ EP的特征值可以转化为计算TT-算子的特征值。我们适应的算法在\cite{Dolgov2014a}对称本征值问题在TT格式的算法求解通用$m$ EP。这导致子空间方法的子空间维数不依赖于$m$，与其他子空间方法的$m$ EPS。这允许我们使用$m > 3$和合理的矩阵大小来处理$m$ EP。我们提供理论结果和报告数值实验。MATLAB代码是公开的。
2020-12-01 cs.NA math.NA
Multi-subspace power method for decomposing partially symmetric tensors
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）；Department of Mathematics, University of Georgia（佐治亚大学数学系）；Department of Mathematics, University of Texas at Austin（德克萨斯大学奥斯汀分校数学系）
本文提出了一种多子空间幂方法，用于分解任意对称类型的张量，从完全非对称到完全对称。该方法通过高阶幂方法逐步恢复分解项，通过将输入转换为具有正交切片的张量，克服了传统方法中分解项与张量的(pSVT)奇异向量元组之间无必然联系的问题。
2026-05-20 cs.NA math.NA
Tensor Orthogonal Subspace Split: Theory and Applications
Yunnan University（云南大学）；Anhui Jianzhu University（安徽建筑大学）；Hong Kong Baptist University（香港浸会大学）；University of Macau（澳门大学）
本文提出张量正交子空间拆分（TOSS）理论框架，将张量沿指定模式拆分为正交分量，构建优化模型并开发算法，在高光谱图像复原等任务中验证了方法的有效性。
2026-09-01 cs.NA math.NA
Adaptive Stochastic Gradient Descent on the Grassmannian for Robust Low-Rank Subspace Recovery and Clustering
Nanjing University of Information Science and Technology（南京信息工程大学）
本文提出GASG21算法，通过在Grassmann流形上进行自适应随机梯度下降，实现从大矩阵中鲁棒地恢复低秩子空间，并通过K子空间扩展实现对受损数据的聚类。
2015-04-18 cs.CV cs.NA math.NA
Best subspace tensor approximations
University of Illinois at Chicago（芝加哥伊利诺伊大学）；TU Berlin（柏林工业大学）
针对张量数据压缩与稀疏表示问题，提出基于最佳子空间逼近的张量分解方法，作为奇异值分解在张量上的替代推广。
2008-05-27 cs.NA math.NA math.OC
Channel Pruning In Quantization-aware Training: An Adaptive Projection-gradient Descent-shrinkage-splitting Method
University of California, Irvine（加利福尼亚大学尔湾分校）；Department of Mathematics（数学系）
我们提出了一种自适应投影-梯度下降-收缩分裂方法（APGDSSM），将基于惩罚的通道修剪集成到量化感知训练（QAT）中。APGDSSM同时在量化子空间和稀疏子空间中搜索权重。APGDSSM使用收缩算子和分裂技术来创建稀疏权重，以及组Lasso惩罚来将权重稀疏性推到通道稀疏性。此外，我们提出了一种新的互补变换l1惩罚，以稳定极端压缩的训练。
2022-04-09 cs.AI cs.CV cs.LG
Fast online low-rank tensor subspace tracking by CP decomposition using recursive least squares from incomplete observations
The University of Electro-Communications（电气通信大学）
本文提出基于CP分解的OLSTEC算法，用于在线跟踪动态变化的低维子空间，通过递归最小二乘法提升收敛速度。
2017-09-29 cs.NA math.NA stat.ML
Lower Memory Oblivious (Tensor) Subspace Embeddings with Fewer Random Bits: Modewise Methods for Least Squares
在本文中，新的一般模式的Johnson-Lindenstrauss（JL）子空间嵌入的建议，都是相当快的生成和更容易存储比传统的JL嵌入时，非常大的向量和/或张量。相应的嵌入结果，然后证明了两种不同类型的低维（张量）子空间。这些新的子空间嵌入结果的第一个产生改进的空间复杂度界嵌入秩$r$张量的CP分解包含在一个固定的（但未知的）一组$r$秩一基础张量的跨度。在传统的向量设置这第一个结果产生新的和非常一般的近最优的不经意子空间嵌入结构，需要更少的随机位比标准的JL嵌入时，嵌入子空间的$\mathbb{C}^N$由特殊的Kronecker结构的基向量跨越生成。这里证明的第二个结果提供了任意$r$维子空间$\mathcal{S} \subset \mathbb{C}^N$的新的快速JL嵌入，其也需要更少的随机比特（并且因此更容易存储-即，需要更少的空间），以便实现小的$ε$失真。这些新的不经意子空间嵌入结果通过$(i)$有效地将$\mathcal{S}$中的任何给定向量折叠成（不一定是低秩）张量，然后$(ii)$将所得张量嵌入到$m \leq C r \log^c(N) / ε^2$的$\mathbb{C}^m$中。与压缩和快速压缩最小二乘解方法相关的应用也被考虑，包括用于拟合低秩CP分解的应用，并且所提出的JL嵌入结果在这两种设置中都显示出良好的数值效果。
2020-12-16 cs.NA math.NA stat.ML
A Riemannian Gradient Descent Method for the Least Squares Inverse Eigenvalue Problem
本文证明 Chen-Chu 的 Lift and Projection 方法等价于黎曼梯度下降，并据此提出更高效实现，在锰-6 非弹性中子散射等逆特征值问题上计算时间改进可超一个数量级。
2025-04-10 cs.NA math.NA
Wedderburn rank reduction and Krylov subspace method for tensor approximation. Part 1: Tucker case
提出了3张量的塔克近似的新算法，仅使用张量乘向量乘向量乘法子例程访问它。在矩阵的情况下，Krylov方法是通过矩阵向量乘法子例程来近似稀疏或结构化矩阵的主要列和行子空间的方法。使用Wedderburn秩减少公式，我们提出了一个算法的矩阵近似计算Krylov子空间，并允许推广到张量的情况下。提出的张量算法的几种变体在旋转策略、总体成本和近似质量方面有所不同。通过令人信服的数值实验，我们表明，所提出的方法是更快，更准确的最小Krylov递归，最近提出的Elden和Savas。
2010-10-19 cs.DS cs.NA math.NA
Substitution of subspace collections with nonorthogonal subspaces to accelerate Fast Fourier Transform methods applied to conducting composites
我们展示了在《将复合材料理论扩展到其他科学领域》（Milton编辑，2016）一书的第7章中开发的子空间集合代数的强大功能。具体地说，我们加速了Moulinec和Suquet和Eyre和Milton（1994，1998）的快速傅里叶变换方案，通过用正交子空间替换一个子空间集合内的非正交子空间来计算导电周期介质中的场和有效张量。当作为夹杂物相的电导率$σ_1$的函数的有效电导率（其中基质相电导率设置为$1$）使其奇异性限于负实$σ_1$轴的间隔$[-β,-α]$时，这可以完成。Moulinec和Suquet的数值结果表明，在$25\%$体积分数的正方形阵列的正方形模型的例子加速收敛。对于其他问题，我们展示了如何$Q^*_C$ -凸函数可以用来限制区域的有效张量作为一个功能的组件张量的奇异性可能会被发现。
2020-02-20 cs.NA math.NA
Rank-one Riemannian Subspace Descent for Nonlinear Matrix Equations
本文提出了一种秩一黎曼子空间下降算法，用于高效求解高维稠密对称正定约束的非线性矩阵方程。
2026-01-21 cs.NA cs.SY eess.SY
Fast and Provable Tensor-Train Format Tensor Completion via Precondtioned Riemannian Gradient Descent
The Hong Kong University of Science and Technology（香港科技大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出预条件黎曼梯度下降算法（PRGD）解决张量列车格式的低秩张量补全问题，证明线性收敛，并在模拟与真实数据上大幅减少计算时间和迭代次数。
2025-01-23 cs.LG cs.NA math.NA
Momentum and Stochastic Momentum for Stochastic Gradient, Newton, Proximal Point and Subspace Descent Methods
The University of Edinburgh（爱丁堡大学）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology (MIPT)（莫斯科物理技术学院）
本文研究了几类具有重球动量的随机最优化算法。其中研究的方法有：随机梯度下降，随机牛顿，随机邻近点和随机对偶子空间上升。这是第一次研究这些方法中的几个动量变量。我们选择在上述所有方法都等效的环境中进行分析。我们证明了全局非渐近线性收敛速率的所有方法和各种措施的成功，包括原始函数值，原始迭代（在L2意义上），和对偶函数值。我们还表明，原始迭代收敛在L1意义上的加速线性速率。这是随机重球方法第一次显示线性速率（即，具有动量随机梯度下降法）。在较弱的条件下，我们建立了原始迭代的Cesaro平均的次线性收敛速度。此外，我们提出了一个新的概念，我们称之为随机动量，旨在减少执行动量步骤的成本。我们证明了线性收敛的随机方法与随机动量，并表明，在一些稀疏的数据制度和足够小的动量参数，这些方法享有更好的整体复杂性比方法与确定性动量。最后，我们对人工和真实数据集进行了广泛的数值测试，包括来自平均共识问题的数据。
2018-03-28 cs.LG cs.NA math.NA
Tensor-Krylov method for computing eigenvalues of parameter-dependent matrices
本文将残差Arnoldi法推广到求极值特征值（如最大实部，优势，.）对于矩阵依赖于参数的情况。该方法与经典Arnoldi算法的不同之处在于，在Arnoldi算法中，残差被添加到子空间中。我们开发了一个张量Krylov方法，适用于剩余Arnoldi方法（RA）的参数点的网格在同一时间。子空间包含所有这些点的近似Krylov空间。我们不是将所有参数值的残差添加到子空间，而是创建由这些残差组成的矩阵的低秩近似，并且仅将列空间添加到子空间。为了保持计算效率，需要限制子空间的维数，并且一旦子空间达到规定的最大维数就重新开始。这种方法的新颖性是双重的。首先，我们观察到在低秩近似中允许大的误差而不会减慢收敛速度，这意味着我们可以在重新开始之前进行更多的迭代。其次，我们特别注意子空间的重新启动方式，因为经典的重新启动技术在我们的情况下给出了一个太大的子空间。我们激励为什么它是足够好的，只是保持搜索的特征向量的近似。最后，我们将该算法推广到移位-反演残差Arnoldi方法，以计算接近移位$σ$的特征值。我们提供理论结果和报告数值实验。Matlab代码是公开的。
2020-12-16 cs.NA math.NA
Accelerating Block Coordinate Descent for Nonnegative Tensor Factorization
Université de Mons（蒙斯大学）；Université de Rennes（雷恩大学）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（雷恩第一大学计算机科学研究所）
研究了改进块坐标下降算法的经验收敛速度问题。我们提出了一个外推策略之间的块更新，称为启发式外推与重启（HER）。HER显着加快了大多数现有的块坐标算法的经验收敛速度密集NTF，特别是具有挑战性的计算场景，同时需要一个可以忽略不计的额外的计算预算。
2020-11-20 cs.LG cs.NA math.NA
Active learning of tree tensor networks using optimal least-squares
在本文中，我们提出了新的学习算法近似高维函数，在最小二乘设置使用树张量网络。给定张量网络的维度树或架构，我们提供了一种算法，该算法基于多元函数的主成分分析的推广来生成嵌套张量子空间的序列。一个最佳的最小二乘法用于计算投影到生成的张量子空间，使用的样本从分布取决于先前生成的子空间。我们提供了一个误差界的期望所获得的近似。实用的策略，提出了适应的特征空间和排名，以实现规定的错误。此外，我们提出了一种算法，逐步构建的维度树，通过合适的配对的变量，允许进一步减少所需的样本的样本个数，以达到该错误。数值例子说明了所提出的算法的性能，并表明，稳定的近似得到的样本个数接近估计张量网络的自由参数的数量。
2021-04-27 cs.NA math.NA
Randomized subspace correction methods for convex optimization
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文提出了一种随机子空间校正方法的抽象框架，统一并推广了多种现有算法，包括域分解、多网格和块坐标下降方法，并分析了不同收敛率。
2026-04-25 cs.NA math.NA math.OC
Principal Component Analysis with Tensor Train Subspace
Purdue University（普渡大学）
本文提出TT-PCA算法，通过保持低秩张量结构来估计结构化的张量列车子空间，相比PCA和Tucker-PCA更具鲁棒性，实验验证其有效性。
2018-03-13 cs.CV cs.IT cs.LG
Block-Randomized Stochastic Methods for Tensor Ring Decomposition
张量环（TR）分解是一种简单但有效的张量网络，用于分析和解释张量的潜在模式。在这项工作中，我们提出了一个双随机优化框架计算TR分解。它可以被视为随机块坐标下降和随机梯度下降的合理混合，因此以双随机方式运行，可以实现轻量级更新和小内存占用。此外，为了提高收敛性，特别是对于病态问题，我们提出了一个缩放版本的框架，可以被视为自适应预处理或对角缩放的变体。文中还给出了四种不同的选择小批量的概率分布和确定步长的自适应策略。最后，我们提出了我们的建议的理论性质和数值性能。
2023-03-29 cs.NA math.NA
The tubal Arnoldi method for tensor function approximation
École nationale de l’aviation civile（法国国立民用航空学院）；Mohammed V University（穆罕默德五世大学）；Université du Littoral Côte d’Opale（加来海峡海岸大学）
本文提出基于张量t-积的管状Arnoldi方法，将高维张量问题投影到低维Krylov子空间，用于高效逼近张量函数并求解多维常微分方程，实验验证了其有效性和准确性。
2026-09-11 cs.NA math.NA
Parallel Active Subspace Decomposition for Scalable and Efficient Tensor Robust Principal Component Analysis
Department of Mathematics, Hong Kong Baptist University（香港 Baptist 大学数学系）
本文提出并行主动子空间分解方法，通过将张量展开的每个模式分解为正交矩阵和小矩阵，降低核范数最小化问题的规模，提升张量鲁棒主成分分析的效率和精度。
2017-12-28 cs.LG cs.NA math.NA
A residual-iteration framework for alternating projections between affine subspaces
City College of New York, CUNY（纽约市立学院，CUNY）
研究希尔伯特空间中仿射子空间间交替投影问题，通过将其转化为最小二乘泛函最小化，建立残差迭代框架，获得加速变体及收敛保证，还在闭值域假设下得出线性收敛结果及收敛速率。
2026-07-17 cs.NA math.FA math.NA
Subspace power method for symmetric tensor decomposition
提出子空间幂方法(SPM)计算低秩实对称张量的CP分解，通过交替应用SS-HOPM和deflation步骤，在特定秩条件下证明了收敛性与全局最优性，且无需预知CP秩。
2025-04-05 cs.NA math.NA math.OC
Adaptive Schauder Stochastic Mirror Descent in Banach Spaces
Fudan University（复旦大学）
本文将随机镜像下降扩展至巴拿赫空间，提出自适应绍德尔随机镜像下降法，证明其收敛速率并验证其在统计逆问题中的有效性。
2026-11-03 cs.NA math.NA math.OC
Streaming Krylov-Accelerated Stochastic Gradient Descent
Lehigh University（莱斯大学）
本文提出 SKA-SGD，利用流式 Gauss-Seidel 投影、Chebyshev 基 Krylov 子空间和 AMD GPU HIP 实现加速病态随机优化，以 O(s^2) 复杂度获得近机器精度后向误差，并显著优于 SGD 与 Adam。
2025-05-11 cs.LG cs.NA math.NA
Tensor PCA from basis in tensor space
Università Politecnica delle Marche（马尔凯理工大学）
本文提出张量 PCA 的数学框架，通过实自伴张量算子的特征值问题构造张量空间基，并以子空间方法统一处理三种情形，实验验证了其有效性。
2024-01-24 cs.CV cs.LG cs.NA
