Updating a truncated Singular Value Decomposition (SVD) is crucial in representation learning, especially when dealing with large-scale data matrices that continuously evolve in practical scenarios. Aligning SVD-based models with fast-paced updates becomes increasingly important. Existing methods for updating truncated SVDs employ Rayleigh-Ritz projection procedures, where projection matrices are augmented based on original singular vectors. However, these methods suffer from inefficiency due to the densification of the update matrix and the application of the projection to all singular vectors. To address these limitations, we introduce a novel method for dynamically approximating the truncated SVD of a sparse and temporally evolving matrix. Our approach leverages sparsity in the orthogonalization process of augmented matrices and utilizes an extended decomposition to independently store projections in the column space of singular vectors. Numerical experiments demonstrate a remarkable efficiency improvement of an order of magnitude compared to previous methods. Remarkably, this improvement is achieved while maintaining a comparable precision to existing approaches.
Randomized block Krylov method for approximation of truncated tensor SVD
Research Center of the Artificial Intelligence Institute, and Lab of Machine Learning and Knowledge Representation, Innopolis University（因诺波利斯大学人工智能研究所研究中心及机器学习和知识表示实验室）；Department of Teleinformatics Engineering, Federal University of Ceara（福塔莱萨塞阿拉联邦大学电信信息工程系）
Hot-SVD: Higher-Order t-Singular Value Decomposition for Tensors based on Tensor-Tensor Product
本文考虑将三阶张量（管矩阵）的t-SVD推广到任意阶张量（N-1阶管张量）。\color{black}这种推广不同于阶数大于3的张量的t-SVD [Martin，Shafer，Larue，SIAM J. Sci.计算：35（2013），A474-A490]。分解被称为热SVD，因为它可以被识别为HOSVD的张量-张量积版本。证明了Hot-SVD的存在性。为此，一个新的转置三阶张量。这种转置在Hot-SVD的验证中至关重要，因为它是管张量与其展开之间的桥梁。我们建立了一些性质的热SVD，类似于HOSVD，并在这样做，我们强调的观点，管张量。然后引入截断和顺序截断的Hot-SVD，其误差界为$\sqrt{N}$（对于$(N+1)$阶张量）.我们提供了数值例子来验证热SVD，截断热SVD，和顺序截断热SVD。
Split Bregman Isotropic and Anisotropic Image Deblurring with Kronecker Product Sum Approximations using Single Precision Enlarged-GKB or RSVD Algorithms to provide low rank truncated SVDs
Tensor-Tensor Products for Optimal Representation and Compression
在这个大数据、数据分析和机器学习的时代，必须找到压缩大型数据集的方法，以便不会丢失后续分析所需的内在特征。传统的数据降维和特征提取的主力一直是矩阵SVD，其前提是数据已被安排在矩阵格式。我们在这项研究中的主要目标是表明，高维数据集在被视为张量（又名多路数组）并在张量-张量积结构下通过张量-SVD压缩时更具可压缩性（Kilmer和Martin，2011; Kernfeld等人，2015）。首先，我们证明EckartYoung最优性结果的家庭张量SVD在两种不同的截断策略。由于这种最优性性质可以在矩阵和基于张量的代数中得到证明，因此出现了一个基本问题：张量构造是否在表示效率方面优于矩阵构造？答案是肯定的，正如我们证明等维生成空间的张量-张量表示优于其对应的矩阵时所示。然后，我们研究截断张量SVD提供的压缩表示在理论上和压缩性能上如何与其最接近的基于张量的模拟截断HOSVD相关（De Lathauwer等人，2000; De Lathauwer和Vandewalle，2004），从而展示了我们基于张量的算法的潜在优势。最后，我们提出了新的张量截断SVD变体，即多路张量SVD，提供了进一步的近似表示效率，并讨论了在哪些条件下它们被认为是最佳的。最后，我们的数值研究表明该理论的实用性。
Modified Truncated Randomized Singular Value Decomposition (MTRSVD) Algorithms for Large Scale Discrete Ill-posed Problems with General-Form Regularization
