Tangent Space Based Alternating Projections for Nonnegative Low Rank Matrix Approximation
Weifang University（潍坊学院）；The University of Hong Kong（香港大学）；Southwestern University of Finance and Economics（西南财经大学）
本文提出了一种新的计算非负矩阵低秩逼近的交替投影方法。在非负低秩矩阵逼近方法中，由于需要奇异值分解，固定秩矩阵在流形上的投影代价很高。我们建议使用流形上的点的切空间来近似流形上的投影，以减少计算量。我们证明了由固定秩矩阵流形和非负矩阵流形的切线空间上的交替投影所产生的序列线性收敛到两个流形的交点上的一个点，该点的收敛点足够接近最优解。这种基于流形上不精确投影的收敛结果是新的，在文献中没有研究过。在数据聚类、模式识别和高光谱数据分析中的数值算例表明，该方法在计算时间和精度方面均优于非负矩阵分解方法.
2020-09-02 cs.CV cs.LG stat.ML
Mixed-Projection Conic Optimization: A New Paradigm for Modeling Rank Constraints
Massachusetts Institute of Technology（麻省理工学院）；London Business School（伦敦商学院）
我们提出了一个框架，用于建模和解决低秩最优化问题的可证明的最优性。我们引入对称投影矩阵，满足$Y^2=Y$，矩阵模拟的二进制变量，满足$z^2=z$，模型秩约束。通过利用正则化和强对偶性，我们证明了这种建模范式在正交投影矩阵的非凸集上产生易于处理的凸优化问题。此外，我们设计了外近似算法来解决低秩问题的可证明的最优性，计算下界通过其半定松弛，并通过舍入和局部搜索技术提供近最优解。我们实现这些数值成分，并首次解决低秩最优化问题，以可证明的最优性。使用目前可用的空间分支定界码，而不是针对投影矩阵，我们可以缩放我们的精确（分别）。近似精确）算法到矩阵，最多30个（分别为600)行/列。我们的算法还提供certifiably附近的最优解较大的问题大小和优于现有的questionistics，通过推导出一种替代流行的核范数松弛，广义的角度松弛从向量到矩阵。总而言之，我们的框架，我们命名为混合投影圆锥优化，解决了低秩问题，以一种易于处理和统一的方式证明最优性。
2021-04-02 cs.LG math.OC stat.ML
Recovery of Joint Probability Distribution from one-way marginals: Low rank Tensors and Random Projections
Amazon（亚马逊公司）
联合概率质量函数（PMF）估计是机器学习的一个基本问题。自由参数的数量与随机变量的数量成指数关系。因此，大多数非参数PMF估计的工作是基于一些结构性假设，如通过概率图形模型，联合概率张量和3路或2路边缘重建低秩的征收集团因子分解，等在目前的工作中，我们链接的随机投影数据的PMF估计问题，使用的想法从层析成像。我们将这个想法与低秩张量分解的想法相结合，以表明我们可以从变换空间中的单向边缘估计联合密度。我们提供了一种新的算法，用于从单向边缘恢复张量的因子，在各种合成和真实世界的数据集上进行测试，并对估计的分类模型进行MAP推理。
2021-03-24 cs.LG eess.SP stat.ML
Low-Rank Matrix Estimation From Rank-One Projections by Unlifted Convex Optimization
Georgia Institute of Technology（佐治亚理工学院）；The Ohio State University（俄亥俄州立大学）
研究了从秩一投影中恢复低秩矩阵的凸估计。使用初始估计的目标$d_1\times d_2$矩阵的秩- $r$的因素，估计承认一个实用的次梯度法操作的空间尺寸$r(d_1+d_2)$。这个属性使得估计显着更具可扩展性比基于提升和半定规划的凸估计。此外，我们提出了一个精简的分析下，真正的高斯测量模型，以及部分去随机化的测量模型，通过使用球形$t$设计的精确恢复。我们表明，在这两个模型的估计成功，具有很高的概率，如果测量的数量超过$r^2 (d_1+d_2)$一些对数因子。这个样本的复杂性改善了现有的非凸迭代算法的结果。
2021-01-10 cs.LG math.ST stat.ML
Label Learning Method Based on Tensor Projection
Xidian University（西安电子科技大学）
本文提出基于张量投影的标签学习方法LLMTP，通过正交投影直接获得聚类标签，并利用张量投影和Schatten p-范数正则化保持视图间空间结构一致，避免后处理并提升多视图聚类效果。
2024-02-26 cs.LG
Compound Rank-k Projections for Bilinear Analysis
University of Technology Sydney（悉尼科技大学）；Northwestern Polytechnical University（西北工业大学）；The University of Queensland（昆士兰大学）
在许多实际应用中，数据由矩阵或高阶张量表示。尽管性能良好，但现有的二维判别分析算法采用单一投影模型来利用判别信息进行投影，使得模型的灵活性较差。本文提出了一种新的用于双线性分析的复合秩k投影算法。CRP直接处理矩阵而不将它们转换为向量，因此它保留了矩阵内的相关性并降低了计算复杂度。与现有的二维的判别分析算法不同，CRP算法的目标函数值单调递增，并且采用多个秩k投影模型，使得搜索空间更大，从而提高了判别能力。
2015-06-03 cs.LG
Memory-Efficient LLM Training by Various-Grained Low-Rank Projection of Gradients
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出 VLoRP 框架，通过引入投影粒度这一新自由度扩展低秩梯度投影，并设计自适应优化器 ProjFactor，在固定内存预算下提升大语言模型微调的稳定性、效率与收敛性。
2025-05-03 cs.LG
A Coupled Random Projection Approach to Large-Scale Canonical Polyadic Decomposition
Dalian University of Technology（大连理工大学）；Xiaomi Inc.（小米公司）
本文提出了一种计算大规模张量的典型多元分解的新算法。所提出的算法推广了随机投影（RAP）技术，这是经常用来计算大规模的分解，从一个单一的投影到多个，但耦合的随机投影（CoRAP）。所提出的CoRAP技术产生一组张量，这些张量一起允许耦合CPD（C-CPD），然后使用C-CPD算法来联合分解这些张量。最后将C-CPD结果进行融合，得到原始大规模数据张量的因子矩阵。随着更多的数据样本共同利用通过C-CPD，建议的CoRAP基于CPD是更准确的比RAP基于CPD的实验来说明所提出的方法的性能。
2021-05-10 cs.LG
TPCH: Tensor-interacted Projection and Cooperative Hashing for Multi-view Clustering
Nanjing University of Science and Technology（南京理工大学）；Southeast University（东南大学）；Sichuan University（四川大学）；Southwest Automation Research Institute, China South Industries Group Corporation（中国南方工业集团公司西南自动化研究所）；Southwest University of Science and Technology（西南科技大学）
TPCH通过将多视图投影矩阵堆叠为张量并利用增强张量核范数学习紧凑哈希表示，以捕获高阶视图交互，从而在大规模多视图聚类中显著提升聚类性能并加速计算。
2024-12-25 cs.LG
Tensor Denoising via Amplification and Stable Rank Methods
Queens College, City University of New York（纽约市立大学皇后学院）；University of Michigan（密歇根大学）；Northeastern University（东北大学）
多线性阵列形式的张量在数据科学应用中无处不在。捕获的真实世界数据，包括视频、高光谱图像和离散化的物理系统，自然会以张量的形式出现，并且经常伴随着噪声。在加性噪声模型下，假设底层干净张量具有低秩，已经创建了许多去噪方法，这些方法利用张量分解通过低秩张量近似来实现去噪。然而，所有这些分解方法都需要估计张量秩，或相关的度量，如张量谱和核范数，所有这些都是NP难问题。在这项工作中，我们利用我们以前开发的框架$\textit{tensor amplification}$，它提供了很好的近似的频谱和核张量规范，去噪合成张量的各种大小，排名和噪声水平，以及来自生理信号的真实世界的张量。我们还介绍了张量秩的两个新概念-- $\textit{stable slice rank}$和$\textit{stable }$ $X$ $\textit{-rank}$ --以及基于它们的估计的新的去噪方法。实验结果表明，在低秩上下文中，基于张量的放大在高信噪比（SNR）设置中提供了相当的去噪性能，并且在噪声（即，低SNR）设置，而稳定的$X$秩方法在生理信号数据上实现了优异的去噪性能。
2023-03-09 cs.LG eess.SP
Tensor Random Projection for Low Memory Dimension Reduction
Cornell（康奈尔大学）；UW-Madison（威斯康星大学麦迪逊分校）；Caltech（加州理工学院）
随机投影减少了一组向量的维度，同时保留了结构信息，例如集合中向量之间的距离。本文提出了一种新的使用行积随机矩阵的随机投影，我们称之为张量随机投影（TRP）。它需要的内存比现有的降维映射少得多。TRP映射被形成为几个较小的随机投影的Khatri-Rao乘积，并且与包括稀疏映射在内的任何基本随机投影兼容，这使得能够以非常低的查询成本并且没有浮点运算来降低维度。我们还开发了一个减少方差的扩展。我们提供了一个理论分析的偏差和方差的TRP，和一个非渐近误差分析的TRP组成的两个较小的地图。合成和MNIST数据上的实验表明，我们的方法执行以及传统的方法，大大减少存储。
2021-04-30 cs.LG cs.NA math.NA
Experimental observation on a low-rank tensor model for eigenvalue problems
Peking University（北京大学）
在这里，我们利用低秩张量模型（LTM）作为函数逼近，结合梯度下降方法，解决本征值问题，包括拉普拉斯算子和谐振子。实验结果表明，基于多项式的低秩张量模型（PLTM）相比，张量神经网络（TNN）的优越性。我们还测试了MNIST数据集上的分类问题的低秩架构。
2023-02-01 cs.LG physics.comp-ph
Beyond Higher Rank: Token-wise Input-Output Projections for Efficient Low-Rank Adaptation
Huazhong University of Science and Technology（华中科技大学）；Shenzhen Technology University（深圳技术大学）；City University of Hong Kong（香港城市大学）；Shenzhen University（深圳大学）
针对标准LoRA无法捕获令牌特定信息的问题，提出TopLoRA，通过根据输入令牌动态调整权重实现逐令牌输入输出投影，在不增加秩的情况下提升微调效果，实验证明其优于LoRA及变体。
2025-10-27 cs.CL cs.LG
GaLore$+$: Boosting Low-Rank Adaptation for LLMs with Cross-Head Projection
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Salesforce AI Research（Salesforce AI研究院）；Tsinghua University（清华大学）
GaLore$+$通过跨头低秩投影、随机化子空间迭代和稀疏编码残差解决GaLore中SVD耗时问题，在保持性能的同时实现约4倍微调加速。
2024-12-15 cs.AI cs.CL cs.LG
Projection-based QLP Algorithm for Efficiently Computing Low-Rank Approximation of Matrices
Xi’an Shiyou University（西安石油大学）；Northwestern Polytechnical University（西北工业大学）
在许多信号处理和数据分析应用中，具有低数值秩的矩阵无所不在。枢轴QLP（p-QLP）算法构造了一个高精度的近似输入低秩矩阵。然而，对于大型矩阵，它在计算上是禁止的。在本文中，我们介绍了一种新的算法，称为基于投影的部分QLP（PbP-QLP），有效地近似的p-QLP具有高精度。在我们的工作中，基本的是利用随机化，与p-QLP相比，PbP-QLP不使用旋转策略。因此，PbP-QLP可以利用现代计算机体系结构，甚至比竞争的随机算法更好。我们提出的PbP-QLP算法的效率和有效性进行了研究，通过各类合成和现实世界的数据矩阵。
2021-03-12 cs.LG eess.SP
Task-based Generation of Optimized Projection Sets using Differentiable Ranking
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Fraunhofer Development Center X-Ray Technology EZRT（弗劳恩霍夫X射线技术发展中心（EZRT））；Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一种在计算机断层扫描（CT）中选择有价值的投影以增强图像重建和诊断的方法。该方法集成了两个重要的因素，基于投影的可检测性和数据的完整性，到一个单一的前馈神经网络。该网络评估预测的价值，通过可微排名函数对其进行处理，并使用直通估计器进行最终选择。通过培训期间提供的标签确保数据完整性。该方法消除了强制执行数据完整性的必要性，这可能会排除有价值的预测。该方法在非破坏性测试场景中的模拟数据上进行评估，其目的是在指定的感兴趣区域内最大限度地提高重建质量。我们取得了可比的结果，以前的方法，奠定了基础，使用重建为基础的损失函数学习选择的投影。
2023-03-21 cs.CV cs.LG eess.IV
Exact Rank-Space KL Projection for Shared-Marginal Low-Rank Factors: Application to Doubly Stochastic Clustering
该研究提出共享边缘低秩因子的精确秩空间KL投影方法，将其应用于双随机图学习，结合稀疏拟合等技术实现高效聚类，取得良好性能。
2026-08-11 cs.LG math.OC
Low rank tensor completion with sparse regularization in a transformed domain
University of Electronic Science and Technology of China（电子科技大学）
张量完备化是一个具有挑战性的问题，有着广泛的应用。基于张量的低秩先验，已经提出了许多相关的模型。然而，低秩先验可能不足以从观察到的不完整张量恢复原始张量。本文利用张量的低秩和稀疏先验，提出了一种张量完备化方法。具体地，张量完成任务可以被公式化为具有稀疏正则化器的低秩最小化问题。基于张量奇异值分解（T-SVD）的张量截断核范数刻画了其低秩性质，与张量核范数相比，T-SVD是张量管秩的一种更好的近似.而稀疏正则化子是在离散余弦变换（DCT）域中通过$\ell_{1}$ -范数来实现的，它能更好地利用完备数据的局部稀疏性。为了解决最优化问题，我们采用了交替方向法的乘法器（ADMM），其中我们只需要解决几个子问题，有封闭形式的解决方案。在真实图像和视频上的大量实验表明，该方法具有更好的性能比现有的国家的最先进的方法。
2019-11-19 cs.LG cs.NA math.NA
Almost-lossless compression of a low-rank random tensor
Huawei Research Center（华为研究中心）
在这项工作中，我们建立了一个渐近极限的几乎-无损压缩的随机，有限的字母表张量，它允许一个低秩的规范polyadic分解。
2022-10-23 cs.IT cs.LG eess.SP
