Tangent Space Based Alternating Projections for Nonnegative Low Rank Matrix Approximation
Weifang University（潍坊学院）；The University of Hong Kong（香港大学）；Southwestern University of Finance and Economics（西南财经大学）
本文提出了一种新的计算非负矩阵低秩逼近的交替投影方法。在非负低秩矩阵逼近方法中，由于需要奇异值分解，固定秩矩阵在流形上的投影代价很高。我们建议使用流形上的点的切空间来近似流形上的投影，以减少计算量。我们证明了由固定秩矩阵流形和非负矩阵流形的切线空间上的交替投影所产生的序列线性收敛到两个流形的交点上的一个点，该点的收敛点足够接近最优解。这种基于流形上不精确投影的收敛结果是新的，在文献中没有研究过。在数据聚类、模式识别和高光谱数据分析中的数值算例表明，该方法在计算时间和精度方面均优于非负矩阵分解方法.
2020-09-02 cs.CV cs.LG stat.ML
Accumulation of Sub-Sampling Matrices with Applications to Statistical Computation
Departments of Mathematics and Computer Science, Hong Kong Baptist University（香港 Baptist 大学数学与计算机科学系）；Department of Mathematics, University of Maryland, College Park（马里兰大学 College Park 分校数学系）
本文提出积累子采样方法，通过累积多个子采样投影，提升统计效率并控制有效矩阵大小，应用于统计模型中实现计算效率的提升。
2026-01-10 cs.LG stat.CO stat.ML
Random Projection Flows for Efficient Manifold Density Estimation
Department of Computer Science（计算机科学系）；Toronto Metropolitan University（多伦多 Metropolitan 大学）
本文提出了一种基于随机投影的高效密度估计方法，通过随机半正交矩阵实现快速且高效的单射流建模，为生成建模提供了新的理论基础和实用工具。
2026-07-31 cs.LG
Regularized Optimization on Grassmann Manifold: Theory, Algorithm and Applications
Department of Statistics, Faculty of Arts and Sciences at Beijing Normal University, Zhuhai（北京师范大学珠海分校文理学院统计系）
针对谱方法在噪声等情况下性能受限问题，提出RPMA框架用于秩 - K投影矩阵鲁棒估计，将模型转化为格拉斯曼流形上的优化问题，推导相关条件和稳定性，开发高效算法，实验证明其在投影矩阵恢复及社区检测、聚类方面优于传统方法。
2026-07-24 cs.LG
Free Random Projection for In-Context Reinforcement Learning
AIST and CoeFont Co., Ltd.（AIST和CoeFont公司）；Kyoto University（京都大学）；Institute of Science Tokyo（东京科学研究院）
本文提出自由随机投影，通过自由概率理论构建随机正交矩阵，自然产生层级结构，提升强化学习的泛化能力。
2026-04-14 cs.LG math.PR stat.ML
Rank-One Measurements of Low-Rank PSD Matrices Have Small Feasible Sets
Rice University（莱斯大学）
我们研究的约束集在确定低秩，半正定（PSD）矩阵传感问题的解决方案的作用。我们考虑的设置涉及秩一传感矩阵：特别是，给定一组近似低秩PSD矩阵的秩一投影，我们表征满足测量的PSD矩阵集的半径。这个结果产生一个采样率，以保证单例解集时，真正的矩阵是低秩，这样的目标函数或算法的选择是无关紧要的，在其恢复。我们讨论了这一贡献的应用，并比较它与最近的文献隐式正则化类似的问题。我们证明了这一结果的实际影响，通过应用圆锥投影方法PSD矩阵恢复不纳入低秩正则化。
2021-04-06 cs.LG math.OC stat.ML
Low-rank features based double transformation matrices learning for image classification
Jiangnan University（江南大学）
线性回归是一种监督方法，已广泛用于分类任务。为了将线性回归应用于分类任务，提出了一种松弛回归目标的技术。然而，基于该技术的方法忽略了由于数据中包含的复杂信息而对单个变换矩阵的压力。在这种情况下，单一的变换矩阵过于严格，无法提供灵活的投影，因此有必要对变换矩阵采用松弛。提出了一种基于潜在低秩特征提取的双变换矩阵学习方法。其核心思想是使用双变换矩阵进行松弛，将学习到的主特征和显著特征从两个方向联合投影到标签空间中，从而分担单个变换矩阵的压力。首先，低秩特征学习的潜在低秩表示（LatLRR）方法，从两个方向处理的原始数据。在这个过程中，稀疏噪声也被分离出来，这在一定程度上消除了它对投影学习的干扰。然后，引入两个变换矩阵分别处理这两个特征，提取对分类有用的信息。最后，这两个转换矩阵可以很容易地通过交替优化方法获得。通过这样的处理，即使当样本中包含大量冗余信息时，我们的方法也可以获得易于分类的投影结果。在多个数据集上的实验证明了该方法的有效性，特别是对于复杂的场景。
2022-02-17 cs.AI cs.CV cs.LG
DBA: Efficient Transformer with Dynamic Bilinear Low-Rank Attention
Zhejiang University（浙江大学）
为了提高Transformer的效率，人们进行了许多研究，从二次型到线性型。其中，基于低秩的方法旨在学习投影矩阵以压缩序列长度。然而，投影矩阵一旦被学习就被固定，其利用用于相同位置中的令牌的专用系数来压缩序列长度。采用这样的输入不变投影忽略了序列的最具信息量的部分随序列而变化的事实，因此未能保留位于不同位置的最有用的信息。另外，以往的高效Transformers算法只关注了序列长度的影响，而忽略了隐状态维数的影响。为了解决上述问题，我们提出了一种高效且有效的注意力机制，即动态双线性低秩注意力（DBA），它通过输入敏感的动态投影矩阵压缩序列长度，并通过联合优化序列长度和隐藏状态维度来实现线性时间和空间复杂度，同时保持最先进的性能。具体来说，我们首先从理论上证明了序列长度可以从信息论的一个新的角度进行非破坏性压缩，压缩矩阵由输入序列动态确定。此外，我们表明，隐藏状态的尺寸可以近似扩展的约翰逊-林登施特劳斯引理，优化的双线性形式的注意。理论分析表明，DBA能够很好地捕捉交叉注意问题中的高阶关系。在不同序列长度条件下的任务上的实验表明，与各种强基线相比，DBA实现了最先进的性能，同时保持了更高的速度和更少的内存消耗。
2022-11-24 cs.LG
Optimal Iterative Sketching with the Subsampled Randomized Hadamard Transform
Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）
随机投影或草图广泛用于许多算法和学习环境中。在这里，我们研究的性能迭代海森素描最小二乘问题。通过利用和扩展最近的结果从随机矩阵理论的限制矩阵的谱随机投影与子采样随机Hadamard变换，截断Haar矩阵，我们可以研究和比较所得到的算法的精度水平，以前是不可能的。我们的技术贡献包括一个新的公式的逆投影矩阵的二阶矩。我们也找到了简单的渐近最优步长和收敛速度的封闭形式的表达式。这表明Haar矩阵和随机Hadamard矩阵的收敛速度是相同的，并渐近改善高斯随机投影。这些技术可以应用于采用随机化降维的其他算法。
2020-10-23 cs.LG math.OC
Randomized SVD Approximations for Spectral Co-Clustering of Word-Document Matrices
Clemson University（克莱姆森大学）
本文提出两种随机化SVD近似方法用于词-文档矩阵的谱共聚类，通过随机投影和随机采样降低计算成本，实验表明方法选择应依据矩阵稀疏性。
2026-09-18 cs.AI cs.LG
Estimation of the sample covariance matrix from compressive measurements
University of Colorado Boulder（科罗拉多大学博尔德分校）
本文主要研究从被称为压缩测量的数据的低维随机投影中估计样本协方差阵。特别是，我们提出了一个无偏估计量，以提取协方差结构的压缩测量得到的一般类随机投影矩阵组成的独立同分布。零均值项和有限前四阶矩。与以前的工作相比，我们没有对底层的协方差阵进行结构性假设，例如低秩。事实上，我们的分析是基于非贝叶斯数据设置，不需要对数据样本集进行分布假设。此外，受投影矩阵的一般性的启发，我们提出了一种利用稀疏Rademacher矩阵的协方差估计方法。因此，我们的算法可以用来估计的协方差阵在有限的存储器和计算能力的采集设备的应用。实验结果表明，我们的方法允许精确估计的样本协方差阵在几个现实世界的数据集，包括视频数据。
2017-04-28 cs.LG stat.ML
Fair Canonical Correlation Analysis
University of Pennsylvania（宾夕法尼亚大学）
本文针对CCA中的公平性问题，提出通过最小化受保护属性导致的相关性差异误差来学习全局投影矩阵，并在合成与真实数据上验证其可在不损失准确性的情况下减少偏见。
2023-09-27 cs.LG stat.ML
Improving Temporal Link Prediction via Temporal Walk Matrix Projection
Beihang University（北京航空航天大学）
针对时序链路预测中现有相对编码计算效率低、缺时序信息的问题，提出将相对编码统一为时序游走矩阵函数，构建融合时间衰减的TPNet模型，通过带理论保证的随机特征传播隐式维护矩阵，在13个基准数据集上效果和效率均优于现有方法。
2024-10-05 cs.LG
Comparison of Classification Methods for Very High-Dimensional Data in Sparse Random Projection Representation
Arcada UAS（阿卡达应用科学大学）
大数据趋势激发了特征驱动的学习任务，这是传统机器学习模型无法处理的。非结构化数据在转换为向量形式时会产生具有数百万列的非常大的二进制矩阵。然而，这样的数据通常是稀疏的，因此可以通过使用稀疏随机投影来管理。本文研究了适用于这类数据的高效非迭代和迭代法，并对两个具有代表性的具有数百万样本和特征的机器学习任务进行了结果评估。引入有效的Jaccard核作为稀疏随机投影的替代方案。研究结果表明，非迭代法可以找到更大，更准确的模型比迭代法在不同的应用场景。
2019-12-18 cs.LG stat.ML
AFLoRA: Adaptive Freezing of Low Rank Adaptation in Parameter Efficient Fine-Tuning of Large Models
University of Southern California（南加州大学）；Intel Labs（英特尔实验室）
本文提出AFLoRA参数高效微调方法，通过冻结分数自适应冻结低秩投影矩阵，在GLUE上取得最高0.85%平均提升，并显著减少参数与运行时间。
2024-04-16 cs.AI cs.CL cs.LG
Sparse Matrix-based Random Projection for Classification
作为一种典型的降维技术，随机投影可以简单地用线性投影实现，同时以高概率保持高维数据的两两距离。考虑到该技术主要用于分类任务，本文从特征选择的角度研究了随机矩阵的构造，而不是传统的距离保持。这产生了一个有点令人惊讶的理论结果，即每列恰好有一个非零元素的稀疏随机矩阵，如果投影维数足够大（即，不比特征元素的数量小得多），则可以比其他更密集的矩阵呈现更好的特征选择性能;否则，它将执行与其他矩阵相同的操作。对于随机投影，这一理论结果意味着在复杂度和性能上都有相当大的改善，这一点在合成数据和真实数据上的分类实验中得到了广泛的证实。
2014-10-12 cs.CV cs.LG stat.ML
Low-rank matrix recovery with non-quadratic loss: projected gradient method and regularity projection oracle
University of Washington（华盛顿大学）；Rutgers University（罗格斯大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
现有的低秩矩阵恢复的结果主要集中在二次损失，它享有良好的性质，如限制强凸性/光滑性（RSC/RSM）和良好的条件所有低秩矩阵。然而，许多有趣的问题涉及更一般的，非二次损失，不满足这些属性。对于这些问题，标准的非凸方法，如秩约束投影梯度下降（a.k.a.迭代硬阈值）和Burer-Monteiro分解可能具有较差的经验性能，并且没有令人满意的理论保证这些算法的全局和快速收敛。在本文中，我们证明了在可证明的低秩恢复与非二次损失的关键组成部分是一个正则投影预言。这个预言限制迭代到一个适当的有界集合内的低秩矩阵，在该集合上，损失函数表现良好，并满足一组近似RSC/RSM条件。相应地，我们分析了（平均）投影梯度法配备这样的预言，并证明它的全局收敛性和线性。我们的研究结果适用于广泛的非二次低秩估计问题，包括一位矩阵传感/完成，个性化的秩聚合，更广泛的广义线性模型秩约束。
2021-11-15 cs.LG math.OC math.ST
