Exploring Gradient Subspaces: Addressing and Overcoming LoRA's Limitations in Federated Fine-Tuning of Large Language Models
Indian Institute of Technology Bombay(印度理工学院孟买分校)
针对联邦学习中基于LoRA的大语言模型参数高效微调存在的子空间学习受限问题,本文通过理论与实证分析证明直接权重聚合更优,且GaLore结合直接权重聚合在多模态上优于现有联邦LoRA方法,为高效联邦微调提供新方向。
2025-01-14 cs.AI cs.LG
SwitchLoRA: Switched Low-Rank Adaptation Can Learn Full-Rank Information
China Mobile (Suzhou) Software Technology Co. Ltd.(中国移动(苏州)软件技术有限公司)
本文提出 SwitchLoRA,一种通过频繁平滑替换 LoRA 适配器可训练参数并增量更新低秩子空间的参数高效预训练方法,在降低通信和内存开销的同时超越全秩训练准确率。
2025-01-02 cs.AI cs.CL cs.LG
Lotus: Efficient LLM Training by Randomized Low-Rank Gradient Projection with Adaptive Subspace Switching
Hong Kong Baptist University, School of Science, Hong Kong, China(香港 Baptist 大学,科学学院,香港,中国);Fudan University, School of Data Science, Shanghai, China(复旦大学,数据科学学院,上海,中国);New York University, Tandon School of Engineering, New York, USA(纽约大学,Tandon 工程学院,纽约,美国)
Lotus通过随机低秩梯度投影与自适应子空间切换,实现LLM训练的高效优化,减少30%训练时间和40%内存消耗。
2026-02-01 cs.AI cs.LG
GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection
California Institute of Technology(加州理工学院);University of Texas at Austin(德克萨斯大学奥斯汀分校);Meta AI;Carnegie Mellon University(卡内基梅隆大学)
本研究提出GaLore训练策略,通过梯度低秩投影实现全参数学习,在保持性能的同时显著减少内存使用,首次证明在24GB消费级GPU上预训练7B模型的可行性。
2024-06-02 cs.LG
Gradient Weight-normalized Low-rank Projection for Efficient LLM Training
University of Amsterdam(阿姆斯特丹大学)
本文提出GradNormLoRP,通过权重归一化与权重、梯度低秩近似降低LLM训练内存,在保持性能的同时支持消费级GPU预训练并优于LoRA。
2025-01-05 cs.AI cs.LG
Natural GaLore: Accelerating GaLore for memory-efficient LLM Training and Fine-tuning
ERGO Group AG(ERGO集团股份公司)
本文提出 Natural GaLore,利用逆经验 Fisher 信息矩阵和 Woodbury 恒等式加速低秩梯度优化,在预训练和微调任务中以更少内存超越 GaLore、LoRA 甚至 GPT4-Turbo。
2024-10-21 cs.LG cs.MA
Palu: Compressing KV-Cache with Low-Rank Projection
National Yang Ming Chiao Tung University(国立阳明交通大学);University of Washington(华盛顿大学);Cornell University(康奈尔大学)
针对现有KV-Cache压缩方法无法利用KV张量隐藏维度冗余的问题,本文提出Palu框架,通过低秩投影实现隐藏维度压缩,结合多项优化技术,在保证准确率的同时显著降低内存占用并提升推理速度。
2024-11-04 cs.AI cs.LG
Scalable Parameter and Memory Efficient Pretraining for LLM: Recent Algorithmic Advances and Benchmarking
Department of Electrical and Computer Engineering, University of Minnesota(明尼苏达大学电气与计算机工程系);Peking University(北京大学);School of Mathematics and Statistics, University of Sydney(悉尼大学数学与统计学学院)
本文综述了高效预训练的最新方法,对代表性内存高效预训练方法进行了基准测试,并提出权重重构和动量重置两种技术,在1B模型上以减少约25%内存实现更低困惑度。
2025-05-28 cs.AI cs.LG
Backward-Friendly Optimization: Training Large Language Models with Approximate Gradients under Memory Constraints
Sun Yat-sen University(中山大学)
针对LLM全参数微调内存瓶颈,提出反向友好优化器GradLite,通过低秩雅可比近似和误差反馈校正放宽精确梯度要求,减少高达50%内存且性能不降。
2025-10-26 cs.AI cs.LG
Continual Gradient Low-Rank Projection Fine-Tuning for LLMs
Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence(北京交通大数据挖掘与具身智能重点实验室);School of Computer Science and Technology, Beijing Jiaotong University(北京交通大学计算机科学与技术学院);State Key Laboratory of Advanced Rail Autonomous Operation(先进轨道交通自主运行国家重点实验室)
本文提出GORP训练策略,通过在统一低秩梯度子空间内协同更新全量与低秩参数,解决LLM持续微调中效率与表达能力的矛盾,在持续学习基准上优于现有方法。
2025-07-03 cs.AI cs.CE cs.LG
SkipCat: Rank-Maximized Low-Rank Compression of Large Language Models via Shared Projection and Block Skipping
SkipCat通过共享投影和块跳过技术实现低秩压缩,无需额外微调即可在相同压缩率下提升零样本任务的准确率7%。
2026-10-28 cs.AI cs.CL
COAP: Memory-Efficient Training with Correlation-Aware Gradient Projection
ByteDance Inc.(字节跳动公司);Rutgers University(罗格斯大学)
本文提出COAP方法,通过相关性感知的低秩梯度投影减少优化器内存占用,在保持训练性能的同时降低计算开销,并在多种任务上优于现有方法。
2025-03-12 cs.AI cs.CL cs.CV
Sparsity Outperforms Low-Rank Projections in Few-Shot Adaptation
LIVIA;ILLS;Department of Systems Engineering, ÉTS Montreal(系统工程系,蒙特利尔ÉTS);ÉTS Montreal(蒙特利尔ÉTS)
针对视觉语言模型少样本自适应中的过拟合与计算限制问题,提出稀疏优化(SO)框架,通过局部稀疏全局稠密和局部随机全局重要两大范式动态调整极少参数,在11个数据集上实现最优性能且降低内存开销。
2025-08-11 cs.AI cs.CV
Subspace Optimization for Large Language Models with Convergence Guarantees
Peking University(北京大学);Zhongguancun Academy(中关村学院);Beihang University(北航大学);AI for Science Institute, Beijing, China(人工智能科学研究院,北京,中国);National Engineering Laboratory for Big Data Analytics(大数据分析与应用国家工程实验室)
本文揭示GaLore在随机设置下不保证收敛并给出反例,进而提出可证明收敛的新变体GoLore,通过理论分析和实验验证了其在标准批量下的收敛性。
2025-06-04 cs.LG math.OC
No Subspace to Track: Non-Identifiability and Optimizer State in Low-Rank Training
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
研究低秩训练中优化器子空间不可识别性问题,发现不同小批量计算的子空间估计差异大,平均无法恢复其余方向。提出将刷新视为坐标变化,如LDAdam表现良好,还明确了GaLore有效原因及相关检查要点在于可重现秩k*。
2026-07-21 cs.LG math.OC stat.ML
MoARa: Module-Aware Rank Allocation and Structure-Preserving Decomposition for Low-Rank LLM Pre-training
Seoul National University(首尔大学)
MoARa通过模块感知秩分配与幅度-方向分解,在多种LLM架构上减少低秩预训练步数和墙钟时间,最高达41.7%步数减少。
2026-09-15 cs.CL cs.LG
PLUMAGE: Probabilistic Low rank Unbiased Min Variance Gradient Estimator for Efficient Large Model Training
Technion(以色列理工学院)
PLUMAGE 提出一种概率低秩无偏最小方差梯度估计器,解决现有低秩方法的偏差、方差和优化器状态错位问题,在相似资源下显著缩小全秩优化差距。
2025-05-23 cs.LG stat.ML
BlockLLM: Memory-Efficient Adaptation of LLMs by Selecting and Optimizing the Right Coordinate Blocks
University of British Columbia(不列颠哥伦比亚大学);Yahoo! Research(雅虎研究院);ServiceNow Research(ServiceNow研究院)
BlockLLM受块坐标下降启发,通过选择并优化少量坐标块实现LLM内存高效微调与预训练,在GLUE基准上以少于5%参数取得最先进困惑度,并显著降低内存占用。
2024-12-15 cs.LG
Rethinking LoRA for Data Heterogeneous Federated Learning: Subspace and State Alignment
College of Computing and Data Science, Nanyang Technological University, Singapore.(南洋理工大学计算机与数据科学学院);Department of Electrical and Computer Engineering, The University of British Columbia, Vancouver, BC, Canada.(不列颠哥伦比亚大学电子与计算机工程系);Vector Institute, Canada(加拿大向量研究所);The Hong Kong Polytechnic University(香港理工大学)
FedGaLore通过子空间优化与漂移鲁棒同步提升非IID联邦学习中LoRA的鲁棒性和准确性。
2026-02-02 cs.AI cs.LG
FRUGAL: Memory-Efficient Optimization by Reducing State Overhead for Scalable Training
Moscow Institute of Physics and Technology, Russia(莫斯科物理技术学院);Ivannikov Institute for System Programming RAS, Russia(伊万诺夫系统编程研究所);Skolkovo Institute of Science and Technology, Russia(斯克尔罗沃科学与技术研究所);Mohamed bin Zayed University of Artificial Intelligence, UAE(穆罕默德·本·扎耶德人工智能大学)
本文提出 FRUGAL 框架,通过梯度拆分实现全秩更新,在低维方向使用 Adam 等高内存优化器、其余方向使用 SGD 等无状态方法,从而在固定内存预算下提升预训练和微调性能。
2025-08-14 cs.LG
Low-rank Momentum Factorization for Memory Efficient Training
Department of Computer Science and Engineering(计算机科学与工程系);The Pennsylvania State University(宾夕法尼亚州立大学)
提出MoFaSGD方法,通过动态维护一阶动量的低秩SVD表示实现内存高效微调,在理论上保证最优收敛速率,并在大模型对齐基准上实现了内存与性能的优异权衡。
2025-07-10 cs.LG
Memory-Efficient Differentially Private Training with Gradient Random Projection
University of Delaware(德克萨斯大学);University of Southern California(南加州大学);Meta;Amazon(亚马逊)
本文提出DP-GRAPE方法,通过随机高斯矩阵替代SVD子空间,减少内存使用并保持与一阶DP方法相当的效用,同时消除了昂贵的SVD计算需求,显著提升内存效率和模型性能。
2026-05-18 cs.LG
MLorc: Momentum Low-rank Compression for Memory Efficient Large Language Model Adaptation
University of Virginia(弗吉尼亚大学);National University of Singapore(新加坡国立大学);Meta;University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出MLorc方法,通过压缩和重建矩阵参数动量以降低内存消耗,相比LoRA和GaLore在内存效率和训练动态保留方面更优,理论和实验均验证其有效性。
2026-04-25 cs.IT cs.LG math.IT
Compound Rank-k Projections for Bilinear Analysis
University of Technology Sydney(悉尼科技大学);Northwestern Polytechnical University(西北工业大学);The University of Queensland(昆士兰大学)
在许多实际应用中,数据由矩阵或高阶张量表示。尽管性能良好,但现有的二维判别分析算法采用单一投影模型来利用判别信息进行投影,使得模型的灵活性较差。本文提出了一种新的用于双线性分析的复合秩k投影算法。CRP直接处理矩阵而不将它们转换为向量,因此它保留了矩阵内的相关性并降低了计算复杂度。与现有的二维的判别分析算法不同,CRP算法的目标函数值单调递增,并且采用多个秩k投影模型,使得搜索空间更大,从而提高了判别能力。
2015-06-03 cs.LG
Memory-Efficient LLM Training by Various-Grained Low-Rank Projection of Gradients
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出 VLoRP 框架,通过引入投影粒度这一新自由度扩展低秩梯度投影,并设计自适应优化器 ProjFactor,在固定内存预算下提升大语言模型微调的稳定性、效率与收敛性。
2025-05-03 cs.LG
Tangent Space Based Alternating Projections for Nonnegative Low Rank Matrix Approximation
Weifang University(潍坊学院);The University of Hong Kong(香港大学);Southwestern University of Finance and Economics(西南财经大学)
本文提出了一种新的计算非负矩阵低秩逼近的交替投影方法。在非负低秩矩阵逼近方法中,由于需要奇异值分解,固定秩矩阵在流形上的投影代价很高。我们建议使用流形上的点的切空间来近似流形上的投影,以减少计算量。我们证明了由固定秩矩阵流形和非负矩阵流形的切线空间上的交替投影所产生的序列线性收敛到两个流形的交点上的一个点,该点的收敛点足够接近最优解。这种基于流形上不精确投影的收敛结果是新的,在文献中没有研究过。在数据聚类、模式识别和高光谱数据分析中的数值算例表明,该方法在计算时间和精度方面均优于非负矩阵分解方法.
2020-09-02 cs.CV cs.LG stat.ML
AFLoRA: Adaptive Freezing of Low Rank Adaptation in Parameter Efficient Fine-Tuning of Large Models
University of Southern California(南加州大学);Intel Labs(英特尔实验室)
本文提出AFLoRA参数高效微调方法,通过冻结分数自适应冻结低秩投影矩阵,在GLUE上取得最高0.85%平均提升,并显著减少参数与运行时间。
2024-04-16 cs.AI cs.CL cs.LG
Beyond Higher Rank: Token-wise Input-Output Projections for Efficient Low-Rank Adaptation
Huazhong University of Science and Technology(华中科技大学);Shenzhen Technology University(深圳技术大学);City University of Hong Kong(香港城市大学);Shenzhen University(深圳大学)
针对标准LoRA无法捕获令牌特定信息的问题,提出TopLoRA,通过根据输入令牌动态调整权重实现逐令牌输入输出投影,在不增加秩的情况下提升微调效果,实验证明其优于LoRA及变体。
2025-10-27 cs.CL cs.LG
Projection-based QLP Algorithm for Efficiently Computing Low-Rank Approximation of Matrices
Xi’an Shiyou University(西安石油大学);Northwestern Polytechnical University(西北工业大学)
在许多信号处理和数据分析应用中,具有低数值秩的矩阵无所不在。枢轴QLP(p-QLP)算法构造了一个高精度的近似输入低秩矩阵。然而,对于大型矩阵,它在计算上是禁止的。在本文中,我们介绍了一种新的算法,称为基于投影的部分QLP(PbP-QLP),有效地近似的p-QLP具有高精度。在我们的工作中,基本的是利用随机化,与p-QLP相比,PbP-QLP不使用旋转策略。因此,PbP-QLP可以利用现代计算机体系结构,甚至比竞争的随机算法更好。我们提出的PbP-QLP算法的效率和有效性进行了研究,通过各类合成和现实世界的数据矩阵。
2021-03-12 cs.LG eess.SP
Seq2Tens: An Efficient Representation of Sequences by Low-Rank Tensor Projections
University of Oxford(牛津大学)
时间序列、视频或文本等顺序数据可能很难分析,因为有序结构会产生复杂的依赖关系。其核心是不可交换性,在这个意义上,重新排序序列的元素可以完全改变其含义。我们使用一个经典的数学对象-张量代数-来捕捉这种依赖关系。为了解决高阶张量固有的计算复杂性,我们使用低秩张量投影的组合。这为神经网络提供了模块化和可扩展的构建块,这些构建块在标准基准上提供了最先进的性能,例如多变量时间序列分类和视频生成模型。
2021-07-30 cs.LG stat.ML
Exact Rank-Space KL Projection for Shared-Marginal Low-Rank Factors: Application to Doubly Stochastic Clustering
该研究提出共享边缘低秩因子的精确秩空间KL投影方法,将其应用于双随机图学习,结合稀疏拟合等技术实现高效聚类,取得良好性能。
2026-08-11 cs.LG math.OC
Structural Conditions for Projection-Cost Preservation via Randomized Matrix Multiplication
Purdue University(普渡大学)
投影成本保持是一种低秩近似保证,它确保可以使用原始数据矩阵的较小草图来保持任何秩- $k$投影的成本。我们提出了一个一般的结构性的结果,概述了四个充分条件,以实现项目成本保存。这些条件可以使用随机线性代数文献中的工具来满足。
2018-08-17 cs.LG stat.ML
Attention-Weighted Value Projection for KV-Cache Compression
fraQtl AI Research
本文比较了Transformer推理中KV缓存压缩的两种策略:秩缩减和量化,发现量化在存储预算下表现更优,且在混合基线中仍保持优势,主要贡献在于证明保留维度优于坐标系统。
2026-09-09 cs.AI cs.CL cs.LG
Mixed-Projection Conic Optimization: A New Paradigm for Modeling Rank Constraints
Massachusetts Institute of Technology(麻省理工学院);London Business School(伦敦商学院)
我们提出了一个框架,用于建模和解决低秩最优化问题的可证明的最优性。我们引入对称投影矩阵,满足$Y^2=Y$,矩阵模拟的二进制变量,满足$z^2=z$,模型秩约束。通过利用正则化和强对偶性,我们证明了这种建模范式在正交投影矩阵的非凸集上产生易于处理的凸优化问题。此外,我们设计了外近似算法来解决低秩问题的可证明的最优性,计算下界通过其半定松弛,并通过舍入和局部搜索技术提供近最优解。我们实现这些数值成分,并首次解决低秩最优化问题,以可证明的最优性。使用目前可用的空间分支定界码,而不是针对投影矩阵,我们可以缩放我们的精确(分别)。近似精确)算法到矩阵,最多30个(分别为600)行/列。我们的算法还提供certifiably附近的最优解较大的问题大小和优于现有的questionistics,通过推导出一种替代流行的核范数松弛,广义的角度松弛从向量到矩阵。总而言之,我们的框架,我们命名为混合投影圆锥优化,解决了低秩问题,以一种易于处理和统一的方式证明最优性。
2021-04-02 cs.LG math.OC stat.ML
On the Convergence of Projected-Gradient Methods with Low-Rank Projections for Smooth Convex Minimization over Trace-Norm Balls and Related Problems
Technion - Israel Institute of Technology(以色列理工学院)
单位迹范数球上的光滑凸最小化问题是机器学习、信号处理、统计等领域中的一个重要最优化问题,它是恢复低秩矩阵的基础。虽然凸优化的一阶方法具有最优的收敛速度,但在最坏的情况下,它们需要在每次迭代时计算满秩SVD,以便计算到迹范数球上的投影。然而,这些满秩SVD计算禁止将此类方法应用于大型问题。一个简单而自然的启发式,以减少计算成本是近似的投影只使用低秩SVD。这就提出了一个问题,如果,在什么条件下,这个简单的启发式确实可以导致可证明的收敛到最优解。本文证明了任何最优解都是欧氏空间的中心。球内投影梯度映射允许的秩至多是梯度向量的最大奇异值的重数。此外,球的半径与该梯度向量的谱间隙成比例。我们展示了这如何容易地暗示局部收敛(即,从“热启动”初始化)的标准一阶方法,仅使用低秩SVD计算。我们还量化了“过度参数化”的影响,即,在这个球的半径上使用更高秩的SVD计算,显示它可以随着适度的更大秩而显着增加。我们还将我们的结果扩展到具有迹范数正则化的优化和有界迹正半定矩阵上的优化。我们的理论研究得到了具体的经验证据的支持,这些证据证明了\textit{correct}在现实世界数据集上具有低秩投影的一阶方法的收敛性。
2020-11-28 cs.LG math.OC
Low-Rank Matrix Estimation From Rank-One Projections by Unlifted Convex Optimization
Georgia Institute of Technology(佐治亚理工学院);The Ohio State University(俄亥俄州立大学)
研究了从秩一投影中恢复低秩矩阵的凸估计。使用初始估计的目标$d_1\times d_2$矩阵的秩- $r$的因素,估计承认一个实用的次梯度法操作的空间尺寸$r(d_1+d_2)$。这个属性使得估计显着更具可扩展性比基于提升和半定规划的凸估计。此外,我们提出了一个精简的分析下,真正的高斯测量模型,以及部分去随机化的测量模型,通过使用球形$t$设计的精确恢复。我们表明,在这两个模型的估计成功,具有很高的概率,如果测量的数量超过$r^2 (d_1+d_2)$一些对数因子。这个样本的复杂性改善了现有的非凸迭代算法的结果。
2021-01-10 cs.LG math.ST stat.ML
AltLoRA: Towards Better Gradient Approximation in Low-Rank Adaptation with Alternating Projections
Department of Statistics(统计学系);College of Information Sciences and Technology(信息科学与技术学院);The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出 AltLoRA,通过交替投影避免低秩矩阵联合更新的梯度近似问题,并以低内存复杂度整合动量,在多任务上优于 LoRA 及变体。
2025-09-27 cs.LG
Low-Rank Projections of GCNs Laplacian
Inria(法国国家信息与自动化研究所);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Sorbonne University(索邦大学)
在这项工作中,我们研究的行为标准模型的社区发现下的光谱操作。通过各种消融实验,我们评估带通滤波对GCN性能的影响:我们凭经验表明,节点分类的大部分必要和使用的信息都包含在低频域中,因此与图像相反,高频对社区发现不那么重要。特别是,它有时是可能的,以获得一个国家的最先进的水平与简单的分类器,只依赖于一些低频率的准确性。
2021-06-04 cs.LG cs.SI
Completing a joint PMF from projections: a low-rank coupled tensor factorization approach
University of Minnesota(明尼苏达大学)
最近有相当大的兴趣在完成一个低秩矩阵或张量只给一小部分(或几个线性组合)的项目。相关方法在机器学习下的推荐系统领域中取得了相当大的成功。从统计估计的角度来看,黄金标准是能够获得所有相关随机变量的联合概率分布,从中可以很容易地导出任何所需的最佳估计。在实践中,高维联合分布很难估计,只有低维投影的估计可能可用。我们表明,它是可能的,以确定高阶联合PMFs从低阶边缘PMFs使用耦合低秩张量因式分解。我们的方法的特点保证可识别性时,全联合PMF是足够低的秩,有效的逼近,否则。我们提供了一个算法的方法来计算所寻求的因素,并说明我们的方法的优点,使用评级预测作为一个例子。
2017-02-16 cs.DM cs.LG stat.ML
Random features for Grassmannian kernel approximation with bounded rank-one projections
UCLouvain(天主教鲁汶大学);INMA;ICTEAM
该研究提出带约束秩一投影的随机特征,用于近似Grassmann核,可降低计算内存开销,在合成数据和ETH-80分类任务上表现良好,为经典Grassmann核提供可扩展替代方案。
2026-08-06 cs.LG eess.SP
Normalized Low-Rank Adaptation
Yuanshi Intelligence(元氏智能);The Chinese University of Hong Kong(香港中文大学);Microsoft Research(微软研究院);Shenzhen Loop Area Institute(深圳河套学院)
针对LoRA训练动态正则化不足的问题,提出归一化低秩适配(NoRA),通过归一化下投影矩阵提升LoRA性能,在多任务中加速收敛、改善稳定性并缓解灾难性遗忘,且无额外计算开销。
2026-09-01 cs.LG
Recovery of Joint Probability Distribution from one-way marginals: Low rank Tensors and Random Projections
Amazon(亚马逊公司)
联合概率质量函数(PMF)估计是机器学习的一个基本问题。自由参数的数量与随机变量的数量成指数关系。因此,大多数非参数PMF估计的工作是基于一些结构性假设,如通过概率图形模型,联合概率张量和3路或2路边缘重建低秩的征收集团因子分解,等在目前的工作中,我们链接的随机投影数据的PMF估计问题,使用的想法从层析成像。我们将这个想法与低秩张量分解的想法相结合,以表明我们可以从变换空间中的单向边缘估计联合密度。我们提供了一种新的算法,用于从单向边缘恢复张量的因子,在各种合成和真实世界的数据集上进行测试,并对估计的分类模型进行MAP推理。
2021-03-24 cs.LG eess.SP stat.ML
Optimal low-rank stochastic gradient estimation for LLM training
Guanghua School of Management, Peking University(北京大学光华管理学院);Stern School of Business, New York University(纽约大学 Stern 商学院)
本文提出一种低秩矩阵估计器,通过随机低维子空间投影减少内存占用并控制均方误差,实验证明在RoBERTa-large微调和LLaMA-20M/60M/100M预训练中均取得优异效果。
2026-03-21 cs.LG
Graph-Regularized Low-Rank Matrix Completion by Variable Projection
Royal Meteorological Institute of Belgium(比利时皇家气象研究所)
研究低秩矩阵填充问题,核心方法是将图正则化纳入RTRMC框架得到GR-RTRMC,利用矩阵行列内在关系,主要贡献是提高矩阵填充在行列强相关场景下的准确性与鲁棒性。
2026-07-13 cs.LG cs.NA math.NA
Optimized projections for compressed sensing via rank-constrained nearest correlation matrix
“Gheorghe Asachi” Technical University of Iasi(雅西“格奥尔基·阿萨奇”技术大学)
优化采集矩阵对于在过完备字典中稀疏的信号的压缩感测是有用的,因为采集矩阵可以适应字典原子的特定相关性。在本文中,提出了一种新的配方的优化问题,在秩约束的最近相关矩阵问题的形式。此外,改进现有的三个优化算法,这是所提出的配方的特殊情况下。仿真结果表明,在稀疏信号恢复显着的改善和优越的鲁棒性。
2013-09-14 cs.IT cs.LG math.IT
Multipartite Ranking-Selection of Low-Dimensional Instances by Supervised Projection to High-Dimensional Space
Australian National University(澳大利亚国立大学);Commonwealth Scientific and Industrial Research Organisation(联邦科学与工业研究组织)
删除冗余或不相关的数据实例是模式识别每个成功解决方案的关键。在本文中,我们提出了一种新的排序选择框架的长度短,但高度相关的情况下。我们不是在低维实例空间中工作,而是学习到由所研究的数据集中的类数量所跨越的高维空间的监督投影。通过将标签的概念暴露给实例来施加更高的区别,让我们为每个单独的类部署一个与所有的排名,并通过对整体分数的自适应阈值来选择质量实例。为了证明我们的范例的效率,我们采用它的纹理理解的目的,这是一个很难识别的挑战,由于纹理像素的高相似性和低维度的颜色特征。我们的实验表明,在几个公开的数据集上,识别性能比其他本地描述符有相当大的提高。
2016-06-24 cs.CV cs.LG stat.ML
On the Convergence of Stochastic Gradient Descent with Low-Rank Projections for Convex Low-Rank Matrix Problems
Technion - Israel Institute of Technology(以色列理工学院)
我们重新使用随机梯度下降(SGD)解决凸优化问题,作为非常流行的凸松弛许多重要的低秩矩阵恢复问题,如\textit{matrix completion},\textit{phase retrieval},等等。应用SGD来大规模地解决这些松弛的计算限制是需要在每次迭代上计算潜在的高秩奇异值分解(SVD),以便执行低秩提升约束。我们首先考虑一个简单而自然的充分条件,使这些松弛确实承认低秩的解决方案。这个条件对于低秩鲁棒性的概念成立也是必要的。我们的主要结果表明,在这个条件下,涉及的梯度向量的特征值在最佳点,SGD与小批量,当初始化与“热启动”点,产生的迭代是低秩的高概率,因此只有一个低秩SVD计算是必需的每一次迭代。这表明,SGD可能确实是实际适用于解决低秩矩阵恢复问题的大规模凸松弛。我们的理论结果是伴随着支持初步的经验证据。作为附带的好处,我们的分析非常简单和简短。
2020-06-14 cs.LG math.OC stat.ML
Recovering the Optimal Solution by Dual Random Projection
Michigan State University(密歇根州立大学);GE Global Research(通用电气全球研究中心);NEC Laboratories America(NEC美国实验室)
随机投影在数据分类中有着广泛的应用。它将高维数据映射到一个低维的子空间,以减少在解决相关的优化问题的计算成本。虽然以前的研究集中在分析使用随机投影的分类性能,但在这项工作中,我们考虑了恢复问题,即,如何在高维空间中根据随机投影子空间学习到的解,精确地恢复原优化问题的最优解。我们提出了一个简单的算法,称为对偶随机投影,它使用的低维优化问题的对偶解决方案,以恢复原始问题的最佳解决方案。我们的理论分析表明,以高概率,该算法是能够准确地恢复到原始问题的最优解,提供的数据矩阵是低秩或可以很好地近似低秩矩阵。
2014-02-21 cs.LG
Low-rank matrix recovery with non-quadratic loss: projected gradient method and regularity projection oracle
University of Washington(华盛顿大学);Rutgers University(罗格斯大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
现有的低秩矩阵恢复的结果主要集中在二次损失,它享有良好的性质,如限制强凸性/光滑性(RSC/RSM)和良好的条件所有低秩矩阵。然而,许多有趣的问题涉及更一般的,非二次损失,不满足这些属性。对于这些问题,标准的非凸方法,如秩约束投影梯度下降(a.k.a.迭代硬阈值)和Burer-Monteiro分解可能具有较差的经验性能,并且没有令人满意的理论保证这些算法的全局和快速收敛。在本文中,我们证明了在可证明的低秩恢复与非二次损失的关键组成部分是一个正则投影预言。这个预言限制迭代到一个适当的有界集合内的低秩矩阵,在该集合上,损失函数表现良好,并满足一组近似RSC/RSM条件。相应地,我们分析了(平均)投影梯度法配备这样的预言,并证明它的全局收敛性和线性。我们的研究结果适用于广泛的非二次低秩估计问题,包括一位矩阵传感/完成,个性化的秩聚合,更广泛的广义线性模型秩约束。
2021-11-15 cs.LG math.OC math.ST
Sparse projections onto the simplex
大多数具有秩或稀疏性约束的学习方法使用凸松弛,这导致使用核范数或$\ell_1$范数进行优化。然而,几个重要的学习应用程序不能受益于这种方法,因为他们的特点,这些凸规范的约束,除了非凸秩和稀疏性约束。在这种情况下,我们推导出有效的稀疏投影到单纯形及其扩展,并说明如何使用它们来解决量子断层扫描,稀疏密度估计和非凸约束的投资组合选择中的高维学习问题。
2013-04-10 cs.LG stat.ML
Rank Projection Trees for Multilevel Neural Network Interpretation
Yale University(耶鲁大学)
已经提出了各种方法来解释深度神经网络中的节点,这些方法通常涉及关于较低层的节点对较高层节点的输出的影响对较低层的节点进行评分(其中较低层和较高层分别更接近输入层和输出层)。然而,我们可能感兴趣的是根据输入子集对输出节点的重要性,在一系列尺度上挑选出一个优先级较高的输入子集集合,而不仅仅是将输入作为单例进行优先级排序。这种情况可能出现在生物学应用中,例如,我们对确定感兴趣的性状的基因组之间的上位效应感兴趣。在这里,我们概述了一个灵活的框架,可用于生成多尺度网络的解释,使用任何以前定义的评分函数。我们证明了我们的方法能够挑选出生物学上重要的基因和基因集在癌症和精神病基因组学领域。
2018-12-01 cs.LG stat.ML
FedSLoP: Memory-Efficient Federated Learning with Low-Rank Gradient Projection
Peking University(北京大学);Beihang University(北航)
提出FedSLoP算法,结合随机低秩子空间投影降低通信和存储开销,理论证明以O(1/√NT)速率收敛到一阶稳定点,实验在异构MNIST上优于FedAvg等基线。
2026-06-09 cs.LG math.OC
Input Sparsity Time Low-Rank Approximation via Ridge Leverage Score Sampling
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一个新的算法,寻找一个接近最佳的低秩近似矩阵$A$在$O(nnz(A))$时间。我们的方法是基于一个递归的抽样计划计算的一个代表性子集的$A$的列,然后用它来找到一个低秩近似。这种方法与现有的$O(nnz(A))$时间算法有很大不同,这些算法都是基于快速Johnson-Lindenstrauss随机投影的。它与这些方法的保证相匹配,同时提供许多优点。采样算法不仅对稀疏和结构化数据更快,而且还可以应用于随机投影无法应用的环境中。例如,我们给出了新的单通道流算法的列子集选择和投影成本保持样本问题。我们的方法也被用来给出可证明近似核矩阵的最快算法[MM 16]。
2016-10-06 cs.DS cs.LG
Guaranteed Rank Minimization via Singular Value Projection
在机器学习和统计学中,最小化受仿射约束的矩阵的秩是具有许多重要应用的基本问题。在本文中,我们提出了一个简单而快速的算法SVP(奇异值投影)的秩最小化与仿射约束(ARMP),并表明SVP恢复最小秩的解决方案,满足“限制等距属性”的仿射约束,并显示我们的方法对噪声的鲁棒性。我们的研究结果在Recht,Fazel和Parillo(RFP07)以及Lee和Bresler(LB09)的最新突破基础上有三个重要方面的改进:1)我们的方法(SVP)分析起来明显更简单,更容易实现,2)我们在严格较弱的等距假设下给出了恢复保证3)我们甚至在存在噪声的情况下也给出了SVP的几何收敛保证,并且如经验所示,SVP在现实世界和合成问题上的速度明显更快。此外,我们解决了实际上重要的问题,低秩矩阵完成(MCP),这可以被看作是ARMP的一个特殊情况。我们的经验表明,我们的算法恢复低秩非相干矩阵从几乎最佳数量的均匀采样条目。我们取得了部分进展,证明准确的恢复,并提供了一些直观的强大性能的SVP适用于矩阵完成显示出更严格的等距属性。我们的算法优于现有的方法,如\cite{RFP07,CR08,CT09,CCS08,KOM09,LB09},ARMP和矩阵完成问题的数量级,也显着更强大的噪声。
2009-10-19 cs.IT cs.LG math.IT