DeLo: Dual Decomposed Low-Rank Experts Collaboration for Continual Missing Modality Learning
DeLo通过双分解低秩专家架构解决持续缺失模态学习中的模态干扰问题,结合跨模态引导路由和任务键记忆实现高效推理。
2026-03-02 cs.AI cs.LG
DoTA: Weight-Decomposed Tensor Adaptation for Large Language Models
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);University of International Business and Economics, China(对外经济贸易大学);XiaoMi AI Lab, China(小米AI实验室)
本文提出DoTA,利用预训练权重的MPO分解初始化张量适配以改进大语言模型微调,并设计4比特量化版本QDoTA,在常识与算术推理任务中以更少参数超越随机初始化方法。
2024-12-30 cs.CL cs.LG
Decomposed Diffusion Sampler for Accelerating Large-Scale Inverse Problems
KAIST(韩国科学技术院);Kim Jae Chul Graduate School of AI, KAIST(韩国科学技术院金在哲人工智能研究生院)
本文提出分解扩散采样器,将Krylov子空间方法与扩散采样结合,证明CG初始化可避免流形约束梯度计算,在医学MRI和CT重建上实现最先进质量并加速80倍以上。
2024-02-19 cs.AI cs.CV cs.LG
HyperAdaLoRA: Accelerating LoRA Rank Allocation During Training via Hypernetworks without Sacrificing Performance
Harvard University(哈佛大学);University of Chinese Academy of Sciences(中国科学院大学);Fudan University(复旦大学);University of Chicago(芝加哥大学);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);South China Normal University(华南师范大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai University of Engineering Science(上海工程技术大学)
HyperAdaLoRA通过超网络实现训练过程中LoRA秩分配的加速,提升收敛速度同时保持性能
2025-12-12 cs.CL cs.LG
DoRAN: Stabilizing Weight-Decomposed Low-Rank Adaptation via Noise Injection and Auxiliary Networks
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Science, VNU-HCM(胡志明市国家大学科学大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学);Trivita AI
DoRAN通过噪声注入和辅助网络提升低秩适应的稳定性与样本效率
2026-02-06 cs.CV cs.LG
Breaking the Blocks: Continuous Low-Rank Decomposed Scaling for Unified LLM Quantization and Adaptation
Institute for Artificial Intelligence, Peking University, Beijing, China(北京大学人工智能研究院);Yuanpei College, Peking University, Beijing, China(北京大学元培学院);State Key Laboratory of General Artificial Intelligence, BIGAI, Beijing, China(通用人工智能国家重点实验室);Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳))
LoRDS通过低秩分解实现高效统一的大语言模型量化与适应,提升表达能力并优化推理效率。
2026-01-30 cs.AI cs.LG
Accelerating Power Method with Fast Sketching for Stronger Low-Rank Approximation
University of Michigan(密歇根大学)
本文提出通过快速草图技术加速幂方法,提升低秩近似性能,方法在奇异值分解、低秩分解和Nyström近似中表现优异。
2026-05-10 cs.DS cs.LG cs.NA
Decomposed Trust: Privacy, Adversarial Robustness, Ethics, and Fairness in Low-Rank LLMs
Department of Computer Science, Iowa State University, United States(爱荷华州立大学计算机科学系);Meta, United States(Meta)
本文研究低秩因子化对大语言模型信任性的影响,发现其在隐私保护上有所保留,但会削弱对话中个人身份信息的保护,同时增强对抗鲁棒性,但伦理和公平性有所下降。
2026-04-30 cs.AI cs.LG
DL-QAT: Weight-Decomposed Low-Rank Quantization-Aware Training for Large Language Models
Advanced Micro Devices, Inc.(超威半导体公司)
针对大语言模型低比特量化的效率与性能问题,提出DL-QAT方法,通过权重分解低秩策略仅训练不足1%参数,在LLaMA系列模型上实现比基线及现有QAT方法更优的量化性能,3比特LLaMA-7B在MMLU上提升4.2%。
2025-04-12 cs.AI cs.CV cs.LG
Learning Low-Rank Approximation for CNNs
Samsung Research(三星研究院);Harvard University(哈佛大学)
低秩近似是一种有效的模型压缩技术,不仅可以减少参数存储需求,而且还可以减少计算量。然而,对于卷积神经网络(CNN),众所周知的低秩近似方法,如Tucker或CP分解,会导致模型精度下降,因为分解层阻碍了训练收敛。在本文中,我们提出了一种新的训练技术,找到一个平坦的最小值的低秩近似的视图中没有分解的结构在训练过程中。通过保持原有的模型结构,二维低秩近似要求降低(如im2col),在我们提出的计划。我们表明,CNN模型可以通过低秩近似进行压缩,压缩比传统的训练方法高得多,同时保持甚至提高模型的准确性。我们还讨论了CNN的各种二维低秩近似技术。
2019-05-24 cs.LG stat.ML
EEG-Based Mental Imagery Task Adaptation via Ensemble of Weight-Decomposed Low-Rank Adapters
Indian Institute of Technology Roorkee(鲁尔基印度理工学院)
针对EEG信号变异性及大模型实时解码瓶颈,提出参数高效微调方法EDoRA,通过权重分解低秩适配器集成实现心理意象任务适应,在言语和运动意象数据集上优于全微调及现有PEFT方法。
2024-12-08 cs.LG eess.SP
DATA: Decomposed Attention-based Task Adaptation for Rehearsal-Free Continual Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对持续学习中平衡模型可塑性与灾难性遗忘的挑战,提出DATA方法,通过分解注意力任务适配及动态权重调整策略,在免复述情况下实现新任务学习与旧知识保留的平衡,实验性能达最先进水平。
2025-02-17 cs.AI cs.CL cs.LG
Accelerating Transfer-Learning-Based Autotuning with Predictive LLVM IR Performance Ranking
Iowa State University(爱荷华州立大学);Clemson University(克莱姆森大学);AMD(超威半导体公司);Argonne National Laboratory(阿贡国家实验室)
提出基于迁移学习的自动调优框架,利用神经配置评分器对LLVM IR性能排序,减少评估开销,实现与最先进技术相当的性能,评估次数最多减少61.67%。
2026-09-30 cs.LG cs.PF
Provably Accelerating Ill-Conditioned Low-rank Estimation via Scaled Gradient Descent, Even with Overparameterization
University of Chicago(芝加哥大学);Carnegie Mellon University(卡内基梅隆大学);Amazon(亚马逊)
针对病态低秩估计问题,提出缩放梯度下降(ScaledGD)算法,其收敛速率独立于条件数,保持GD的低迭代成本,并在过参数化及噪声下实现快速全局收敛,强调预处理在非凸估计中的价值。
2023-10-09 cs.LG math.OC stat.ML
NOBLE: Accelerating Transformers with Nonlinear Low-Rank Branches
Canva Research(Canva研究)
NOBLE通过非线性低秩分支提升Transformer训练效率,实现显著的加速效果,同时保持较低的参数开销。
2026-03-06 cs.AI cs.CL cs.LG
Enterprise-Scale Search: Accelerating Inference for Sparse Extreme Multi-Label Ranking Trees
Stanford University(斯坦福大学);Amazon Search(亚马逊搜索)
基于树的模型由于其次线性推理时间而支撑许多现代语义搜索引擎和推荐系统。在工业应用中,这些模型在极端规模下运行,其中每一点性能都至关重要。在极端尺度下的内存限制也要求模型是稀疏的,因此基于树的模型通常由稀疏矩阵代数例程后端处理。然而,目前还没有专门为稀疏结构设计的稀疏矩阵技术,在基于树的模型中遇到极端的多标签排名/分类(XMR/XMC)问题。为了解决这个问题,我们提出了屏蔽稀疏块乘法(MSCM)技术,一个稀疏矩阵技术专门为XMR树。MSCM易于实现,可并行化,并免费为任何现有的树推理流水线提供显着的性能提升。我们进行了一个全面的研究MSCM应用到几个不同的稀疏推理方案和基准我们的方法上的通用极端多标签排名框架。我们观察到MSCM在在线和批量推理设置、单线程和多线程设置以及许多不同的树模型和数据集上都提供了一致的显著加速。为了证明其在工业应用中的实用性,我们将MSCM应用于具有1亿种产品的企业级语义产品搜索问题,并在单个线程上实现了每次查询0.88 ms的亚毫秒延迟-延迟比香草推理技术减少了8倍。MSCM技术绝对不需要牺牲模型精度,因为它给出了与标准稀疏矩阵技术完全相同的结果。因此,我们相信MSCM将使XMR树的用户能够以非常小的成本在其推理管道中节省大量的计算资源。
2022-02-23 cs.LG
Accelerating Ill-Conditioned Low-Rank Matrix Estimation via Scaled Gradient Descent
Carnegie Mellon University(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校)
低秩矩阵估计是在信号处理、机器学习和成像科学中发现大量应用的典型问题。在实践中,一种流行的方法是将矩阵分解为两个紧凑的低秩因子,然后通过简单的迭代法(如梯度下降和交替最小化)直接优化这些因子。尽管非凸性,最近的文献表明,这些简单的算法实际上实现线性收敛时,适当的初始化越来越多的问题的兴趣。然而,经过仔细检查,现有的方法仍然可以是计算昂贵的,特别是病态矩阵:梯度下降的收敛速度线性依赖于低秩矩阵的条件数,而交替最小化的每次迭代的成本往往是禁止的大矩阵。本文的目标是提出一种有竞争力的算法方法,称为缩放梯度下降(ScaledGD),它可以被视为预条件或对角缩放的梯度下降,其中的预条件是自适应的和迭代变化的最小的计算开销。通过针对低秩矩阵检测、鲁棒主成分分析和矩阵完备的定制变体,我们从理论上证明了ScaledGD实现了两全其美:它以独立于低秩矩阵的条件数的速率线性收敛,类似于交替最小化,同时保持了梯度下降的低迭代成本。我们的分析也适用于一般的损失函数,限制强凸和光滑的低秩矩阵。据我们所知,ScaledGD是第一个可证明在广泛的低秩矩阵估计任务中具有此类属性的算法。
2021-06-14 cs.IT cs.LG eess.SP
Accelerating nuclear-norm regularized low-rank matrix optimization through Burer-Monteiro decomposition
Institute of Statistical Mathematics(统计数学研究所);Department of Mathematics University of Maryland at College Park(大学数学系);Institute of Operations Research and Analytics National University of Singapore(运营研究与分析国家大学研究所);Department of Mathematics and Institute of Operations Research and Analytics National University of Singapore(大学数学系和运营研究与分析国家大学研究所)
BM-Global通过布勒-蒙特罗分解加速核范数正则化的低秩矩阵优化,实现快速收敛和高效参数调优。
2026-02-12 cs.LG math.OC
Accelerating SGD for Distributed Deep-Learning Using Approximated Hessian Matrix
University of Southern California(南加州大学)
我们介绍了一种新的方法来计算一个秩$m$近似的海森矩阵的逆在分布式政权。通过利用多个Workers的梯度和参数的差异,我们能够有效地实现Newton-Raphson方法的分布式近似。我们还提出了初步的结果,强调大型随机优化问题的二阶方法的优势和挑战。特别是,我们的工作表明,结合梯度的新策略提供了损失表面的进一步信息。
2017-09-15 cs.LG
LaMDA: Large Model Fine-Tuning via Spectrally Decomposed Low-Dimensional Adaptation
University of Southern California(南加州大学);Intel Labs(英特尔实验室)
针对大语言模型微调中LoRA参数多、显存占用高的问题,提出基于谱分解的低维适配方法LaMDA及增强版LaMDA++,在性能持平或更优的前提下大幅降低参数更新量与GPU峰值内存。
2024-06-18 cs.AI cs.CL cs.LG
NeuraLSP: A Neural Spectral Preconditioner for Accelerating PDE Solvers
Department of Applied Mathematics and Statistics, Stony Brook University(应用数学与统计学系,史泰尼斯布鲁克大学);Department of Computer Science, Stony Brook University(计算机科学系,史泰尼斯布鲁克大学)
NeuraLSP通过结合新的损失度量标准和左奇异子空间,提供了一种高效的神经预置器,显著提升了共轭梯度方法的收敛速度和鲁棒性。
2026-07-24 cs.AI cs.LG
Qandle: Accelerating State Vector Simulation Using Gate-Matrix Caching and Circuit Splitting
Insistute for Informatics LMU Munich(慕尼黑大学信息学研究所)
针对量子电路态矢量模拟计算复杂度高的问题,提出结合门矩阵缓存与电路分割技术,基于PyTorch实现的开源模拟器Qandle可兼容现有机器学习工作流与OpenQASM格式,性能优于同类PyTorch兼容量子态矢量模拟器。
2024-04-14 cs.LG quant-ph
Accelerating SAV-based optimization via randomized low-rank Hessian approximation
Department of Pure and Applied Mathematics, Graduate School of Information Science and Technology, The University of Osaka(纯粹与应用数学系,信息科学与技术研究生学校,大阪大学)
提出Nyström增强松弛标量辅助变量方法(N-RSAV),通过随机低秩Nyström近似引入曲率信息加速收敛,并保持无条件修正能量耗散律,在病态问题(如PINNs)中显著快于传统RSAV方法。
2026-06-09 cs.LG cs.NA math.NA
Accelerating Multi-Task Temporal Difference Learning under Low-Rank Representation
University of Texas, Austin(德克萨斯大学奥斯汀分校);JPMorgan AI Research(摩根大通人工智能研究院);Georgia Tech(佐治亚理工学院)
研究低秩表示下多任务强化学习的策略评估问题,提出将截断奇异值分解整合到TD学习更新中的新方法,实验证明其显著优于经典TD学习且理论证明收敛速率与标准TD学习匹配。
2025-03-03 cs.LG cs.SY eess.SY
Quantifying Training Difficulty and Accelerating Convergence in Neural Network-Based PDE Solvers
Hong Kong University of Science and Technology(香港科技大学);Shanghai Jiao Tong University(上海交通大学);The Pennsylvania State University(宾夕法尼亚州立大学);HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute(香港科技大学深港协同创新研究院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
该研究针对基于神经网络的PDE求解器训练难度大、精度有限的问题,通过核特征值分布与有效秩量化训练难度,发现PoU和VS初始化可提升有效秩以加速收敛,并经多框架实验验证了理论结论。
2024-10-08 cs.LG cs.NA math.NA
Approximating Optimal Transport via Low-rank and Sparse Factorization
Zhejiang University(浙江大学)
最优传输(OT)自然地出现在广泛的机器学习应用中,但通常可能成为计算瓶颈。最近,一系列的工作提出了解决OT近似搜索的\emph{transport plan}在一个低秩子空间。然而,最优运输计划往往不是低秩的,这往往会产生很大的近似误差。例如,当Monge的\emph{transport map}存在时,运输计划是满秩的。本文讨论了OT距离的计算问题,并给出了计算的精度和效率.提出了一种新的OT近似方法,将运输计划分解为一个低秩矩阵和一个稀疏矩阵之和。我们从理论上分析了近似误差。一个增广拉格朗日方法,然后设计有效地计算运输计划。
2021-11-12 cs.LG
Accelerating L-shaped Two-stage Stochastic SCUC with Learning Integrated Benders Decomposition
Louisiana State University(路易斯安那州立大学)
本文提出三种基于机器学习的Benders分解增强变体,通过回归和分类方法生成更紧的割并精简主问题,有效降低了两阶段随机SCUC的计算成本与内存使用。
2023-11-17 cs.LG math.OC
D-com: Accelerating Iterative Processing to Enable Low-rank Decomposition of Activations
University of California, Irvine(加州大学尔湾分校);NVIDIA(NVIDIA公司)
针对大语言模型激活值低秩分解延迟高的问题,提出D-com加速器,采用Lanczos算法、计算复制和输出形状保持方案,实现22%端到端延迟降低,仅以微小质量损失为代价。
2025-10-15 cs.AR cs.LG cs.PF
Accelerating Deep Learning with Fixed Time Budget
Qatar Mobility Innovations Center (QMIC)(卡塔尔移动创新中心);Qatar University(卡塔尔大学)
针对深度学习因数据与模型规模大导致训练时间长、难以满足边缘/联邦学习等场景固定时间预算的问题,提出基于样本重要性与动态排序的高效训练方法,经CV任务验证可显著提升多种前沿模型的学习性能。
2024-10-03 cs.CV cs.LG
Zeroth-Order Fine-Tuning of LLMs in Learnable Low-Rank Subspaces
Zhejiang University(浙江大学);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
针对零阶优化微调LLM时高维参数空间梯度方差大的问题,提出AdaSub-ZO框架,通过学习分层投影矩阵与子空间动量机制,在自然语言理解任务上优于现有基线,降低方差并加速收敛。
2026-10-14 cs.LG
Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization
张量分解是深度卷积神经网络模型压缩的基本技术之一,因为它能够揭示复杂结构之间的潜在关系。然而,大多数现有的方法,压缩网络逐层,这不能提供一个令人满意的解决方案,以实现全局优化。在本文中,我们提出了一种模型简化方法,使用卷积层的低秩张量分解来压缩预训练网络。我们的方法是基于优化技术来选择适当的层次分解的网络层。提出了一种新的正则化方法--漏斗函数法,用来抑制压缩过程中的不重要因素,从而更容易地显示出合适的秩。实验结果表明,与其他张量压缩方法相比,该算法可以减少更多的模型参数。对于使用ImageNet 2012的ResNet 18,我们的简化模型在GMAC方面可以达到两倍以上的速度,而Top-1精度仅下降0.7%,这在两个指标上都优于大多数现有方法。
2021-12-07 cs.AI cs.CV cs.LG
Network Pruning for Low-Rank Binary Indexing
Samsung Research(三星研究院);Harvard University(哈佛大学)
剪枝是一种有效的模型压缩技术,用于去除深度神经网络(DNN)连接中的冗余。然而,使用通过修剪参数获得的稀疏矩阵的计算表现出极大不同的并行性,这取决于索引表示方案。因此,细粒度修剪没有得到太多的关注,由于其不规则的索引形式导致大的内存占用和低并行卷积和矩阵乘法。在本文中,我们提出了一种新的网络修剪技术,产生一个低秩的二进制索引矩阵压缩索引数据,而解压缩索引数据是通过简单的二进制矩阵乘法执行。这种压缩方法找到了一个特定的细粒度修剪掩码,可以分解成两个二进制矩阵。我们还提出了一个基于瓦片的因式分解技术,不仅降低了内存需求,但也提高了压缩比。与以前的稀疏矩阵格式相比,各种DNN模型可以使用更少的索引进行修剪,同时保持相同的修剪率。
2019-05-14 cs.LG stat.ML
D2-LRR: A Dual-Decomposed MDLatLRR Approach for Medical Image Fusion
School of Artificial Intelligence and Computer Science(人工智能与计算机科学学院);Jiangnan University(江南大学)
本文提出双重分解MDLatLRR方法D2-LRR,通过充分利用LatLRR提取的基础与细节特征,结合平均策略和核范数运算,在医学图像融合中取得领先性能。
2024-07-07 cs.CV cs.LG eess.IV
Fast Low-rank Metric Learning for Large-scale and High-dimensional Data
Tsinghua University(清华大学);BNRist(北京信息科学与技术国家研究中心);KLISS(信息安全与可信计算重点实验室);University of Maryland, College Park(马里兰大学帕克分校)
低秩度量学习的目的是学习更好地区分受低秩约束的数据。它保持了数据集固有的低秩结构,减少了度量学习的时间开销和内存占用。然而,它仍然是一个挑战,目前的方法来处理数据集与高维和大量的样本。针对这一问题,本文提出了一种新的快速低秩度量学习方法(FLRML),该方法将低秩度量学习问题转化为Stiefel流形上的无约束优化问题,通过沿流形下降曲线进行搜索,有效地降低了优化的复杂度和内存占用,此外,本文还引入了小批量版本的FLRML,使得该方法能够扩展到更大的数据集,而这些数据集在有限的内存中难以加载和分解。实验结果表明,在多个基准测试中,该方法在高维数据量较大的情况下,具有较高的准确率,并且比现有方法快得多。代码已在https://github.com/highan911/FLRML上提供
2019-09-13 cs.LG stat.ML
The Exact Solution to Rank-1 L1-norm TUCKER2 Decomposition
Rochester Institute of Technology(罗切斯特理工学院);University of California Riverside(加州大学河滨分校)
我们研究秩1 {L1-norm为基础的TUCKER 2}(L1-TUCKER 2)分解的3路张量,作为一个集合的$N$ $D \times M$矩阵被联合分解。我们的贡献如下。i)证明了该问题等价于$N$对映二元变量的组合优化问题。ii)我们推导了文献中的前两个算法的精确解。第一个算法在$N$中具有成本指数,第二个算法在$N$中具有成本多项式(在温和的假设下)。我们的算法是伴随着正式的复杂性分析。iii)我们进行了数值研究,以比较精确的L1-TUCKER 2(建议)与标准HOSVD,HOOI,GLRAM,PCA,L1-PCA和TPCA-L1的性能。我们的研究表明,L1-TUCKER 2优于(在张量近似)所有上述同行时,处理的数据是离群损坏。
2017-10-31 cs.DS cs.LG stat.ML
Projected Robust PCA with Application to Smooth Image Recovery
City University of Hong Kong(香港城市大学)
大多数高维矩阵恢复问题的研究都是在假设目标矩阵具有某种内在结构的前提下进行的。对于图像数据相关的矩阵恢复问题,近似低秩和平滑是两个最常见的强加的结构。对于近似低秩矩阵的恢复,稳健的主成分分析(PCA)被广泛研究并证明是有效的。对于光滑矩阵问题,二维融合Lasso和其他基于全变分的方法发挥了基础性作用。虽然低秩和平滑都是图像数据分析的关键假设,但这两条研究路线的相互作用非常有限。出于利用这两个功能,我们在本文中开发了一个框架,名为投影鲁棒PCA(PRPCA),低秩矩阵投影到光滑矩阵的空间。因此,一大类图像矩阵可以分解为低秩和平滑分量加上稀疏分量。这种分解的一个关键优点是,可以显着降低核心低秩分量的维数。因此,我们的框架是能够解决许多低秩矩阵问题的一个有问题的瓶颈:大矩阵上的奇异值分解(SVD)。理论上,我们提供了明确的统计恢复保证PRPCA,包括经典的鲁棒PCA作为一个特殊情况。
2021-04-07 cs.LG stat.ML
Low-Rank Thinning
University of Cambridge(剑桥大学);Microsoft Research New England(微软研究院新英格兰分部);MIT(麻省理工学院)
本文提出了一种低秩分析的子高斯稀疏化方法,适用于任何分布和核,能够保证高质量压缩,并在变换器注意力近似、随机梯度训练加速和分布区分中取得改进。
2026-02-27 cs.LG math.OC math.ST