AA-SVD : Anchored and Adaptive SVD for Large Language Model Compression
University of Geneva（日内瓦大学）；FAIR, Meta（Meta FAIR）
本文提出一种快速低秩因子分解框架，用于压缩大语言模型，实现无需重新训练的快速压缩。通过同时考虑原始输入和分布偏移，改进Transformer块的端到端压缩，减少输出失真并联合补偿累积误差，实验表明在高压缩率下优于现有SVD基方法。
2026-04-02 cs.LG
IO-SVD: Input-Output Whitened SVD for Adaptive-Rank LLM Compression
Vanderbilt University（范德比大学）；University of California, Davis（加州大学戴维斯分校）
IO-SVD通过构建KL感知的双侧白化空间，结合高效异质秩分配策略，实现LLM压缩时的性能与效率平衡，实验表明其在压缩过程中性能损失小且推理速度提升显著。
2026-05-15 cs.LG
Beyond Uniform SVD:Dual-Level Optimization across Columns and Modules for LLM Compression
Shanghai Jiao Tong University（上海交通大学）
Duo-SVD通过双层优化提升LLM压缩效率，有效解决分解误差差异和权重矩阵重要性评估问题。
2026-01-14 cs.LG
Activation- and Influence-Aware Ranks (AIR): Function-Preserving SVD Compression for LLMs
Fraunhofer HHI（弗劳恩霍夫研究所）
提出AIR框架，基于SVD和反向信号影响度量，通过单次交替最小二乘扫描实现权重矩阵的低秩近似，在参数保留≤60%时困惑度比SVD-LLM(W)改善>18%，并减少90%校准数据。
2026-09-09 cs.LG
SVD-LLM: Truncation-aware Singular Value Decomposition for Large Language Model Compression
The Ohio State University（俄亥俄州立大学）；Michigan State University（密歇根州立大学）
本文提出训练后压缩方法SVD-LLM，通过截断感知数据白化和序贯低秩参数更新降低SVD压缩损失，并在多家族、多规模模型与10个数据集上验证其高压缩比优势。
2025-03-16 cs.CL cs.LG
GA-SVD: Generation-aware Singular Value Decomposition for LLM Compression
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Technology Innovation Institute UAE（阿联酋技术创新研究院）；Westlake University（西湖大学）；ISTA（奥地利科学技术研究所）
针对现有SVD压缩LLM时难以保留生成任务性能且秩分配策略启发式的问题，提出GA-SVD框架，通过GAWW和进化全局秩分配方法，在多类模型及基准上实现优于基线的SoTA压缩效果，且可扩展至70B参数模型。
2026-10-14 cs.LG
ARA: Adaptive Rank Allocation for Efficient Large Language Model SVD Compression
Shanghai Jiao Tong University（上海交通大学）
针对大语言模型SVD压缩中全局压缩比约束下的秩分配难题，提出自适应秩分配方法ARA，通过专用掩码设计和额外损失函数优化，在LLaMA2-7B 80%压缩比下实现性能显著提升。
2025-10-22 cs.LG
LACE-SVD: Loss-Aware SVD with Cumulative Error Correction for LLM Compression
针对大语言模型参数规模增长需求，提出LACE-SVD框架，先依候选压缩率估算损失增加量分配秩预算，再用局部更新和误差校正优化模型，降低累积误差传播，效果优于现有方法。
2026-08-18 cs.AI cs.LG
Different Prompts, Different Ranks: Prompt-aware Dynamic Rank Selection for SVD-based LLM Compression
Stevens Institute of Technology（史蒂文斯理工学院）；Technical University of Darmstadt（达姆施塔特技术大学）
本文提出PARSE框架，通过提示感知的动态秩选择提升SVD压缩LLM的效率与性能，实现任务准确率提升10%及推理速度提升。
2026-05-09 cs.LG
Effective MoE-based LLM Compression by Exploiting Heterogeneous Inter-Group Experts Routing Frequency and Information Density
Department of Computer Science, Stevens Institute of Technology, Hoboken, NJ, USA（计算机科学系，史蒂文斯理工学院，新泽西州霍博肯）；Northeastern University, Boston, MA, USA（东北大学，波士顿，马萨诸塞州）
RFID-MoE通过异构组间专家路由频率和信息密度实现MoE大语言模型压缩，提升压缩效果和性能
2026-02-11 cs.LG
Delta Decompression for MoE-based LLMs Compression
Hong Kong University of Science and Technology（香港科技大学）；University of Birmingham（伯明翰大学）；AISpeech Co., Ltd.（AISpeech公司）
针对MoE大语言模型存储和内存开销大的问题，提出D2-MoE方法，通过权重分解、SVD压缩和半动态剪枝实现高压缩比，无需训练，性能优于其他压缩器。
2025-02-24 cs.LG
Spectral Compact Training: Pre-Training Large Language Models via Permanent Truncated SVD and Stiefel QR Retraction
EctoSpace
本文提出SCT方法，通过永久截断SVD和Stiefel QR回退减少内存占用，实现大语言模型的高效预训练，实验显示内存占用降低达199倍，提升训练效率。
2026-04-05 cs.AI cs.LG
Post-Training Probability Manifold Correction via Structured SVD Pruning and Self-Referential Distillation
SparseTech
SparseKD通过结构化SVD剪枝与自参考知识蒸馏，在训练后实现模型压缩，有效提升模型质量并减少参数量。
2026-01-30 cs.AI cs.CL cs.LG
DipSVD: Dual-importance Protected SVD for Efficient LLM Compression
Beijing Normal University（北京师范大学）；The Chinese University of HongKong, Shenzhen（香港中文大学（深圳））；Zhejiang University（浙江大学）；University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）
本文提出DipSVD，一种双重重要性保护机制增强的SVD压缩方法，通过局部保护关键奇异向量和全局分配压缩负担，有效提升大型语言模型在高压缩比下的性能。
2025-06-25 cs.AI cs.LG
SVD-Surgeon: Optimal Singular-Value Surgery for Large Language Model Compression
University of Freiburg（弗莱堡大学）；Prior Labs；ELLIS Institute Tübingen（蒂宾根ELLIS研究所）
提出SVD-Surgeon，一种无需训练的方法，将最优脑外科医生框架引入奇异值基，通过闭式更新保留的奇异值补偿截断损失，并基于显著性选择修剪值，可叠加于现有SVD压缩器上，改善困惑度-压缩权衡。
2026-06-23 cs.CL cs.LG
FermiGrad-SVD: An LLM Compression Pipeline with Global Rank Selection and Gauge Fixing
Multiverse Computing（多维计算公司）；Donostia International Physics Center（Donostia国际物理中心）；Ikerbasque Foundation for Science（Ikerbasque科学基金会）
本文提出FermiGrad和PivGa两种方法，通过费米函数优化秩选择和规范固定，实现LLM压缩的全局优化。
2026-10-30 cs.LG stat.ML
Lillama: Large Language Models Compression via Low-Rank Feature Distillation
LORIA（洛里亚实验室）；CNRS（法国国家科学研究中心）
本文提出Lillama压缩方法，通过低秩权重局部蒸馏激活值，在单GPU上快速压缩大模型并保持高性能，适用于Transformer及非Transformer架构。
2024-12-28 cs.AI cs.LG
SVDq: 1.25-bit and 410x Key Cache Compression for LLM Attention
针对大语言模型KV缓存高效压缩需求，提出基于SVD的K缓存混合精度量化方法SVDq，可实现1.25比特等效精度，结合键稀疏化最高达410倍压缩比且性能几乎无损。
2025-02-21 cs.AI cs.CL cs.LG
SAFE-SVD: Sensitivity-Aware Fidelity-Enforcing SVD for Physics Foundation Models
AI Centre, University College London（伦敦大学学院人工智能中心）；University College London（伦敦大学学院）；Central South University（中南大学）；University of Massachusetts at Amherst（马萨诸塞大学阿姆赫斯特分校）
本文提出了一种新的压缩物理基础模型的方法，通过在压缩过程中显式建模损失感知的层敏感性，以保持准确性和物理保真度，实验表明在多个模型和数据集上实现了显著的压缩增益。
2026-11-03 cs.AI cs.LG
SigmaScale: LLM Compression with SVD-based Low-Rank Decomposition and Learned Scaling Matrices
Department of Computer Science, Aalborg University Copenhagen（奥尔堡大学哥本哈根分校计算机科学系）；MaLGa-DIBRIS, University of Genoa（热那亚大学MaLGa-DIBRIS）；INFN, Sezione di Genova（国家核物理研究所热那亚分部）；European Organization for Nuclear Research (CERN)（欧洲核子研究中心）；Ceva, Inc.（Ceva公司）
提出SigmaScale方法，通过学习辅助缩放矩阵优化截断SVD的LLM压缩，降低权重矩阵有效秩，在Llama 3.1 8B和Qwen3-8B上达到竞争性能。
2026-06-05 cs.CL cs.LG
KBVQ-MoE: KLT-guided SVD with Bias-Corrected Vector Quantization for MoE Large Language Models
Houmo AI；Nanyang Technological University（南洋理工大学）
KBVQ-MoE通过KLT引导SVD和偏置校正输出稳定化，提升MoE大语言模型的极低比特量化精度与部署效率。
2026-02-24 cs.AI cs.LG
Concatenated Matrix SVD: Compression Bounds, Incremental Approximation, and Error-Constrained Clustering
Institute of Mathematics of NAS of Ukraine（乌克兰国家科学院数学研究所）；MacPaw Research（MacPaw研究）
针对拼接后截断SVD压缩中哪些矩阵可安全合并的问题，提出基于谱界和增量SVD的聚类框架，实现显式误差约束下的压缩感知矩阵分组。
2026-06-15 cs.LG cs.NA math.NA
Beyond Variance: Knowledge-Aware LLM Compression via Fisher-Aligned Subspace Diagnostics
Department of Computer Science, Iowa State University（计算机科学系，爱荷华州立大学）；Department of Civil, Construction & Environmental Engineering, Iowa State University（土木、建设与环境工程系，爱荷华州立大学）
FASC通过Fisher对齐子空间诊断方法，在压缩LLM时提升知识保留能力，实验显示其在知识密集型基准测试中表现优于传统方差方法。
2026-01-12 cs.AI cs.LG
Mind the Approximation: Fisher-Weighted SVD Compression for ViTs
Technical University of Munich（慕尼黑工业大学）；BMW Group（宝马集团）；University of Glasgow（格拉斯哥大学）；TU Wien（维也纳技术大学）
针对ViTs压缩中Fisher近似保真度与压缩后精度关联弱的问题，提出结构化Fisher近似FACTS及约束秩搜索CoRS，无需微调即在Swin-B上提升Top-1达5.8个百分点。
2026-09-09 cs.AI cs.CV cs.LG
LowRankArena: A Standardized Evaluation Platform for SVD-Based LLM Compression
Duke University（杜克大学）；Wake Forest University（维克森林大学）
该研究提出LowRankArena这一标准化评估平台，解决基于SVD的LLM压缩研究中评估不统一的问题，通过审计五种SVD方法揭示过往发现的条件性。
2026-08-28 cs.CL cs.LG
Information Compression and Performance Evaluation of Tic-Tac-Toe's Evaluation Function Using Singular Value Decomposition
Keio University（庆应义塾大学）
利用奇异值分解（SVD）方法对井字棋的评价函数进行了近似，并研究了近似精度对胜率的影响。我们首先准备了井字棋的完美评价函数，并通过将评价函数视为九阶张量来进行低秩近似。我们发现，我们可以减少70%的评价函数的信息量，而不会显着降低性能。近似准确度和获胜率之间存在强相关性，但并不完全成正比。我们还研究了评价函数的分解方法如何影响性能。我们考虑了两种分解方法：将评价函数作为矩阵的简单SVD和高阶SVD的Tucker分解（HOSVD）。在相同的压缩比下，采用HOSVD得到的近似评价函数的策略比SVD得到的策略具有更高的获胜率。这些结果表明，SVD可以有效地压缩棋盘游戏策略，并存在一个最佳的压缩方法，取决于游戏。
2022-12-02 cs.AI cs.LG
KQ-SVD: Compressing the KV Cache with Provable Guarantees on Attention Fidelity
ENS de Lyon（里昂高等师范学院）；DIRO, Université de Montréal（蒙特利尔大学DIRO中心）；Mila（Mila人工智能研究所）；CIFAR AI Chair（CIFAR人工智能主席）
KQ-SVD通过最优低秩分解提升KV缓存压缩的注意力保真度，实验证明其在LLaMA和Mistral模型中表现优异。
2025-12-05 cs.LG
Unified Low-rank Compression Framework for Click-through Rate Prediction
Nanjing University（南京大学）
本文提出统一低秩分解框架，通过局部压缩输出特征而非模型权重，在模型体积减少3-5倍的同时实现更快的推理速度和更高的AUC，解决了CTR预测模型在资源受限环境中的部署难题。
2024-06-11 cs.IR cs.LG
Generalized Fisher-Weighted SVD: Scalable Kronecker-Factored Fisher Approximation for Compressing Large Language Models
Applied AI Institute（应用人工智能研究所）；Innopolis University（因诺普利斯大学）；HSE University（俄罗斯高等经济大学）
研究针对大语言模型压缩，提出广义Fisher加权奇异值分解（GFWSVD）技术，通过考虑Fisher信息矩阵对角和非对角元素，引入可扩展的克罗内克分解近似算法，有效提升压缩效果，优于现有压缩基线。
2026-07-17 cs.AI cs.LG
Empirical Minimal-Realisation Compression of Deep Neural Networks via Controllability-Observability Tests
研究针对深度神经网络隐藏状态冗余问题，提出基于可控性-可观性的框架，通过构建相关矩阵进行A/B/C测试估计秩，用于诊断冗余及确定压缩层宽度，实验表明该方法能在精度损失小的情况下实现有效压缩。
2026-07-08 cs.AI cs.LG math.DS
Linear Algebra Foundations of Efficient Attention: A Phase Reversal in Rank Collapse Under SVD Compression
本文统一十四篇研究，发现SVD压缩注意力投影对秩坍缩呈相位反转：初始化时抑制、预训练时加速，归因于子空间选择而非范数缩减。
2026-09-09 cs.AI cs.LG cs.NE
Clustering-Based Low-Rank Matrix Approximation for Medical Image Compression
Department of Statistics, Rhodes University（统计学系，罗德斯大学）；Department of Mathematics, Rhodes University（数学系，罗德斯大学）；National Institute for Theoretical and Computational Sciences (NITheCS)（理论与计算科学国家研究所）
针对现有低秩矩阵近似方法难以适应医学图像局部结构变化的问题，提出基于k-means聚类和分块SVD的自适应LoRMA方法，在四种成像模态上均优于全局SVD，能更好保留诊断信息。
2025-10-28 cs.LG
Cross-Layer Subspace Coupling for LLM Compression: A Unifying Framework and Its Empirical Limits
Independent Researcher（独立研究者）
本文提出一个统一框架将SVD LLM和Basis Sharing等基于SVD的压缩方法纳入同一优化问题，但实验发现跨层耦合在实用任务中失败，原因是残差流在正向传播中解耦了相邻层，因此逐层优化优于联合优化。
2026-06-06 cs.LG math.DG
AttSVD:Prompt-Adaptive Low-Rank KV Cache Compression via Attention-Guided SVD
Microsoft Applied Sciences Group (ASG)（微软应用科学组（ASG））
AttSVD通过基于提示注意力几何的在线截断SVD压缩KV缓存，保留所有令牌并自适应调整秩，在多种模型和基准上以最多50%内存保持与密集缓存相当的性能。
2026-10-07 cs.AI cs.LG
Adaptive Pruning with Module Robustness Sensitivity: Balancing Compression and Robustness
Université Paris-Saclay（巴黎萨克雷大学）；University of Bristol（布里斯托尔大学）
针对传统神经网络剪枝易牺牲对抗鲁棒性的问题，提出量化层级对抗扰动敏感度的MRS指标及自适应剪枝算法MRPF，在多数据集和架构上实现了压缩率、准确率与鲁棒性的更优平衡。
2025-03-19 cs.LG
Language model compression with weighted low-rank factorization
Samsung Research America（三星美国研究院）；Northeastern University（东北大学）
将大矩阵分解成小矩阵是模型压缩的一种流行策略。奇异值分解（SVD）在这种压缩策略中起着至关重要的作用，它用较少的参数近似学习矩阵。然而，SVD最小化了重建原始矩阵的平方误差，而没有衡量参数的重要性，这可能会给那些影响任务精度的人带来更大的重建误差。换句话说，SVD的优化目标与训练模型的任务精度不一致。我们分析这个以前未探索的问题，进行观察，并通过引入Fisher信息来衡量影响模型预测的参数的重要性来解决这个问题。这个想法导致了我们的方法：Fisher加权SVD（FWSVD）。虽然我们的方法的因式分解矩阵不会导致更小的重建误差，但我们发现我们得到的任务精度更接近原始模型的性能。我们对基于transformer的语言模型进行了分析，表明我们的加权奇异值分解在很大程度上消除了不匹配的优化目标，并可以保持模型的性能与更高的压缩率。我们的方法可以直接压缩特定于任务的模型，同时比其他需要昂贵的模型预训练的紧凑模型策略获得更好的性能。此外，压缩已经紧凑的模型的评估表明，我们的方法可以进一步减少9%至30%的参数，对任务准确性的影响微不足道。
2022-06-30 cs.AI cs.CL cs.LG
Enhancing Delta Compression in LLMs via SVD-based Quantization Error Minimization
Shanghai University of Finance（上海财经大学）；Tsinghua University（清华大学）；Fudan University（复旦大学）；Southern University of Science（南方科技大学）
PrinMix通过基于SVD的量化误差最小化方法，提升LLM中delta压缩的效率与性能。
2026-02-15 cs.AI cs.CL cs.LG
QSVD: Efficient Low-rank Approximation for Unified Query-Key-Value Weight Compression in Low-Precision Vision-Language Models
Tandon School of Engineering, New York University（纽约大学工程学院）；Courant Institute of Mathematical Sciences, New York University（纽约大学数学科学学院）
本文提出QSVD，通过对统一QKV权重矩阵进行SVD低秩压缩、动态秩分配及权重-激活量化，以更低硬件成本实现超过10%的准确率提升。
2025-10-18 cs.LG
Freeze the Decoder, Heal the Encoder: Parameter-Efficient Adaptation for SVD-Based KV-Cache Compression
该研究指出共享学习率比较参数高效微调方案的缺陷，提出冻结解码器仅修复编码器的低内存方案，在SVD-based KV缓存压缩中实现性能相当且参数与内存开销减半。
2026-10-09 cs.AI cs.LG
Basis Sharing: Cross-Layer Parameter Sharing for Large Language Model Compression
Technical University of Darmstadt（达姆施塔特工业大学）；National Central University（国立中央大学）；National Cheng Kung University（国立成功大学）；University of Siegen（锡根大学）
针对大语言模型参数多、推理内存占用高难以部署的问题，提出结合SVD的跨层基共享压缩方法，将不同层权重分解为共享基向量与独有系数的线性组合，实验证明其在高压缩比下优于现有同类压缩技术。
2024-10-02 cs.CL cs.LG
FairLRF: Achieving Fairness through Sparse Low Rank Factorization
University of Notre Dame（诺特难大学）
FairLRF通过稀疏低秩分解技术提升深度学习模型的公平性，有效减少群体间的偏见差异。
2026-09-17 cs.LG
Balancing Specialization, Generalization, and Compression for Detection and Tracking
Lab126, Amazon（亚马逊Lab126）；Open University of Israel（以色列开放大学）
我们提出了一种专门的深度检测器和跟踪器的限制设置的方法。我们的方法设计考虑到以下目标：（a）提高精度的限制域;（b）防止过度拟合到新的域和忘记的广义功能;（c）积极的模型压缩和加速。为此，我们提出了一种新的损失，它平衡了深度学习模型的压缩和加速与泛化能力的损失。我们将我们的方法应用到现有的跟踪器和检测器模型。我们报告的VIRAT和CAVIAR数据集的检测结果。这些结果表明，我们的方法提供了前所未有的压缩率以及改进的检测。我们在测试时将损失应用于跟踪器压缩，因为它处理每个视频。我们在OTB 2015基准上的测试表明，在测试期间应用压缩实际上提高了跟踪性能。
2019-09-25 cs.CV cs.LG
CALR: Corrective Adaptive Low-Rank Decomposition for Efficient Large Language Model Layer Compression
Department of Electrical and Information Engineering, Universitas Gadjah Mada（电子与信息工程系，加雅马达大学）；School of Information Technology, King Mongkut’s Institute of Technology Ladkrabang（信息技术学院，拉差班科技学院）
CALR通过结合SVD压缩主路径与可学习低秩校正模块，在减少26.93%-51.77%参数的同时保留59.45%-90.42%性能，优于现有压缩方法。
2025-08-26 cs.AI cs.LG
Ternary Singular Value Decomposition as a Better Parameterized Form in Linear Mapping
Huawei（华为）；HiSilicon（海思半导体）
本文提出三元奇异值分解 TSVD，通过将 SVD 的 U、V 约束为 {±1,0} 矩阵，以加法替代乘法，并给出直接与训练转换算法，在多类网络和大模型上实现先进压缩性能。
2023-08-15 cs.AI cs.LG
Beyond Hard and Soft: Hybrid Context Compression for Balancing Local and Global Information Retention
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Ant Group（蚂蚁集团）
针对现有上下文压缩方法易丢失有价值信息的问题，提出融合全局与局部视角的HyCo₂混合压缩方法，通过混合适配器、分类层及辅助预训练平衡信息保留，在大幅减少token用量的同时显著提升长文本推理性能。
2025-05-21 cs.CL cs.LG
Compression-aware Continual Learning using Singular Value Decomposition
University of Tübingen（蒂宾根大学）；Yale University（耶鲁大学）
我们提出了一种基于压缩的连续任务学习方法，可以动态地增长一个神经网络。从最近的模型压缩技术的启发，我们采用压缩感知训练和执行低秩权重近似使用奇异值分解（SVD），以实现网络压缩。通过鼓励网络学习低秩权重滤波器，我们的方法以最小的性能下降实现了压缩表示，而不需要昂贵的微调。具体来说，我们使用SVD分解权重过滤器，并以其分解形式在增量任务上训练网络。这样的因式分解允许我们直接在奇异值上施加稀疏诱导正则化器，并允许我们为每个任务使用更少的参数。我们进一步介绍了一种新的共享表征空间为基础的学习任务之间。这促进了传入的任务仅在先前学习的权重过滤器之上学习剩余的任务特定信息，并且极大地有助于在固定容量约束下的学习。我们的方法在三个基准数据集上的性能明显优于之前的持续学习方法，在20分裂CIFAR-100，miniImageNet和5序列数据集上的准确率分别提高了10.3%，12.3%，15.6%。此外，我们的方法产生的压缩模型具有约3.64倍，2.88倍，与基线个体任务模型相比，上述数据集上的参数数量分别少5.91倍。我们的源代码可以在https://github.com/pavanteja295/CACL上找到。
2020-09-14 cs.CV cs.LG
PRAC: Principal-Random Subspace for LLM Activation Compression and Memory-Efficient Training
School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
PRAC通过分解激活为主成分和随机子空间，实现LLM激活压缩和内存高效训练，达到36%的内存减少且性能损失小。
2026-02-26 cs.LG
Fast optimization of common basis for matrix set through Common Singular Value Decomposition
Jagiellonian University（雅盖隆大学）
SVD（奇异值分解）是机器学习的基本工具之一，可以优化给定矩阵的基础。然而，有时我们有一组矩阵$\{A_k\}_k$，并希望为它们优化一个公共基：找到正交矩阵$U$，$V$，使得矩阵的$\{U^T A_k V\}$集在某种程度上更简单。例如，DCT-II是图像/视频压缩中常用的函数的正交基-如这里所讨论的，这种基可以针对给定数据集快速自动优化。虽然也讨论了梯度下降优化可能是计算成本高，但提出了CSVD（常见SVD）：基于SVD的快速通用方法。具体地，我们选择$U$作为$\sum_i (w_k)^q (A_k A_k^T)^p$的特征向量和$\sum_k (w_k)^q (A_k^T A_k)^p$的$V$的特征向量的构建，其中$w_k$是它们的权重，$p,q>0$是一些选择的幂，例如1/2，可选地具有归一化，例如$A \to A - rc^T$，其中$r_i=\sum_j A_{ij}, c_j =\sum_i A_{ij}$。
2022-04-18 cs.LG
Low-Rank Compression of Language Models via Differentiable Rank Selection
University of Edinburgh（爱丁堡大学）
LLRC通过可微分方法实现语言模型的低秩压缩，在无需微调的情况下提升压缩率与下游任务准确性。
2025-12-14 cs.AI cs.LG
BALF: Budgeted Activation-Aware Low-Rank Factorization for Fine-Tuning-Free Model Compression
提出BALF框架，将激活感知低秩分解扩展到线性层以外的卷积层，通过白化理论处理秩亏激活，并利用拉格朗日松弛在FLOP或参数预算下分配层秩，实现免微调的高效视觉模型压缩。
2026-07-03 cs.LG
FlashSVD: Memory-Efficient Inference with Streaming for Low-Rank Models
Department of Statistical Science（统计科学系）；Department of Electrical & Computer Engineering（电气与计算机工程系）；Department of Computer Science（计算机科学系）
FlashSVD提出端到端秩感知流式推理框架，通过融合低秩投影内核避免物化激活缓冲区，在BERT-Base上削减峰值激活内存70.2%且无精度损失，实现低秩LLM的内存高效部署。
2025-08-02 cs.AI cs.LG cs.PF
Numerical Optimizations for Weighted Low-rank Estimation on Language Model
Samsung Research America（三星美国研究院）
奇异值分解（SVD）是最流行的压缩方法之一，它用较小的矩阵近似目标矩阵。然而，标准SVD将矩阵中的参数视为同等重要，这是一个简单但不切实际的假设。训练好的神经网络模型的参数对任务性能的影响可能是不均匀的，这表明参数之间的重要性不相等。与奇异值分解相比，考虑参数重要性的分解方法在实际应用中更具有实用价值。与标准SVD不同，加权值分解是一个非凸优化问题，缺乏封闭形式的解决方案。我们系统地研究了多种优化策略来解决这个问题，并通过压缩基于transformer的语言模型来检验我们的方法。此外，我们设计了一个指标来预测SVD何时可能会引入显着的性能下降，我们的方法可以作为一种救援策略。广泛的评估表明，我们的方法可以比目前的SOTA方法在压缩基于transformer的语言模型。
2022-12-15 cs.CL cs.LG
LASER: Low-Rank Activation SVD for Efficient Recursion
Harvard University（哈佛大学）
本文研究了递归架构中激活流形的几何结构，提出LASER框架通过动态压缩实现激活记忆节省，同时保持模型精度。
2026-04-19 cs.LG stat.ML
LSVD: Loss-Aware Low-Rank Approximation for Efficient Low-Precision Vision-Language Models
Tandon School of Engineering, New York University（纽约大学工程学院）；Courant Institute of Mathematical Sciences, New York University（纽约大学数学科学学院）；Brookhaven National Laboratory（布鲁克海文国家实验室）
提出LASER框架，通过损失感知的奇异值分解和跨层秩分配，结合混合量化方案，实现视觉-语言模型在低精度推理下的高效压缩与加速。
2026-10-23 cs.LG
