FlashSVD: Memory-Efficient Inference with Streaming for Low-Rank Models
Department of Statistical Science(统计科学系);Department of Electrical & Computer Engineering(电气与计算机工程系);Department of Computer Science(计算机科学系)
FlashSVD提出端到端秩感知流式推理框架,通过融合低秩投影内核避免物化激活缓冲区,在BERT-Base上削减峰值激活内存70.2%且无精度损失,实现低秩LLM的内存高效部署。
2025-08-02 cs.AI cs.LG cs.PF
KBVQ-MoE: KLT-guided SVD with Bias-Corrected Vector Quantization for MoE Large Language Models
Houmo AI;Nanyang Technological University(南洋理工大学)
KBVQ-MoE通过KLT引导SVD和偏置校正输出稳定化,提升MoE大语言模型的极低比特量化精度与部署效率。
2026-02-24 cs.AI cs.LG
Differentiable Bit-Widths: Co-optimizing Pruning and Quantization via SVD for Ultra-Efficient LLM Compression
Ajou University(亚洲大学)
提出可微分位宽方法,在统一框架中协同优化剪枝与量化,通过SVD学习组件级位宽,实现超高效LLM压缩,优于两阶段基线。
2026-10-06 cs.AI cs.CL
ERC-SVD: Error-Controlled SVD for Large Language Model Compression
本文提出ERC-SVD方法,通过利用截断过程生成的残差矩阵减少截断损失,并选择性压缩模型最后一层以降低误差传播,从而提升压缩模型性能。
2026-03-16 cs.AI cs.CL
Intrinsic Structure as a Proxy for Saliency: SVD-Based Weight Preservation for Mixed-Precision Quantization in Large Language Models
Department of Computer Science, Indian Institute of Information Technology Pune(计算机科学系,印度信息技术学院浦那)
本文提出基于SVD的无数据权重保持方法,通过保留主成分权重提升大型语言模型混合精度量化的性能。
2025-12-02 cs.AI cs.LG
GaLore$+$: Boosting Low-Rank Adaptation for LLMs with Cross-Head Projection
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Salesforce AI Research(Salesforce AI研究院);Tsinghua University(清华大学)
GaLore$+$通过跨头低秩投影、随机化子空间迭代和稀疏编码残差解决GaLore中SVD耗时问题,在保持性能的同时实现约4倍微调加速。
2024-12-15 cs.AI cs.CL cs.LG
BWLA: Breaking the Barrier of W1AX Post-Training Quantization for LLMs
Houmo AI
本文提出 BWLA 框架,通过 1 位权重量化和 6 位低精度激活实现 LLMs 的高效压缩与加速,显著提升性能并降低计算成本。
2026-05-01 cs.AI cs.LG
AdaSVD: Adaptive Singular Value Decomposition for Large Language Models
Shanghai Jiao Tong University(上海交通大学);MGTV, Shanhai Academy(MGTV,汕海学院);ETH Zürich(苏黎世联邦理工学院)
AdaSVD提出自适应SVD压缩方法,通过adaComp补偿截断误差和adaCR分配层特定压缩比,在多个LLM/VLM上超越SOTA,显著降低内存需求。
2025-09-25 cs.AI cs.CL cs.CV
Selecting the rank of truncated SVD by Maximum Approximation Capacity
ETH Zurich(苏黎世联邦理工学院)
截断奇异值分解(SVD)计算给定输入矩阵的最接近秩-$k$近似。在SVD的大多数应用中,选择适当的秩$k$定义了关键的模型阶数选择。为了获得一个原则性的截止准则的频谱,我们转换成一个嘈杂的信道编码问题的基本优化问题。该通道的最佳逼近能力控制正则化的适当强度以抑制噪声。在模拟实验中,这种信息理论方法来确定最佳的排名竞争与国家的最先进的模型选择技术。
2011-06-08 cs.IT cs.LG math.IT
Simple Truncated SVD based Model for Node Classification on Heterophilic Graphs
Microsoft Research India(微软印度研究院)
图神经网络(GNN)在节点标签方面表现出很强的同质性,即连接的节点具有相同的标签。然而,他们表现不佳的heterophilic图。最近的方法通常修改聚合方案,设计自适应图过滤器等,以解决这个限制。尽管如此,在异嗜图上的性能仍然很差。我们提出了一个简单的替代方法,利用截断奇异值分解(TSVD)的拓扑结构和节点功能。我们的方法实现了高达30%的改进性能比最先进的方法对heterophilic图。这项工作是一个早期的调查方法,不同的聚合为基础的方法。我们的实验结果表明,它可能是重要的,以探索其他替代聚集方法的嗜异性设置。
2021-06-24 cs.LG
CALR: Corrective Adaptive Low-Rank Decomposition for Efficient Large Language Model Layer Compression
Department of Electrical and Information Engineering, Universitas Gadjah Mada(电子与信息工程系,加雅马达大学);School of Information Technology, King Mongkut’s Institute of Technology Ladkrabang(信息技术学院,拉差班科技学院)
CALR通过结合SVD压缩主路径与可学习低秩校正模块,在减少26.93%-51.77%参数的同时保留59.45%-90.42%性能,优于现有压缩方法。
2025-08-26 cs.AI cs.LG
VulnLLMEval: A Framework for Evaluating Large Language Models in Software Vulnerability Detection and Patching
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
本文提出评估大语言模型软件漏洞检测与修复能力的框架VulnLLMEval,基于Linux内核307个真实漏洞构建数据集,实验发现LLM难区分漏洞与修复代码,且生成的修复方案常过度简化需优化。
2024-09-16 cs.AI cs.SE
Broken Chains: The Cost of Incomplete Reasoning in LLMs
研究探讨了大语言模型在不同推理模式下在标记限制下的表现,发现截断推理可能有害,代码退化较好,混合推理表现欠佳,鲁棒性取决于模型。
2026-02-16 cs.AI cs.LG
Sculpting Subspaces: Constrained Full Fine-Tuning in LLMs for Continual Learning
Red Hat AI Innovation(红帽AI创新中心);IBM Research(IBM研究院);IIT Bombay(印度理工学院孟买分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
本文提出基于自适应SVD的持续全量微调方法,通过识别任务特定低秩子空间并约束更新与先前任务关键方向正交,在无需额外参数的情况下有效缓解大语言模型持续学习中的灾难性遗忘,并在多个基准上取得最优结果。
2025-04-09 cs.AI cs.CL cs.LG
eFedLLM: Efficient LLM Inference Based on Federated Learning
Independent Researcher Pittsburgh, PA USA;Independent Researcher Cambridge, MA USA;Independent Researcher
本文提出 eFedLLM,通过联邦学习与模型并行分布式训练降低大语言模型推理的资源门槛,并结合激励机制、内存层级策略和 SVD 优化效率,使资源有限用户也能协作训练和使用前沿 LLMs。
2024-11-24 cs.AI cs.LG
GWT: Scalable Optimizer State Compression for Large Language Model Training
National Key Laboratory of Parallel and Distributed Computing(并行与分布式计算国家重点实验室);National University of Defense Technology(国防科技大学);Center for Machine Learning Research(机器学习研究中心)
本文提出GWT,一种基于小波变换的优化器状态压缩方法,有效减少内存开销,同时保持模型精度,适用于大规模预训练和任务微调。
2026-08-25 cs.AI cs.LG
UniQL: Unified Quantization and Low-rank Compression for Adaptive Edge LLMs
UniQL通过统一量化与低秩压缩技术,实现边缘LLM的高效部署,支持多种模型结构,提升内存效率与吞吐量,保持高精度。
2026-02-26 cs.AI cs.LG
ASER: Activation Smoothing and Error Reconstruction for Large Language Model Quantization
Alibaba Cloud Computing(阿里云)
针对大语言模型低比特量化误差大、性能下降明显的问题,提出包含误差重构与激活平滑的ASER算法,可在低比特下保持模型精度,性能比肩现有最优方法且开销小。
2024-12-12 cs.AI cs.LG
Understanding Post-Training Structural Changes in Large Language Models
School of Automation, Southeast University, Nanjing, China(自动化学院,东南大学,南京,中国)
本研究通过SVD分析揭示了大型语言模型训练后参数空间的结构变化,发现奇异值缩放和奇异向量旋转机制,为理解训练后调节机制提供了新视角。
2026-01-29 cs.AI cs.LG
Truncated Proximal Policy Optimization
ByteDance Seed(字节跳动种子)
提出截断近端策略优化(T-PPO),通过扩展广义优势估计和独立优化策略与价值模型,将推理大模型训练效率提升至2.5倍。
2025-06-18 cs.AI
FedMomentum: Preserving LoRA Training Momentum in Federated Fine-Tuning
Shanghai Jiao Tong University(上海交通大学);Queen's University Belfast(女王大学贝尔法斯特分校);Stevens Institute of Technology(史蒂文斯理工学院);Purdue University(普渡大学);Rice University(里奇大学)
FedMomentum通过奇异值分解实现结构化且动量保持的LoRA聚合,提升联邦微调中的收敛速度和准确率。
2026-03-09 cs.AI cs.LG
Diverse LLMs vs. Vulnerabilities: Who Detects and Fixes Them Better?
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
本研究提出DVDR-LLM框架,通过集成多个LLMs来提高软件漏洞检测与修复的准确性,同时探讨了集成方法在不同安全场景下的性能权衡。
2025-12-14 cs.AI cs.SE
FFT-based Dynamic Subspace Selection for Low-Rank Adaptive Optimization of Large Language Models
ISTA(因斯托克科学与技术研究院);Together AI
本文提出一种基于FFT和DCT的动态子空间选择方法,用于大语言模型的低秩自适应优化,以近似SVD/QR投影,实现与秩无关的运行时间,性能匹配且内存减少高达25%。
2025-10-08 cs.AI cs.LG
Dobi-SVD: Differentiable SVD for LLM Compression and Some New Perspectives
Duke University(杜克大学);University of California, Berkeley(加利福尼亚大学伯克利分校)
本文提出Dobi-SVD,一种基于可微SVD的LLM压缩方法,通过确定最优激活截断位置、高效重建权重矩阵并解决SVD固有信息损失问题,为超越量化和剪枝的LLM压缩提供了新途径。
2025-02-04 cs.LG
LLMs are Overconfident: Evaluating Confidence Interval Calibration with FermiEval
研究发现 LLMs 在构建置信区间时系统性过度自信,提出 FermiEval 基准评估此问题,并利用共形预测、对数概率 elicitation 和分位数调整方法有效降低过度自信,同时提出感知隧道理论解释其成因。
2025-10-30 cs.AI cs.LG stat.ME
Activation- and Influence-Aware Ranks (AIR): Function-Preserving SVD Compression for LLMs
Fraunhofer HHI(弗劳恩霍夫研究所)
提出AIR框架,基于SVD和反向信号影响度量,通过单次交替最小二乘扫描实现权重矩阵的低秩近似,在参数保留≤60%时困惑度比SVD-LLM(W)改善>18%,并减少90%校准数据。
2026-09-09 cs.LG
How Many Parameters Does Your Task Really Need? Task Specific Pruning with LLM-Sieve
Microsoft(微软)
针对资源受限场景下LLM用于窄任务的参数冗余问题,提出LLM-Sieve任务特定剪枝框架,通过输出对齐非正交投影和遗传算法自适应剪枝,可在极小精度损失下大幅剪枝权重,还能揭示知识分布并兼容现有高效部署技术。
2025-10-04 cs.AI cs.CL cs.LG
CoSpaDi: Compressing LLMs via Calibration-Guided Sparse Dictionary Learning
Fundamental Research Center MWS AI(MWS AI基础研究中心);ITMO
CoSpaDi通过校准引导的稀疏字典学习方法,在不训练的情况下实现大语言模型压缩,提升压缩与精度的平衡,优于现有SVD和结构剪枝基线。
2026-11-02 cs.AI cs.CL
FermiGrad-SVD: An LLM Compression Pipeline with Global Rank Selection and Gauge Fixing
Multiverse Computing(多维计算公司);Donostia International Physics Center(Donostia国际物理中心);Ikerbasque Foundation for Science(Ikerbasque科学基金会)
本文提出FermiGrad和PivGa两种方法,通过费米函数优化秩选择和规范固定,实现LLM压缩的全局优化。
2026-10-30 cs.LG stat.ML
On the Power of Truncated SVD for General High-rank Matrix Estimation Problems
Carnegie Mellon University(卡内基梅隆大学)
本文探讨了在谱范数下接近高秩正半定矩阵的估计值,通过截断SVD在Frobenius范数下得到乘法近似,解决了高秩矩阵补全、去噪和高维协方差估计问题。
2017-11-05 cs.LG cs.NA math.NA
Zero-Shot Spam Email Classification Using Pre-trained Large Language Models
Universidad Distrital Francisco José de Caldas(弗朗西斯科·何塞·德·卡尔达斯大区大学)
本文研究零样本提示下预训练大语言模型用于垃圾邮件分类,在SpamAssassin数据集上比较Flan-T5、ChatGPT和GPT-4在截断内容与摘要两种方法上的表现,并指出高推理成本是实际部署的主要障碍。
2024-05-24 cs.AI cs.CL
Improved SVD-based Initialization for Nonnegative Matrix Factorization using Low-Rank Correction
Graduate School of Science and Engineering(研究生院);PAF-Karachi Institute of Economics and Technology(卡拉奇经济和技术学院);Department of Mathematics and Operational Research(数学与运筹学系)
本文提出了一种改进的基于SVD的非负矩阵分解初始化方法,通过考虑被丢弃的SVD因子来降低初始误差,同时生成稀疏初始因子并提高计算效率。
2018-07-11 cs.LG cs.NA math.NA
Concatenated Matrix SVD: Compression Bounds, Incremental Approximation, and Error-Constrained Clustering
Institute of Mathematics of NAS of Ukraine(乌克兰国家科学院数学研究所);MacPaw Research(MacPaw研究)
针对拼接后截断SVD压缩中哪些矩阵可安全合并的问题,提出基于谱界和增量SVD的聚类框架,实现显式误差约束下的压缩感知矩阵分组。
2026-06-15 cs.LG cs.NA math.NA
SVD Contextual Sparsity Predictors for Fast LLM Inference
本文提出一种无需训练的快速稀疏模式预测方法,利用截断感知SVD和阈值校准算法,加速ReGLUFFN的LLM推理,实验显示在保持低精度损失下,解码时间减少1.8倍。
2026-03-14 cs.LG
Reasoning with LLMs for Zero-Shot Vulnerability Detection
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
针对现有大语言模型漏洞检测评估缺乏上下文鲁棒性的问题,提出多粒度零样本评估框架VulnSage及低噪数据集,验证结构化推理提示和代码专用模型可显著提升检测性能。
2025-03-22 cs.AI cs.SE
AttSVD:Prompt-Adaptive Low-Rank KV Cache Compression via Attention-Guided SVD
Microsoft Applied Sciences Group (ASG)(微软应用科学组(ASG))
AttSVD通过基于提示注意力几何的在线截断SVD压缩KV缓存,保留所有令牌并自适应调整秩,在多种模型和基准上以最多50%内存保持与密集缓存相当的性能。
2026-10-07 cs.AI cs.LG
D-SLR: The Disjoint Row-Sparse plus Low-Rank Decomposition
Chalmers University of Technology(查尔姆斯理工大学)
本文提出D-SLR分解,作为截断SVD的闭式替代方法,通过将行限制为逐字存储或低秩近似,在相同或更少参数下提升重构性能,无需调参,在多类真实数据实验中验证了其有效性。
2026-10-09 cs.LG stat.ME stat.ML
GA-SVD: Generation-aware Singular Value Decomposition for LLM Compression
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Technology Innovation Institute UAE(阿联酋技术创新研究院);Westlake University(西湖大学);ISTA(奥地利科学技术研究所)
针对现有SVD压缩LLM时难以保留生成任务性能且秩分配策略启发式的问题,提出GA-SVD框架,通过GAWW和进化全局秩分配方法,在多类模型及基准上实现优于基线的SoTA压缩效果,且可扩展至70B参数模型。
2026-10-14 cs.LG
Different Prompts, Different Ranks: Prompt-aware Dynamic Rank Selection for SVD-based LLM Compression
Stevens Institute of Technology(史蒂文斯理工学院);Technical University of Darmstadt(达姆施塔特技术大学)
本文提出PARSE框架,通过提示感知的动态秩选择提升SVD压缩LLM的效率与性能,实现任务准确率提升10%及推理速度提升。
2026-05-09 cs.LG
Fast and Accurate SVD-Type Updating in Streaming Data
Arizona State University(亚利桑那州立大学);Stanford University(斯坦福大学)
针对流数据SVD近似重算成本高、现有增量截断策略大截断秩下扩展性差的问题,提出两种高效双对角分解更新算法,精度与SVD相当,内存或运算复杂度更优,在推荐系统等场景验证了有效性。
2025-09-02 cs.LG cs.MS cs.NA
Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Yandex School of Data Analysis(Yandex数据分析学院);Moscow Center for Advanced Studies(莫斯科高等研究中心)
OPLoRA通过交替最小二乘更新将LoRA优化转化为可解释子问题,以低内存接近SVDLoRA性能,并支持动量,在多个任务上验证了有效性。
2025-09-24 cs.LG
Communication-Efficient Distributed SVD via Local Power Iterations
Peking University(北京大学);Stevens Institute of Technology(史蒂文斯理工学院)
研究截断奇异值分解问题的分布式计算。我们开发了一个算法,我们称之为\texttt{LocalPower},以提高通信效率。具体来说,我们均匀地划分数据集之间的$m$节点和交替多个(精确地说,$p$)本地电源迭代和一个全球性的聚合。在聚合中,我们建议加权每个局部特征向量矩阵的正交Procrustes变换(OPT)。作为一种实用的OPT替代算法,符号固定算法使用一个以$\pm 1$元素为权值的对角矩阵,在实验中具有较好的计算复杂度和稳定性。我们从理论上证明,在某些假设下,\texttt{LocalPower}将所需的通信次数降低了$p$的一个因子,以达到恒定的准确度。我们还表明,定期衰减的$p$的战略有助于获得高精度的解决方案。我们进行实验,以证明\texttt{LocalPower}的有效性。
2021-06-04 cs.LG math.OC stat.ML
Beyond Uniform SVD:Dual-Level Optimization across Columns and Modules for LLM Compression
Shanghai Jiao Tong University(上海交通大学)
Duo-SVD通过双层优化提升LLM压缩效率,有效解决分解误差差异和权重矩阵重要性评估问题。
2026-01-14 cs.LG
Low-Rank Prehab: Preparing Neural Networks for SVD Compression
Department of Computer Science, Vanderbilt University(计算机科学系,范德比尔特大学)
低秩预准备通过在SVD压缩前优化权重结构,提升压缩后模型性能和恢复效果。
2025-12-01 cs.LG
IO-SVD: Input-Output Whitened SVD for Adaptive-Rank LLM Compression
Vanderbilt University(范德比大学);University of California, Davis(加州大学戴维斯分校)
IO-SVD通过构建KL感知的双侧白化空间,结合高效异质秩分配策略,实现LLM压缩时的性能与效率平衡,实验表明其在压缩过程中性能损失小且推理速度提升显著。
2026-05-15 cs.LG
SigmaScale: LLM Compression with SVD-based Low-Rank Decomposition and Learned Scaling Matrices
Department of Computer Science, Aalborg University Copenhagen(奥尔堡大学哥本哈根分校计算机科学系);MaLGa-DIBRIS, University of Genoa(热那亚大学MaLGa-DIBRIS);INFN, Sezione di Genova(国家核物理研究所热那亚分部);European Organization for Nuclear Research (CERN)(欧洲核子研究中心);Ceva, Inc.(Ceva公司)
提出SigmaScale方法,通过学习辅助缩放矩阵优化截断SVD的LLM压缩,降低权重矩阵有效秩,在Llama 3.1 8B和Qwen3-8B上达到竞争性能。
2026-06-05 cs.CL cs.LG
Basis Sharing: Cross-Layer Parameter Sharing for Large Language Model Compression
Technical University of Darmstadt(达姆施塔特工业大学);National Central University(国立中央大学);National Cheng Kung University(国立成功大学);University of Siegen(锡根大学)
针对大语言模型参数多、推理内存占用高难以部署的问题,提出结合SVD的跨层基共享压缩方法,将不同层权重分解为共享基向量与独有系数的线性组合,实验证明其在高压缩比下优于现有同类压缩技术。
2024-10-02 cs.CL cs.LG
SVD-LLM: Truncation-aware Singular Value Decomposition for Large Language Model Compression
The Ohio State University(俄亥俄州立大学);Michigan State University(密歇根州立大学)
本文提出训练后压缩方法SVD-LLM,通过截断感知数据白化和序贯低秩参数更新降低SVD压缩损失,并在多家族、多规模模型与10个数据集上验证其高压缩比优势。
2025-03-16 cs.CL cs.LG
KQ-SVD: Compressing the KV Cache with Provable Guarantees on Attention Fidelity
ENS de Lyon(里昂高等师范学院);DIRO, Université de Montréal(蒙特利尔大学DIRO中心);Mila(Mila人工智能研究所);CIFAR AI Chair(CIFAR人工智能主席)
KQ-SVD通过最优低秩分解提升KV缓存压缩的注意力保真度,实验证明其在LLaMA和Mistral模型中表现优异。
2025-12-05 cs.LG
A Language-Driven Framework for Improving Personalized Recommendations: Merging LLMs with Traditional Algorithms
University of North Florida(北弗罗里达大学)
本研究提出一个语言驱动框架,通过LLM优化SVD/SVD++算法输出并融合用户文本偏好,在多项指标上大幅提升电影推荐性能。
2025-07-09 cs.CL cs.IR cs.LG
Layer-wise dynamic rank for compressing large language models
Stevens Institute of Technology(史蒂文斯理工学院);Carnegie Mellon University(卡内基梅隆大学);Technical University of Darmstadt(达姆施塔特技术大学)
针对大语言模型现有SVD压缩方法逐层统一压缩比忽略层异质性的问题,提出D-Rank动态秩分配框架,基于有效秩和拉格朗日优化自适应分配秩,在多个基准上实现更优压缩效果与推理效率。
2025-10-04 cs.LG
Operator SVD with Neural Networks via Nested Low-Rank Approximation
University of Florida(佛罗里达大学)
本文提出一种基于截断SVD低秩逼近的神经网络优化框架,通过嵌套技术按序学习前L个奇异值和奇异函数,隐式实现正交性,适用于高维特征值问题。
2024-08-21 cs.LG cs.NA math.NA
ARA: Adaptive Rank Allocation for Efficient Large Language Model SVD Compression
Shanghai Jiao Tong University(上海交通大学)
针对大语言模型SVD压缩中全局压缩比约束下的秩分配难题,提出自适应秩分配方法ARA,通过专用掩码设计和额外损失函数优化,在LLaMA2-7B 80%压缩比下实现性能显著提升。
2025-10-22 cs.LG
LowRankArena: A Standardized Evaluation Platform for SVD-Based LLM Compression
Duke University(杜克大学);Wake Forest University(维克森林大学)
该研究提出LowRankArena这一标准化评估平台,解决基于SVD的LLM压缩研究中评估不统一的问题,通过审计五种SVD方法揭示过往发现的条件性。
2026-08-28 cs.CL cs.LG