Parameter-free Adaptive Sparse Attention via Compression-Based Content Selection
The Pennsylvania State University（宾夕法尼亚州立大学）
研究如何实现无参数自适应稀疏注意力，核心方法是利用gzip压缩率识别内容块来动态生成稀疏掩码，主要贡献是在语言建模实验中性能超越其他模型，无参数添加且随序列长度优势扩大、收敛更快。
2026-07-27 cs.LG
Doping: A technique for efficient compression of LSTM models using sparse structured additive matrices
SambaNova Systems（桑巴诺瓦系统公司）；Arm ML Research（Arm机器学习研究部）
结构化矩阵，例如从Kronecker产品（KP）导出的矩阵，在压缩神经网络方面是有效的，但当应用于大型模型时可能导致不可接受的精度损失。在本文中，我们提出了掺杂的概念-除了一个非常稀疏的矩阵的结构矩阵。掺杂促进了少量参数的附加自由度，允许它们独立地偏离固定结构。为了训练具有掺杂结构矩阵的LSTM，我们引入了额外的参数矩阵，同时缓慢退火其稀疏水平。然而，我们发现，性能下降，因为我们慢慢稀疏的掺杂矩阵，由于结构化和稀疏矩阵之间的协矩阵自适应（CMA）。我们解决了这个过度依赖于稀疏矩阵使用一个共同的矩阵脱落正则化（CMR）计划。我们提供的经验证据表明，掺杂，CMA和CMR的概念一般适用于多个结构矩阵（克罗内克积，LMF，混合矩阵分解）。此外，掺杂克罗内克积矩阵的结果表明，在4个自然语言处理应用中，在大压缩因子（10 - 25倍）下具有最先进的精度，精度损失较小。Doped KP压缩技术通过在相似的精度下实现1.3 - 2.4倍的压缩因子，优于先前最先进的压缩结果，同时还大幅击败了修剪和低秩方法等强大的替代方案（8%或更高）。此外，我们表明，掺杂KP可以部署在商品硬件上使用当前的软件栈，并实现2.5 - 5.5倍的推理运行时速度超过基线。
2021-02-14 cs.LG
Zero Sum SVD: Balancing Loss Sensitivity for Low Rank LLM Compression
Department of Computer Science, Vanderbilt University, TN, USA（计算机科学系，范德比尔特大学）
零和SVD通过全局奇异成分选择和零和规则实现低秩LLM压缩，无需优化即可自动生成异质秩，提升压缩效率与性能。
2026-09-30 cs.LG
Layer-wise dynamic rank for compressing large language models
Stevens Institute of Technology（史蒂文斯理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Technical University of Darmstadt（达姆施塔特技术大学）
针对大语言模型现有SVD压缩方法逐层统一压缩比忽略层异质性的问题，提出D-Rank动态秩分配框架，基于有效秩和拉格朗日优化自适应分配秩，在多个基准上实现更优压缩效果与推理效率。
2025-10-04 cs.LG
ARA: Adaptive Rank Allocation for Efficient Large Language Model SVD Compression
Shanghai Jiao Tong University（上海交通大学）
针对大语言模型SVD压缩中全局压缩比约束下的秩分配难题，提出自适应秩分配方法ARA，通过专用掩码设计和额外损失函数优化，在LLaMA2-7B 80%压缩比下实现性能显著提升。
2025-10-22 cs.LG
Data-Driven Low-Rank Neural Network Compression
UC Berkeley（加州大学伯克利分校）；InterDigital AI Lab（InterDigital人工智能实验室）；Technicolor AI Lab（特艺人工智能实验室）
尽管深度神经网络（DNN）有许多现代应用，但隐藏层中的大量参数使得它们对于在具有存储容量限制的设备上部署没有吸引力。在本文中，我们提出了一种数据驱动的低秩（DDLR）方法，通过在全连接层上施加低秩结构来减少预训练DNN的参数数量并加快推理，同时控制整体准确性并且不需要任何重新训练。我们提出的问题，找到最低的秩近似的每个全连接层与给定的性能保证，并放松到一个易于处理的凸优化问题。我们表明，可以显着减少常见DNN架构中的参数数量，而分类精度只会有很小的降低。我们将DDLR与Net-Trim进行了比较，Net-Trim是另一种基于稀疏性的数据驱动DNN压缩技术，并表明DDLR在保持更高准确性的同时始终产生更多压缩的神经网络。
2021-07-13 cs.LG
Task-Driven Kernel Flows: Label Rank Compression and Laplacian Spectral Filtering
School of Computer Science and Engineering（计算机科学与工程学院）；Sun Yat-sen University（中山大学）；Boya Junior High School（Boyaa 初中）；Guangxi Hope High School（广西希望高中）
该研究提出任务驱动的核流理论，通过标签排名压缩和拉普拉斯谱滤波，揭示监督学习的低秩特性，并对比自监督学习的高秩表示。
2026-01-01 cs.LG
A Highly Effective Low-Rank Compression of Deep Neural Networks with Modified Beam-Search and Modified Stable Rank
Seoul National University（首尔大学）
压缩已经成为深度学习的重要研究课题之一，特别是对于计算能力和存储容量有限的边缘设备。在主要的压缩技术中，已知经由矩阵分解的低秩压缩具有两个问题。首先，需要广泛的调谐。其次，所得到的压缩性能通常不令人印象深刻。在这项工作中，我们提出了一种低秩压缩方法，利用修改后的束搜索的自动排名选择和修改后的稳定排名的压缩友好的训练。得到的BSR（束搜索和稳定秩）算法只需要一个单一的超参数被调整为所需的压缩比。在精度和压缩比权衡曲线方面，BSR的性能优于先前已知的低秩压缩方法。此外，BSR可以与最先进的结构化修剪方法相比甚至更好。与修剪一样，BSR可以很容易地与量化相结合，以进行额外的压缩。
2021-12-01 cs.AI cs.CV cs.LG
Neural Network Compression Via Sparse Optimization
Microsoft（微软）；National University of Singapore（新加坡国立大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
压缩深度神经网络（DNN）以降低推理成本对于满足各种应用的实际部署要求变得越来越重要。关于网络压缩已经有了大量的工作，而其中大多数都是基于启发式规则的，或者通常不适合纳入不同的场景。另一方面，稀疏优化产生稀疏解自然符合压缩要求，但由于稀疏优化在随机学习中的研究有限，其扩展和应用到模型压缩很少被很好地探索。在这项工作中，我们提出了一个模型压缩框架的基础上稀疏随机优化的最新进展。与现有的模型压缩技术相比，我们的方法是有效的，需要更少的额外的工程努力，将不同的应用程序，并已在基准压缩任务的数值模拟。特别是，与基线重型模型相比，我们分别在CIFAR10的VGG16和ImageNet的ResNet50上实现了高达7.2倍和2.9倍的FLOP减少，并且具有相同的评估精度。
2020-11-11 cs.LG math.OC stat.ML
GST: Group-Sparse Training for Accelerating Deep Reinforcement Learning
KAIST（韩国科学技术院）
深度强化学习（DRL）在顺序决策问题中取得了显着的成功，但要获得如此良好的性能需要很长的训练时间。许多并行和分布式DRL训练方法已经被提出来解决这个问题，但它是很难利用它们在资源有限的设备。为了加速真实世界边缘设备中的DRL，必须解决由于大权重事务而导致的内存带宽瓶颈。然而，以前的迭代修剪不仅在训练开始时显示出较低的压缩比，而且使DRL训练不稳定。为了克服这些缺点，我们提出了一种新的权重压缩方法，称为组稀疏训练（GST）的DRL训练加速。GST选择性地利用块循环压缩来在DRL训练的所有迭代期间保持高权重压缩比，并通过奖励感知修剪来动态适应目标稀疏性以进行稳定训练。由于这些特性，GST在具有TD 3训练的Mujoco Halfcheetah-v2和Mujoco humanoid-v2环境中实现了比没有奖励下降的迭代修剪方法高25 \%p $\sim$ 41.5 \%p的平均压缩比。
2021-01-24 cs.LG
Semi-tensor Product-based TensorDecomposition for Neural Network Compression
University of Electronic Science and Technology of China（电子科技大学）；Shanghai Jiao Tong University（上海交通大学）
现有的张量网络采用传统的矩阵积进行连接。经典的矩阵乘积要求因子之间具有严格的维数一致性，这会导致数据表示的冗余。本文利用半张量积将经典的基于矩阵积的模积推广到半张量积。由于它允许连接两个不同维度的因子，因此可以用较小的因子获得更灵活和紧凑的张量分解。Tucker分解、张量训练（TT）和张量环（TR）是深度神经网络低秩压缩的常用分解。将半张量积应用于这些张量分解以获得它们的广义版本，即，半张量Tucker分解（STTu）、半张量训练（STT）和半张量环（STR）。实验结果表明，STTu，STT和STR实现更高的压缩因子比传统的张量分解具有相同的精度，但更少的训练时间在ResNet和WideResNet压缩。在2%精度下降的情况下，TT-RN（rank = 14）和TR-WRN（rank = 16）仅获得3倍和99 t倍的压缩因子，而STT-RN（rank = 14）和STR-WRN（rank = 16）分别获得9倍和179倍的压缩因子。
2021-09-30 cs.LG
HAS-VQ: Hessian-Adaptive Sparse Vector Quantization for High-Fidelity LLM Compression
Independent Researcher（独立研究者）
HAS-VQ通过Hessian自适应稀疏向量量化实现大语言模型的高保真压缩，优于整数基线并实现无损压缩。
2026-01-11 cs.LG
Adaptive Feature-based Low-Rank Compression of Large Language Models via Bayesian Optimization
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Huawei Cloud, China（华为云）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
针对大语言模型低秩压缩中特征分布估计与低秩维度分配难题，提出基于池化协方差矩阵和贝叶斯优化的自适应方法，在LLaMA-2上以相同压缩比优于现有剪枝与低秩压缩技术。
2025-02-23 cs.CL cs.LG
EvtGraph: Event-Adaptive Compression for Sparse Temporal Graph Learning in Multimodal Time Series
Tsinghua University（清华大学）
本研究针对多模态时序数据均匀离散化效率低的问题，提出EvtGraph框架，通过事件自适应压缩等技术实现预算约束下的高效图学习，在多模态临床等基准上性能优于基线且效率显著提升。
2026-08-06 cs.LG
IO-SVD: Input-Output Whitened SVD for Adaptive-Rank LLM Compression
Vanderbilt University（范德比大学）；University of California, Davis（加州大学戴维斯分校）
IO-SVD通过构建KL感知的双侧白化空间，结合高效异质秩分配策略，实现LLM压缩时的性能与效率平衡，实验表明其在压缩过程中性能损失小且推理速度提升显著。
2026-05-15 cs.LG
Different Prompts, Different Ranks: Prompt-aware Dynamic Rank Selection for SVD-based LLM Compression
Stevens Institute of Technology（史蒂文斯理工学院）；Technical University of Darmstadt（达姆施塔特技术大学）
本文提出PARSE框架，通过提示感知的动态秩选择提升SVD压缩LLM的效率与性能，实现任务准确率提升10%及推理速度提升。
2026-05-09 cs.LG
Activation- and Influence-Aware Ranks (AIR): Function-Preserving SVD Compression for LLMs
Fraunhofer HHI（弗劳恩霍夫研究所）
提出AIR框架，基于SVD和反向信号影响度量，通过单次交替最小二乘扫描实现权重矩阵的低秩近似，在参数保留≤60%时困惑度比SVD-LLM(W)改善>18%，并减少90%校准数据。
2026-09-09 cs.LG
DynaCalKV: Key-Value Cache Compression via Head Grouping and Adaptive Rank Allocation
针对大语言模型KV缓存瓶颈问题，提出DynaCalKV框架，通过基于CKA相似性动态分组注意力头并自适应分配秩预算处理键缓存，值缓存采用ReCalKV方法优化，实验表明能减少键缓存参数且保持准确率，对MHA模型效果好，对GQA模型应用需更谨慎。
2026-07-28 cs.LG
Common Subexpression-based Compression and Multiplication of Sparse Constant Matrices
Bogazici University（博阿齐奇大学）
在深度学习推理中，模型参数被修剪和量化以减小模型大小。压缩方法和公共子表达式（CSE）消除算法应用于稀疏常数矩阵部署在低成本的嵌入式设备上的模型。然而，最先进的CSE消除方法不能很好地扩展以处理大型矩阵。他们达到小时提取CSE在一个$200 \times 200$矩阵，而他们的矩阵乘法算法执行时间比传统的矩阵乘法方法。此外，不存在用于利用CSE的矩阵的压缩方法。为了解决这个问题，本文提出了一种基于随机搜索的算法来提取常数矩阵的列对中的CSE。它在一分钟内为$1000 \times 1000$矩阵生成一个加法器树。为了压缩加法器树，本文提出了一种压缩格式，通过扩展压缩稀疏行（CSR），以包括CSE。虽然压缩率超过$50\%$可以实现相比，原来的CSR格式，一个单核嵌入式系统的模拟表明，矩阵乘法的执行时间可以减少$20\%$。
2023-03-26 cs.LG cs.PF
PuzzleKV: Page-Wise Low-Rank Decomposition for KV Cache Compression
PuzzleKV将KV缓存划分为固定长度逻辑页，以页为独立压缩单元，在匹配存储预算下实现高压缩率与近似完整KV的性能，在RULER、LongBench等基准上表现优于Global SVD。
2026-08-26 cs.LG
Activation-Informed Pareto-Guided Low-Rank Compression for Efficient LLM/VLM
University of California-Santa Barbara（加州大学圣芭芭拉分校）；Amazon（亚马逊）
本文提出了一种基于激活信息的帕累托引导低秩压缩方法，通过理论分析和算法设计，在保持模型精度的同时提升LLM和VLM的压缩效率和推理速度。
2026-10-08 cs.CL cs.LG
Low-Rank Compression of Language Models via Differentiable Rank Selection
University of Edinburgh（爱丁堡大学）
LLRC通过可微分方法实现语言模型的低秩压缩，在无需微调的情况下提升压缩率与下游任务准确性。
2025-12-14 cs.AI cs.LG
Almost-lossless compression of a low-rank random tensor
Huawei Research Center（华为研究中心）
在这项工作中，我们建立了一个渐近极限的几乎-无损压缩的随机，有限的字母表张量，它允许一个低秩的规范polyadic分解。
2022-10-23 cs.IT cs.LG eess.SP
FermiGrad-SVD: An LLM Compression Pipeline with Global Rank Selection and Gauge Fixing
Multiverse Computing（多维计算公司）；Donostia International Physics Center（Donostia国际物理中心）；Ikerbasque Foundation for Science（Ikerbasque科学基金会）
本文提出FermiGrad和PivGa两种方法，通过费米函数优化秩选择和规范固定，实现LLM压缩的全局优化。
2026-10-30 cs.LG stat.ML
Convolutional neural networks compression with low rank and sparse tensor decompositions
Skoltech（斯科尔特科技学院）
卷积神经网络在各种计算机视觉任务中表现出优异的性能。然而，神经网络架构设计通常面临模型性能和计算/存储器复杂度之间的权衡。对于一些现实世界的应用程序，开发模型至关重要，这些模型可以快速而轻巧地在边缘系统和移动设备上运行。然而，许多表现出良好性能的现代体系结构不满足推理时间和存储限制的要求。因此，出现了一个问题，神经网络压缩，以获得一个更小，更快的模型，这是与初始的。在这项工作中，我们考虑一个神经网络压缩方法的基础上张量分解。也就是说，我们建议用一个张量来近似卷积层权重，它可以表示为低秩和稀疏分量的总和。这种近似的动机是基于这样的假设，即低秩和稀疏项允许消除两种不同类型的冗余，从而产生更好的压缩率。一个有效的CPU实现所提出的方法已经开发。我们的算法在压缩Resnet 50架构用于图像分类任务时，表现出高达3.5倍的CPU层加速和11倍的层大小减少。
2020-06-11 cs.CV cs.LG
Saten: Sparse Augmented Tensor Networks for Post-Training Compression of Large Language Models
University of California-Santa Barbara（加州大学圣巴巴拉分校）；Amazon（亚马逊）
针对预训练大型语言模型因高秩特性和缺乏预训练数据导致训练后压缩困难的问题，提出稀疏增强张量网络（Saten）框架，通过微调期间的低秩张量化实现全模型压缩，提升了准确性与压缩效率并达到最先进性能。
2025-10-13 cs.CL cs.LG
LoSparse: Structured Compression of Large Language Models based on Low-Rank and Sparse Approximation
Georgia Tech（佐治亚理工学院）；Microsoft Azure（微软Azure）
提出LoSparse模型压缩技术，通过低秩矩阵与稀疏矩阵之和近似权重矩阵，结合低秩近似与剪枝优势，在自然语言任务中显著优于现有方法。
2023-06-26 cs.CL cs.LG
BELT : BEhavior-Aligned Low-Rank KV Cache Compression with Learned Top-k Rank Allocation
Peking University（北京大学）；Tencent（腾讯）；BeiHang University（北京航空航天大学）
针对大语言模型长上下文推理的KV缓存内存瓶颈，提出BELT框架，通过学习型秩分配实现高效低秩压缩，在提升模型质量与吞吐量的同时实现显著缓存压缩效果。
2026-10-14 cs.AI cs.LG
Efficient Data Compression for 3D Sparse TPC via Bicephalous Convolutional Autoencoder
Brookhaven National Laboratory（布鲁克海文国家实验室）
在大型实验装置中进行实时数据汇集和分析是一个跨多个领域的巨大挑战，包括高能物理、核物理和宇宙学。为了解决这个问题，基于机器学习（ML）的实时数据压缩方法已经引起了极大的关注。然而，与自然图像数据不同，例如CIFAR和ImageNet相对较小且连续，科学数据通常以高速率的三维数据量出现，具有高稀疏性（许多零）和非高斯值分布。这使得直接应用流行的ML压缩方法以及常规的数据压缩方法是次优的。为了解决这些障碍，这项工作引入了一个双头自动编码器，以解决稀疏和回归同时，称为\textit{Bicephalous Convolutional AutoEncoder}（BCAE）。与传统的数据压缩方法如MGARD、SZ和ZFP相比，该方法在压缩保真度和压缩比上都有明显的优势。为了达到类似的保真度，传统方法中性能最好的方法只能达到BCAE压缩比的一半。此外，一个彻底的消融研究的BCAE方法表明，一个专用的分割解码器提高了重建。
2021-11-09 cs.CV cs.LG
STAR-KV: Low-Rank KV Cache Compression via Soft Thresholding for Adaptive Rank Control
University of Washington（华盛顿大学）
提出STAR-KV框架，通过可微阈值机制实现注意力头和块级别的自适应秩选择，结合混合分解和低秩感知混合精度量化，在多种LLM上达到75%的KV缓存压缩，结合量化可减少20倍，并实现6.9倍注意力模块加速和3.1倍端到端生成吞吐提升。
2026-06-07 cs.AI cs.LG
Unfolding Neural Networks for Compressive Multichannel Blind Deconvolution
Harvard University（哈佛大学）；Weizmann Institute of Science（魏茨曼科学研究所）
针对压缩稀疏多通道盲反卷积问题，提出了一种学习结构的展开神经网络。在这个问题中，每个通道的测量值被给出为公共源信号和稀疏滤波器的卷积。与以前的作品中，压缩是通过随机投影或通过应用一个固定的结构化压缩矩阵来实现不同，本文提出了从数据中学习压缩矩阵。给定完整的测量值，所提出的网络以无监督的方式进行训练，以学习源和估计稀疏滤波器。然后，给定估计的源，我们学习结构化压缩算子，同时优化信号重建和稀疏滤波器恢复。压缩的有效结构允许其实际的硬件实现。所提出的神经网络是一种基于展开方法构建的自动编码器：在训练时，编码器使用压缩算子和源将压缩测量映射到稀疏滤波器的估计中，线性卷积解码器重建完整的测量。我们证明，我们的方法是优于经典的结构化压缩稀疏多通道盲反卷积方法的精度和速度的稀疏滤波器恢复。
2021-02-12 cs.LG eess.SP
Riemannian Low-Rank Model Compression for Federated Learning with Over-the-Air Aggregation
Shenzhen Research Institute of Big Data（深圳大数据研究院）；Hong Kong University of Science and Technology（香港科技大学）
本文针对联邦学习中的低秩模型压缩问题，提出一种基于黎曼流形优化的不放宽低秩约束的新方法，并设计带预编码器的交替优化算法以支持高效的空中聚合，实验证明其优于现有基线。
2023-06-04 cs.LG eess.SP
The Future is Sparse: Embedding Compression for Scalable Retrieval in Recommender Systems
Recombee（Recombee公司）；Czech Technical University in Prague（捷克技术大学布拉格分校）；Charles University Prague（布拉格查尔斯大学）
针对工业级推荐系统高基数实体密集嵌入存储访问的内存瓶颈，提出一种轻量级可学习嵌入压缩技术，将嵌入投影到高维稀疏激活空间，在保性能的同时降内存，为大规模推荐系统效率提升提供了可行思路并开源代码。
2025-05-16 cs.IR cs.LG
Low-Rank Matrix Approximation for Neural Network Compression
Illinois Mathematics and Science Academy（伊利诺伊数学与科学学院）
针对深度神经网络部署成本高的问题，提出 ARSVD 方法，利用奇异值谱熵逐层自适应确定压缩秩，在降低时空复杂度的同时提升压缩性能。
2025-05-11 cs.CC cs.LG
Greedy Low-Rank Gradient Compression for Distributed Learning with Convergence Guarantees
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Center for Data Science, Peking University（北京大学数据科学中心）；School of Software, Beihang University（北航软件学院）；School of Life Sciences, Peking University（北京大学生命科学学院）；Center for Machine Learning Research, Peking University（北京大学机器学习研究中心）
针对分布式学习通信瓶颈，本文提出带误差反馈与半懒子空间更新的 GreedyLore 贪婪低秩梯度压缩算法，首次证明其在 MSGD、Adam 下具有线性加速收敛率。
2025-10-20 cs.LG math.OC
KV-COBRA: KV Cache Compression via Co-Optimized Bit-Rank Allocation
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
KV-COBRA通过按注意力头协同优化秩和位宽分配，在低比特率下实现更优的KV缓存压缩，显著减少精度损失且无额外开销。
2026-09-22 cs.AI cs.LG
Theoretical Guarantees for Low-Rank Compression of Deep Neural Networks
Department of Mathematics, University of California San Diego（加州大学圣地亚哥分校数学系）；Department of Mathematics（数学系）；Hal c o g lu Data Science Institute, University of California San Diego（Hal c o g lu数据科学研究所，加州大学圣地亚哥分校）
本文提出了一种数据驱动的后训练低秩压缩分析框架，通过理论证明在不同假设下恢复定理，以解释低秩压缩方法优于数据无关方法的原因，并推动理论支持的压缩算法发展。
2025-02-04 cs.IT cs.LG math.IT
SigmaScale: LLM Compression with SVD-based Low-Rank Decomposition and Learned Scaling Matrices
Department of Computer Science, Aalborg University Copenhagen（奥尔堡大学哥本哈根分校计算机科学系）；MaLGa-DIBRIS, University of Genoa（热那亚大学MaLGa-DIBRIS）；INFN, Sezione di Genova（国家核物理研究所热那亚分部）；European Organization for Nuclear Research (CERN)（欧洲核子研究中心）；Ceva, Inc.（Ceva公司）
提出SigmaScale方法，通过学习辅助缩放矩阵优化截断SVD的LLM压缩，降低权重矩阵有效秩，在Llama 3.1 8B和Qwen3-8B上达到竞争性能。
2026-06-05 cs.CL cs.LG
PuzzleMoE: Efficient Compression of Large Mixture-of-Experts Models via Sparse Expert Merging and Bit-packed inference
Tsinghua University（清华大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究针对专家混合模型内存开销大难题，提出PuzzleMoE方法。通过识别权重冗余与专业化进行稀疏专家合并，用双掩码捕获参数，引入位打包编码避免存储开销，实现高效推理，大幅压缩模型且保持精度。
2026-07-07 cs.AI cs.LG
EAST: Encoding-Aware Sparse Training for Deep Memory Compression of ConvNets
Politecnico di Torino（都灵理工大学）
在具有有限非易失性存储器空间的微小端节点上实现深度卷积神经网络（ConvNets）需要能够缩小占用空间但保持预测准确性的智能压缩策略。存在用于此目的的许多策略，从那些利用模型的拓扑或算术精度的策略（例如，修剪和量化）到那些操作模型不可知压缩的策略（例如，权重编码）。内存约束越严格，这些技术单独无法满足要求的可能性就越高，因此必须在不同优化之间进行更多的感知和合作。这项工作通过引入EAST（编码感知稀疏训练）来解决这个问题，EAST是一种新型的内存约束训练过程，可以引导量化的ConvNets进行深度内存压缩。EAST实现了一种自适应组修剪，旨在最大限度地提高权重编码方案（本工作中的LZ 4算法）的压缩率。如果与现有的方法相比，EAST满足较低的稀疏性的内存约束，从而确保更高的精度。在部署在低功耗微控制器（ARM Cortex-M4）上的最先进的ConvNet（ResNet-9）上进行的结果验证了该提议。
2019-12-20 cs.CV cs.LG stat.ML
Hierarchical Sparse Plus Low Rank Compression of LLM
International Institute of Information Technology, Hyderabad（国际信息科技研究所，海得拉巴）
本文提出HSS压缩方法，通过稀疏和低秩分解实现LLM的高效压缩，实验表明在内存节省的同时保持高性能。
2025-12-19 cs.AI cs.LG
SQS: Bayesian DNN Compression through Sparse Quantized Sub-distributions
Purdue University（普渡大学）；University of Texas at El Paso（德克萨斯大学埃尔帕索分校）
提出SQS统一框架，通过贝叶斯变分学习结合尖峰-平板先验和高斯混合模型，实现神经网络同步剪枝与低位量化，在保持性能的同时获得更高压缩率。
2026-09-09 cs.AI cs.LG
Unified Framework for Pre-trained Neural Network Compression via Decomposition and Optimized Rank Selection
Université Grenoble Alpes, CNRS, Computer Science Laboratory LIG（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、计算机科学实验室LIG）
本文提出统一框架，在连续空间中自动搜索最优秩并同时进行张量分解，无需额外训练数据即可高效压缩预训练模型，并通过微调保持与原始模型相当的性能。
2025-09-21 cs.CV cs.LG
AntMan: Sparse Low-Rank Compression to Accelerate RNN inference
Microsoft Research（微软研究院）
基于复杂RNN模型的广泛采用受到其推理性能，成本和内存要求的阻碍。为了解决这个问题，我们开发了AntMan，将结构化稀疏性与低秩分解相结合，以减少RNN的模型计算，大小和执行时间，同时达到所需的精度。AntMan扩展了基于知识蒸馏的训练，以有效地学习压缩模型。我们的评估表明，AntMan提供了高达100倍的计算减少与不到1点的准确率下降的语言和机器阅读理解模型。我们的评估还表明，对于给定的精度目标，AntMan产生的模型比最先进的模型小5倍。最后，我们表明，AntMan提供了超线性的速度增益相比，理论加速，证明其实用价值的商品硬件。
2019-10-02 cs.LG stat.ML
Self-Indexing Attention for Compression-Compatible Sparse Long-Context LLM Inference
Hunan University（湖南大学）；Tencent（腾讯）
提出自索引注意力框架，利用共享变换域符号-幅度表示实现预填充与解码阶段的统一令牌检索，支持KV缓存压缩，在5%密度下接近密集注意力性能并显著加速。
2026-10-08 cs.CL cs.IR cs.LG
MLoRQ: Bridging Low-Rank and Quantization for Transformer Compression
Sony Semiconductor Israel（索尼半导体以色列）
本文提出MLoRQ方法，通过两阶段优化为Transformer各层分配低秩和量化参数，在内存限制下实现最优压缩，性能提升达15%。
2025-07-13 cs.CV cs.LG
UniRank: Unified Rank Allocation for Low-Rank LLM Compression
Ningbo Institute of Digital Twin, Eastern Institute of Technology, Ningbo（宁波数字孪生研究院，东方理工大学（宁波））；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））
提出UniRank方法，将全局低秩分配转化为排序截断流程，通过局部奇异能量比和全局功能重要性双准则评分各奇异分量，并引入秩保持微调避免信息损失，在一次性压缩中困惑度降低高达50%。
2026-09-15 cs.AI cs.LG
D-QRELO: Training- and Data-Free Delta Compression for Large Language Models via Quantization and Residual Low-Rank Approximation
Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳））；TeleAI of China Telecom（中国电信TeleAI）；The Hong Kong Polytechnic University（香港理工大学）；The University of Hong Kong（香港大学）
本文提出DQRELO方法，通过量化和残差低秩近似实现大型语言模型的delta压缩，解决大规模数据训练导致的压缩误差问题，提升压缩效果和实用性。
2026-04-18 cs.AI cs.LG
Efficient Compression Technique for Sparse Sets
PICT, Pune（浦那PICT）；Chennai Mathematical Institute（金奈数学研究所）
最近的技术进步已经导致在网络上产生大量数据，例如文本、图像、音频和视频。这些数据中的大多数是高维和稀疏的，例如，用于表示文本的词袋表示。通常，在许多应用中需要对相似的数据点进行有效的搜索，如聚类，最近邻搜索，排名和索引。尽管计算能力有了显著的提高，但在这样的数据集上进行简单的蛮力相似性搜索是低效的，有时甚至是不可能的。因此，期望得到保留数据点之间的相似性的压缩表示。在这项工作中，我们认为数据点集和使用Jaccard相似性作为相似性度量。压缩技术通常根据下列参数进行评价：1）压缩所需的随机性，2）压缩所需的时间，3）压缩后数据的维数，以及4）存储压缩数据所需的空间。理想情况下，数据的压缩表示应该保持每对数据点之间的相似性，同时保持压缩所需的时间和随机性尽可能低。我们表明，Pratap和Kulkarni建议的压缩技术也适用于Jaccard相似性。我们提出了同样的理论证明，并补充它与严格的实验合成以及现实世界的数据集。我们还比较了我们的结果与最先进的“最小独立置换”，并表明，我们的压缩算法达到几乎相同的精度，同时显着减少压缩时间和随机性。
2017-08-16 cs.IT cs.LG math.IT
ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration
Shanghai Jiao Tong University（上海交通大学）；ETH Zürich（苏黎世联邦理工学院）
针对低秩 KV cache 压缩忽视 Keys 与 Values 差异的问题，本文提出 ReCalKV，通过 HSR 分组重排和 OVC 离线校准，在高压缩率下显著减少性能损失。
2025-09-27 cs.AI cs.LG
Rank and run-time aware compression of NLP Applications
SambaNova Systems（桑巴诺瓦系统公司）；AMD Research（AMD研究院）；Arm ML Research（Arm机器学习研究院）
基于序列模型的NLP应用程序可能很大。然而，许多受益于它们的应用程序运行在计算和存储能力非常有限的小型设备上，同时仍然具有运行时间限制。因此，需要一种压缩技术，其可以实现显著的压缩而不会负面地影响推理运行时间和任务准确性。本文提出了一种新的压缩技术称为混合矩阵分解，实现这一双重目标。HMF改进了低秩矩阵分解（LMF）技术，通过使用智能混合结构使矩阵的秩加倍，从而比LMF具有更好的准确性。此外，通过保持稠密矩阵，它导致比基于修剪或结构矩阵的压缩技术更快的推理运行时间。我们评估了这种技术对跨多个任务（翻译，意图检测，语言建模）的5个NLP基准测试的影响，并表明对于类似的准确度值和压缩因子，HMF可以实现比修剪快2.32倍的推理运行时间，比LMF高16.77%的准确度。
2020-10-06 cs.CL cs.LG cs.PF
Sparse $L^1$-Autoencoders for Scientific Data Compression
Emory University（埃默里大学）；Oak Ridge National Laboratory（橡树岭国家实验室）；University of California Santa Barbara（加州大学圣巴巴拉分校）
针对科学数据压缩的挑战，提出基于 $L^1$ 正则化高维潜空间的自编码器方法，利用稀疏表示减轻伪影，在 SAS 数据集上实现约两个数量级的压缩比，缓解传输、存储和分析瓶颈。
2024-05-23 cs.AI cs.LG cs.NA
Dynamical Low-Rank Compression of Neural Networks with Robustness under Adversarial Attacks
Computer Science and Mathematics Division（计算机科学与数学 division）；Geospatial Science and Human Security Division（地理科学与人类安全 division）
本文提出动态低秩训练与谱正则化方法，在实现94%以上压缩的同时保持或提升对抗鲁棒性，且支持秩自适应。
2025-09-23 cs.LG cs.NA math.NA
MUSCO: Multi-Stage Compression of neural networks
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Innopolis University（Innopolis 大学）
低秩张量近似对于深度神经网络的压缩是非常有前途的。我们提出了一种新的简单而有效的迭代方法，它交替低秩因式分解与智能秩选择和微调。我们证明了我们的方法相比，非迭代的效率。我们的方法提高了压缩率，同时保持了各种任务的准确性。
2019-11-15 cs.CV cs.LG stat.ML
