MUSCO: Multi-Stage Compression of neural networks
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Innopolis University(Innopolis 大学)
低秩张量近似对于深度神经网络的压缩是非常有前途的。我们提出了一种新的简单而有效的迭代方法,它交替低秩因式分解与智能秩选择和微调。我们证明了我们的方法相比,非迭代的效率。我们的方法提高了压缩率,同时保持了各种任务的准确性。
2019-11-15 cs.CV cs.LG stat.ML
Retraining-Based Iterative Weight Quantization for Deep Neural Networks
Samsung Research(三星研究院)
模型压缩由于其在保持DNN的准确性的同时显著减少硬件资源需求的能力而获得了很多关注。模型压缩对于内存密集型递归神经网络特别有用,因为较小的内存占用不仅对于减少存储需求而且对于快速推理操作至关重要。量化被认为是一种有效的模型压缩方法,研究人员对最小化表示参数的比特数感兴趣。在这项工作中,我们引入了一种迭代技术来应用量化,呈现高压缩比,而无需对训练算法进行任何修改。在所提出的技术中,权重量化之后是用全精度权重重新训练模型。我们表明,迭代再训练产生新的权重集,可以量化,在每次迭代减少量化损失。我们还表明,量化能够有效地利用修剪,另一种有效的模型压缩方法。结合这两种方法的实施问题也得到了解决。我们的实验结果表明,使用1位量化权重的LSTM模型对于PTB数据集是足够的,而没有任何准确性下降,而以前的方法需要至少2-4位量化权重。
2018-05-29 cs.LG stat.ML
Adaptive Iterative Compression for High-Resolution Files: an Approach Focused on Preserving Visual Quality in Cinematic Workflows
DIAGNEXT(迪亚格内斯特公司);COPPEAD Universidade Federal do Rio de Janeiro(里约热内卢联邦大学COPPEAD学院)
本研究提出一种用于高分辨率DPX衍生TIFF文件的迭代自适应压缩模型,通过SSIM和PSNR动态调整压缩参数,在保持高视觉保真度的同时实现高达83.4%的存储缩减,且优于JPEG2000和H.265。
2025-01-27 cs.CV cs.ET cs.LG
SIRI: Scaling Iterative Reinforcement Learning with Interleaved Compression
Tsinghua University(清华大学)
本文提出 SIRI,通过迭代交替压缩与扩展 rollout 长度训练 LRM,在减少 token 使用的同时提升推理性能,并在 AIME24 上验证显著收益。
2025-09-29 cs.CL cs.LG
Iterative Layer-wise Distillation for Efficient Compression of Large Language Models
Lomonosov Moscow State University, Russia(莫斯科罗蒙诺夫国立大学)
本文提出基于 ShortGPT 的迭代逐层蒸馏方法,通过评估层重要性并结合 KL 散度与均方误差联合损失进行微调,在 Qwen2.5-3B 上以较小质量损失实现模型层数压缩,适用于资源受限部署。
2025-11-07 cs.CL cs.LG
Spectral Geometry for Deep Learning: Compression and Hallucination Detection via Random Matrix Theory
Politecnico di Milano(米兰理工学院);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出基于谱几何和随机矩阵理论的统一框架,通过分析隐藏激活的特征值结构,实现幻觉检测与模型压缩,提升深度学习的可靠性和效率。
2026-01-24 cs.AI cs.LG
Referee: Reference-Free Sentence Summarization with Sharper Controllability through Symbolic Knowledge Distillation
Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
我们提出了Reflection,一个新的句子摘要框架,可以训练无参考(即,不需要用于监督的黄金摘要),同时允许对压缩比的直接控制。我们的工作是第一次证明,通过符号知识蒸馏的概念框架,无参考,受控的句子摘要是可行的(韦斯特等人,2022),其中预训练的语言模型中的潜在知识通过从教师模型中采样的显式示例进行提取,并使用三种类型的过滤器进行进一步纯化:长度,保真度和信息瓶颈。此外,我们独特地提出了知识的迭代蒸馏,其中来自上一次迭代蒸馏的学生模型在下一次迭代中充当教师模型。从一组相对温和的GPT 3生成的摘要开始,我们演示了迭代知识蒸馏如何导致相当小的,但更好的摘要具有更清晰的可控性。这种迭代蒸馏过程的一个有用的副产品是具有不同程度压缩比的高质量数据集。实证结果表明,最终的学生模型在压缩比的可控性方面大大优于更大的GPT 3-Instruct模型,而不会影响所得摘要的质量。
2022-10-25 cs.AI cs.CL cs.LG
What does FFN compression change downstream? Same-state causal restoration in diffusion language models
针对扩散语言模型压缩中局部误差无法反映下游影响的问题,提出同状态因果恢复(SSR)方法,通过恢复关键FFN转换,在激进压缩下恢复89.9%精度并保留36.8%计算节省。
2026-09-29 cs.AI cs.LG
CP-decomposition with Tensor Power Method for Convolutional Neural Networks Compression
University of Science and Technology(科学技术大学);Electronics and Telecommunications Research Institute(电子通信研究院)
卷积神经网络(CNN)在包括复杂图像分类任务在内的许多领域都取得了巨大的成功。然而,它们需要大量的内存和计算成本,这阻碍了它们在智能手机等相对低端的智能设备中运行。提出了一种基于CP分解和张量幂方法的CNN压缩方法。我们还提出了一个迭代的微调,我们微调整个网络分解后的每一层,但分解前的下一层。显着减少内存和计算成本相比,国家的最先进的以前的工作,没有更多的精度损失。
2017-01-25 cs.LG
Sibling Neural Estimators: Improving Iterative Image Decoding with Gradient Communication
The Pennsylvania State University(宾夕法尼亚州立大学);Rochester Institute of Technology(罗切斯特理工学院)
对于有损图像压缩,我们开发了一个基于神经元的系统,它学习一个非线性估计解码量化表示。该系统将两个递归网络连接起来,\help“使用通过梯度信号进行通信的空间背景的互补部分来重建相同的目标图像块。该双代理系统建立在先前的工作基础上,该工作提出了用于基于递归神经网络(RNN)的解码的迭代细化算法,与标准解码技术相比,该算法改进了图像重建。我们的方法适用于任何编码器,神经或非神经,该系统在固定数量的步骤中逐渐减少图像补丁重建误差。使用RNN存储单元的变体进行实验,无论是否有未来的信息,都可以发现,与其他方法相比,我们的模型始终可以创建更高感知质量的低失真图像。具体而言,在柯达无损真彩色图像套件上,我们观察到JPEG的1:64分贝(dB)增益,JPEG 2000的1:46 dB增益,GOOG神经基线的1:34 dB增益,E2E(现代竞争性神经压缩模型)的0:36增益,以及单个迭代神经解码器的0:37增益。
2019-11-20 cs.CV cs.LG
WeightMom: Learning Sparse Networks using Iterative Momentum-based pruning
University of Washington(华盛顿大学);New York University(纽约大学);Unipart Group(优尼帕特集团)
深度神经网络已被广泛用于各种应用,并取得了显著的成功。然而,由于包含数百万个参数,它们的高度复杂性导致在低延迟要求的管道中部署时出现问题。因此,更期望获得在推理时间期间具有相同性能的轻量级神经网络。在这项工作中,我们提出了一个基于权重的修剪方法,其中的权重修剪逐渐基于他们的动量以前的迭代。神经网络的每一层都根据它们的相对稀疏性分配一个重要性值,然后是先前迭代中的权重大小。我们在AlexNet、VGG 16和ResNet 50等网络上使用CIFAR-10和CIFAR-100等图像分类数据集评估了我们的方法。我们发现,结果优于以前的方法在精度和压缩比。我们的方法能够在两个数据集上获得15%的压缩,而精度下降相同。
2022-08-11 cs.CV cs.LG
On Arbitrary Compression for Decentralized Consensus and Stochastic Optimization over Directed Networks
Rice University(莱斯大学)
研究静态有向图上具有压缩通信的分散一致性和随机最优化问题。我们提出了一个迭代的基于梯度的算法,压缩消息根据所需的压缩比。所提出的方法可证明减少了网络上的通信开销,在每一个通信轮。与现有文献相反,我们允许任意的压缩比在通信的消息。我们显示了一个线性收敛速率所提出的方法的共识问题。此外,我们提供了明确的收敛速度分散随机最优化问题的光滑函数是(i)强凸,(ii)凸,或(iii)非凸。最后,我们提供了数值实验来说明在任意压缩比下的收敛性和我们的算法的通信效率。
2022-04-18 cs.LG cs.MA cs.SY
OPQ: Compressing Deep Neural Networks with One-shot Pruning-Quantization
Institute for Infocomm Research, Agency for Science, Technology and Research(新加坡科技研究局资讯通信研究院);College of Computer Science, Sichuan University(四川大学计算机学院);Nanyang Technological University(南洋理工大学)
由于深度神经网络(DNN)通常被过度参数化并且具有数百万个权重参数,因此将这些大型DNN模型部署在资源受限的硬件平台上是具有挑战性的,例如,智能手机许多网络压缩方法如修剪和量化被提出来显著减小模型大小,其中关键是找到合适的压缩分配(例如,修剪稀疏性和量化码本)。现有的解决方案以迭代/手动的方式获得压缩分配,同时微调压缩模型,因此存在效率问题。与现有技术不同的是,本文提出了一种新的单次剪枝量化(OPQ)算法,该算法仅使用预先训练的权重参数解析地解决了压缩分配问题。在微调期间,压缩模块是固定的,并且仅更新权重参数。据我们所知,OPQ是第一个揭示预训练模型足以同时解决修剪和量化的工作,而无需在微调阶段进行任何复杂的迭代/手动优化。此外,我们提出了一个统一的信道级量化方法,强制每一层的所有通道共享一个共同的码本,这导致低比特率分配,而不会引入传统的信道级量化带来的额外开销。使用AlexNet/MobileNet-V1/ResNet-50在ImageNet上进行的综合实验表明,与现有技术相比,我们的方法提高了准确性和训练效率,同时获得了更高的压缩率。
2022-05-23 cs.CV cs.LG
Invertible Memory Flow Networks
VECTOR Labs(VECTOR实验室)
IMFN通过分解长序列压缩问题为成对合并,利用二叉树结构的清扫器模块实现O(log N)深度的高效压缩,适用于长序列数据的处理。
2026-01-31 cs.LG
Compressive Sensing Using Iterative Hard Thresholding with Low Precision Data Representation: Theory and Applications
ETH Zurich(苏黎世联邦理工学院);Institute of Science and Technology Austria(奥地利科学技术研究所)
现代科学仪器产生大量数据,这些数据可能会压倒计算机系统的处理能力。有损数据压缩是一种有趣的解决方案,但也有其自身的缺点,例如潜在的信号丢失,以及需要仔细优化压缩比。在这项工作中,我们专注于这个问题特别严重的环境:用于干涉测量和医学成像的压缩传感框架。我们提出以下问题:在保证恢复和实际性能的情况下,是否可以降低所有输入的数据表示精度?我们的第一个贡献是一个理论分析的归一化迭代硬采样保持(IHT)算法时,所有的输入数据,这意味着测量矩阵和观测向量进行量化积极。我们提出了一种低精度归一化{IHT}的变体,在温和的条件下,仍然可以提供恢复保证。第二个贡献是我们的量子化框架的射电天文学和磁共振成像的应用。我们表明,降低数据的精度可以显着加快图像恢复。我们使用CPU和FPGA实现对望远镜数据和大脑图像样本进行评估,实现了高达9倍的速度提升,恢复质量损失可以忽略不计。
2020-12-22 cs.LG stat.ML
CRISP: Compressed Reasoning via Iterative Self-Policy Distillation
CRISP通过自蒸馏使模型更简洁推理,无需真实答案或预算,在数学和多步骤规划任务中实现显著的token减少和精度提升。
2026-07-03 cs.LG
CoverBLIP: scalable iterative matched filtering for MR Fingerprint recovery
University of Edinburgh(爱丁堡大学);Heriot-Watt University(赫瑞-瓦特大学)
目前提出的解决方案的高维MRF重建问题依赖于一个线性压缩步骤,以减少匹配计算和提高效率的快速,但不可扩展的搜索方案,如KD树。然而,这样的方法往往会引入一个不利的妥协,在估计精度时,应用到非线性数据结构,如流形的布洛赫响应与可能增加的动态复杂性和增长的数据人口。为了解决这个缺点,我们提出了一种不精确的迭代重建方法,称为覆盖Bloch响应迭代投影(CoverBLIP)。迭代方法提高了非迭代方法的精度,并且对某些加速近似更新具有额外的鲁棒性,而不会影响其最终精度。利用这些结果,我们使用基于覆盖树的ANNS算法加速匹配过滤,该算法具有对维数灾难的鲁棒性。
2018-09-06 cs.LG q-bio.QM
Toward Compact Parameter Representations for Architecture-Agnostic Neural Network Compression
Stanford University(斯坦福大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文从压缩表示和存储训练参数的角度研究了深度神经网络(DNN)压缩。我们探索了以前被忽视的DNN参数跨层架构不可知表示共享的机会。为此,我们将前馈参数与DNN架构解耦,并利用加法量化(一种针对图像描述符发明的极端有损压缩方法)来压缩表示参数。然后根据任务目标对表示进行微调,以提高任务准确性。我们在MobileNet-v2、VGG-11、ResNet-50、特征金字塔网络以及为分类、检测和分割任务训练的修剪DNN上进行了广泛的实验。概念上简单的计划始终优于迭代非结构化修剪。应用于ResNet-50,在ILSVRC 12分类挑战中具有76.1%的top-1准确度,它实现了没有准确度损失的$7.2\times$压缩比和74.79%准确度的$15.3\times$压缩比。进一步的分析表明,表示共享可能经常发生在网络层之间,并且在相同的压缩比下,学习整个DNN的共享表示可以比将模型压缩为多个单独的部分获得更好的准确性。我们发布PyTorch代码以促进DNN在资源受限设备上的部署,并刺激未来对DNN参数的高效表示和存储的研究。
2021-11-19 cs.CV cs.LG
An iterative method for classification of binary data
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
在当今数据驱动的世界中,存储、处理和从大规模数据中收集见解是主要挑战。为了存储大量的高维数据,通常需要数据压缩,因此,用于分析压缩数据的有效推理方法是必要的。最近设计的一个简单的框架,使用二进制数据进行分类的基础上,我们证明,可以提高这种方法的分类精度,通过迭代应用程序的输出作为输入到下一个应用程序。作为一个侧面的后果,我们表明,原来的框架可以用作数据预处理步骤,以提高其他方法,如支持向量机的性能。对于几个简单的设置,我们展示了获得理论保证的迭代分类方法的准确性的能力。底层分类框架的简单性使其易于理论分析,研究这种方法有望成为为更复杂的深度学习技术开发理论的一步。
2018-09-09 cs.LG stat.ML
Compressing Deep Neural Networks via Layer Fusion
University of Liverpool(利物浦大学);USC Information Sciences Institute(南加州大学信息科学研究所)
本文提出了\textit{layer fusion} -一种模型压缩技术,该技术发现要组合哪些权重,然后融合相似的全连接层、卷积层和注意力层的权重。层融合可以显著减少原始网络的层数,同时保持有竞争力的性能。从CIFAR-10上的实验中,我们发现,当使用层融合进行迭代再训练时,各种深度卷积神经网络可以保持在原始网络的2%精度点以内,压缩比高达3.33。对于使用预训练的Transformer模型的WikiText-2语言建模数据集的实验,我们实现了压缩,导致网络是其原始大小的20%,同时在原始网络的5个困惑点内。我们还发现,与原始网络相比,其他成熟的压缩技术可以实现具有竞争力的性能,只要有足够数量的再训练步骤。一般来说,我们观察到一个明确的拐点的性能作为压缩量的增加,这表明在性能指数下降之前可以实现的压缩量的约束。
2020-07-29 cs.LG stat.ML
ECC: Platform-Independent Energy-Constrained Deep Neural Network Compression via a Bilinear Regression Model
University of Rochester(罗切斯特大学);Kwai Seattle AI Lab(快手西雅图人工智能实验室)
许多支持DNN的视觉应用始终在严格的能源约束下运行,例如无人机、增强现实耳机和智能手机。设计能够满足严格能源预算的DNN变得越来越重要。本文提出了ECC,这是一种压缩DNN以满足给定能量约束同时最小化准确性损失的框架。ECC的核心思想是通过一种新的双线性回归函数来模拟DNN的能耗。能量估计模型允许我们将DNN压缩公式化为约束优化,其在能量约束上最小化DNN损失函数。然而,优化问题具有非平凡的约束。因此,现有的深度学习求解器不能直接应用。我们提出了一种优化算法,结合了交替方向乘法(ADMM)框架的本质与基于梯度的学习算法。该算法将原约束优化问题分解为多个子问题,并迭代求解。ECC还可以跨不同的硬件平台移植,而不需要硬件知识。实验表明,与最先进的资源受限DNN压缩技术相比,ECC在相同或更低的能量预算下实现了更高的准确性。
2019-04-06 cs.LG stat.ML
WoodFisher: Efficient Second-Order Approximation for Neural Network Compression
ETH Zurich(苏黎世联邦理工学院);IST Austria(奥地利科学技术研究所);Neural Magic, Inc.(Neural Magic公司)
二阶信息,以海森或逆海森向量积的形式,是解决优化问题的基本工具。最近,人们对在深度神经网络的背景下利用这些信息产生了浓厚的兴趣;然而,在这种背景下,对现有近似的质量知之甚少。我们的工作研究这个问题,确定现有的方法的问题,并提出了一种方法称为WoodFisher计算一个忠实和有效的逆Hessian估计。我们的主要应用是神经网络压缩,我们建立在经典的最佳脑损伤/外科医生框架。我们证明,WoodFisher显着优于流行的国家的最先进的方法一杆修剪。此外,即使考虑迭代,逐步修剪,我们的方法也会在测试准确性方面获得最先进的方法,用于修剪在标准图像分类数据集(如ImageNet ILSVRC)上训练的流行神经网络(如ResNet-50,MobileNetV 1)。我们研究我们的方法如何可以扩展到考虑一阶信息,以及说明其自动设置逐层修剪阈值和执行压缩的能力,在有限的数据制度。该代码可在以下链接https://github.com/IST-DASLab/WoodFisher上获取。
2020-11-25 cs.LG stat.ML
On Model Compression for Neural Networks: Framework, Algorithm, and Convergence Guarantee
New Jersey Institute of Technology(新泽西理工学院);Pusan National University(釜山国立大学)
针对神经网络低秩近似与权重剪枝压缩中精度下降、收敛性差的问题,提出基于非凸优化的整体框架及无梯度NN-BCD算法,证明其O(1/k)全局收敛性,实验验证了其高效性与优越性能。
2024-08-15 cs.LG stat.ML
Towards Low-Latency Energy-Efficient Deep SNNs via Attention-Guided Compression
University of Southern California(南加州大学)
深度脉冲神经网络(SNN)已经成为传统深度学习框架的潜在替代方案,因为它们有望在事件驱动的神经形态硬件上提供更高的计算效率。然而,为了在复杂的视觉应用中表现良好,大多数SNN训练框架都会产生较大的推理延迟,这会导致尖峰活动增加和能量效率降低。因此,最大限度地减少平均尖峰活动,同时保持精度深SNNs仍然是一个重大的挑战和机遇。本文提出了一种非迭代SNN训练技术,实现超高压缩,减少尖峰活动,同时保持高推理精度。特别是,我们的框架首先使用未压缩的元模型的注意力映射来产生压缩的ANN。可以调整此步骤以支持不规则和结构化通道修剪,从而在广泛的平台上利用计算优势。然后,该框架使用直接输入执行基于稀疏学习的监督SNN训练。在训练过程中,它联合优化SNN权重、阈值和泄漏参数,以在保持压缩的同时最大限度地减少所需的时间步长。为了评估我们的方法的优点,我们在CIFAR-10和CIFAR-100上使用VGG和ResNet的变体进行了实验,并在Tiny-ImageNet上使用VGG 16进行了实验。通过所提出的技术生成的SNN模型产生的SOTA压缩比高达33.4倍,与基线未修剪的模型相比,准确度没有显着下降。与现有的SNN修剪方法相比,我们实现了高达8.3倍的压缩,提高了准确性。
2021-07-16 cs.LG cs.NE
Interpreting Convolutional Neural Networks Through Compression
University of California, Berkeley(加州大学伯克利分校)
卷积神经网络(CNN)在计算机视觉中的各种任务中实现了最先进的性能。然而,解释CNN仍然是一个挑战。这主要是由于这些网络中有大量的参数。在这里,我们研究了压缩,特别是修剪过滤器在CNN解释中的作用。我们利用我们最近提出的贪婪结构压缩方案,该方案在经过训练的CNN中修剪过滤器。在我们的压缩中,过滤器重要性指数被定义为修剪该过滤器后网络的分类精度降低(CAR)。然后基于CAR索引迭代地修剪滤波器。我们通过展示我们的算法修剪具有视觉冗余模式选择性的过滤器来证明CAR压缩CNN的可解释性。具体来说,我们展示了形状选择性过滤器对对象识别的重要性,而不是颜色选择性过滤器。在AlexNet中的前20个CAR修剪过滤器中,第一层中的17个和第二层中的14个是颜色选择过滤器。最后,我们引入了CAR重要性指数的一个变体,它量化了每个图像类对每个CNN过滤器的重要性。我们发现,最重要和最不重要的类标签提出了一个有意义的解释,每个过滤器是一致的可视化模式选择性的过滤器。
2017-11-07 cs.CV cs.LG stat.ML