CompressNet: Generative Compression at Extremely Low Bitrates
University of Michigan（密歇根大学）
以极低的比特率（< 0.1 bpp）压缩图像一直是一项具有挑战性的任务，因为由于对压缩数据分配的比特数施加的严格限制，重建质量会显着降低。随着在有限带宽下传输大量图像的需求不断增加，将图像压缩到非常小的尺寸是一项至关重要的任务。然而，现有的方法在极低的比特率下是无效的。为了满足这一需求，我们提出了一种名为CompressNet的新型网络，它通过切换预测网络（SAE-SPN）增强了堆叠式自动编码器。这有助于在这些低比特率（< 0.1 bpp）下重建视觉上令人愉悦的图像。我们在Cityscapes数据集上对我们提出的方法的性能进行了基准测试，在极低的比特率下对不同的指标进行了评估，以表明我们的方法优于其他最先进的方法。特别是，与深度学习SOTA方法相比，在0.07的比特率下，CompressNet实现了22%的感知损失和55%的Frechet Inception Distance（FID）。
2020-06-14 cs.CV cs.LG eess.IV
ATMA: Long-Context Language Modeling via Polar Attention and Gated-Delta Compression Memory
Kreasof AI
提出ATMA混合卷积-注意力架构，通过极坐标注意力三通道分解和门控-增量递归压缩记忆，解决长上下文语言建模中注意力稀释和性能崩溃问题，实现训练长度32倍外推下90%以上检索准确率和单调递减困惑度。
2026-08-13 cs.AI cs.LG
Fast KVzip: Efficient and Accurate LLM Inference with Gated KV Eviction
NAVER AI Lab（NAVER AI实验室）
基于门控的KV缓存淘汰方法实现高效且准确的LLM推理，通过轻量级门控模块和任务无关的重建目标，实现高压缩比和低计算开销。
2026-10-27 cs.CL cs.LG
Bayesian Sparsification of Gated Recurrent Neural Networks
National Research University Higher School of Economics（国立研究型大学高等经济学院）；Samsung AI Center（三星人工智能中心）
贝叶斯方法已成功地应用于神经网络权值的稀疏化和网络结构单元的去除。G.神经元我们应用并进一步发展这种方法的门控经常性架构。具体来说，除了单个权重和神经元的稀疏化之外，我们还建议稀疏化LSTM中的门和信息流的预激活。它使某些门和信息流分量保持不变，加快了前向传递速度，提高了压缩率。此外，由此产生的门稀疏结构是可解释的，并取决于任务。代码可以在github上找到：https://github.com/tipt0p/SparseBayesianRNN
2018-12-12 cs.CL cs.LG stat.ML
Structured Sparsification of Gated Recurrent Neural Networks
Samsung-HSE Laboratory（三星-高等经济学院实验室）；National Research University Higher School of Economics（国立研究型大学高等经济学院）；Samsung AI Center（三星人工智能中心）
近年来，许多技术被用来稀疏化神经网络的权值和去除网络的结构单元，如神经元。我们调整现有的稀疏化方法的门控循环架构。具体来说，除了权重和神经元的稀疏化之外，我们还提出了门的预激活的稀疏化。这使得一些门保持不变，并简化了LSTM结构。我们测试我们的方法上的文本分类和语言建模任务。我们观察到门稀疏性的结果结构取决于任务，并将学习到的结构与特定任务的细节联系起来。我们的方法还在大多数任务中改进了模型的神经元压缩。
2019-11-13 cs.CL cs.LG stat.ML
GBK-GNN: Gated Bi-Kernel Graph Neural Networks for Modeling Both Homophily and Heterophily
Microsoft Research Asia（微软亚洲研究院）；Beijing University of Technology（北京工业大学）；Peking University（北京大学）；Northeastern University（东北大学）
图神经网络（GNN）广泛用于各种基于图的机器学习任务。对于节点级任务，GNN具有强大的能力来建模图的同质性（即，连接的节点更相似），而它们捕获异质特性的能力常常是可疑的。这部分是由于设计的特征转换具有相同的内核的节点在同一跳和随之而来的聚合运算符。一个内核不能对相似性和相异性进行建模（即，节点特征之间的正相关和负相关），即使我们使用像图注意力网络（GAT）这样的注意力机制，因为由注意力计算的权重总是正值。在本文中，我们提出了一种新的GNN模型的基础上的双核特征变换和选择门。两个核分别捕获同质和异质信息，并引入门来选择我们应该使用给定的节点对的核。我们进行了广泛的实验，各种数据集具有不同的同质性，异质性。实验结果表明，对国家的最先进的GNN方法的一致和显着的改进。
2022-04-24 cs.LG
MM++: Post-Hoc Scale-Invariant Multilayer OOD Detection via Top-K Gated Feature Fusion
School of Computing, State University of New York at Binghamton（纽约州立大学宾汉姆顿分校计算机学院）
提出MM++框架，通过熵密度下降识别判别性中间层，结合Ledoit-Wolf正则化协方差矩阵实现无监督、后处理、尺度不变的多层OOD检测，在近/远OOD场景中表现鲁棒。
2026-09-03 cs.CV cs.LG
Towards a tailored mixed-precision sub-8-bit quantization scheme for Gated Recurrent Units using Genetic Algorithms
Technical University of Denmark（丹麦技术大学）；GN Audio（GN音频公司）
针对GRU亚8比特量化难调优的问题，提出算子比特宽独立可选的模块化整数量化方案，用遗传算法搜索最优比特宽组合，在四个序列任务上实现25%-55%模型压缩且精度媲美8比特均匀量化。
2024-03-08 cs.LG cs.NE eess.SP
Entropy And Vision
在矢量量化中，用于构造码本的矢量的数量总是一个未定义的问题，在矢量的数量和压缩期间丢失的信息量之间总是存在折衷。在本文中，我们提出了一个最小熵的原则，给出了解决这一妥协，并代表了熵的观点，信号压缩一般。此外，我们提出了一种新的自适应对象量化技术，是相同的压缩和感知。
2006-07-18 cs.CV cs.DB cs.DM
Parameter Compression of Recurrent Neural Networks and Degradation of Short-term Memory
Qualcomm Technologies, Inc.（高通技术公司）
在大规模或资源受限的环境中（例如数据中心和移动设备）部署神经网络的显著计算成本已经刺激了对模型压缩的兴趣，其可以实现算术运算和存储内存的减少。已经提出了几种技术来减少或压缩前馈和卷积神经网络的参数，但很少有人了解参数压缩对循环神经网络（RNN）的影响。特别是，在何种程度上可以压缩的经常性参数和短期记忆性能的影响，是不是很好地理解。在本文中，我们研究了复杂性降低的效果，通过奇异值分解秩降低，对RNN和最小门控递归单元（MGRU）网络的几个任务。我们表明，相当大的秩减少是可能的压缩经常性的权重，即使没有微调。此外，我们提出了一个扰动模型的一般扰动，如压缩，对递归参数的影响。该模型进行了测试，对一个无声的记忆实验，阐明了短期记忆的表现。通过这种方式，我们证明了经常性参数的压缩效果取决于数据和任务中存在的时间相干性的程度。这项工作可以指导新环境或任务的实时RNN压缩，并为在低功耗设备（如助听器）中应用RNN压缩提供见解。
2017-02-24 cs.CV cs.LG cs.NE
Is Smaller Always Faster? Tradeoffs in Compressing Self-Supervised Speech Transformers
Graduate Institute of Communication Engineering, National Taiwan University, Taiwan（台湾国立台湾大学通信工程研究所）；University of California, Los Angeles, United States（美国加州大学洛杉矶分校）；University of Washington, United States（美国华盛顿大学）；University of Edinburgh, United Kingdom（英国爱丁堡大学）
本文研究了压缩自监督语音Transformer的权衡，评估了四种压缩方法并比较了几种最新技术，为实际部署提供指导。
2025-08-17 cs.CL cs.LG cs.SD
Reinforcement Learning for Chain of Thought Compression with One-Domain-to-All Generalization
CFCS, School of Computer Science, Peking University（计算机学院，北京大学）；State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机学院，北京大学）；LLM-Core Xiaomi（小米LLM-Core）
本文提出了一种基于单领域到全领域泛化的强化学习方法，通过样本级软强化学习压缩思维链推理，有效减少响应长度并提升跨领域泛化能力。
2026-01-21 cs.AI cs.CL cs.LG
Variational Bayesian Sequence-to-Sequence Networks for Memory-Efficient Sign Language Translation
Cyprus University of Technology（塞浦路斯理工大学）；University of Patras（帕特雷大学）；Rutgers University（罗格斯大学）
高效记忆的连续手语翻译是开发实时适用于聋人的辅助技术的一个重大挑战。在这项工作中，我们介绍了一种设计递归深度网络的范例，其中递归层的输出来自非参数统计的适当参数。提出了一种新的变分贝叶斯序列到序列网络结构，该结构包括：a）用于数据驱动存储压缩的全高斯后验分布和b）用于应用于门控递归单元非门权重的正则化的非参数Indian Buffet过程先验。我们将我们的方法称为Stick-Breaking Recurrent网络，并表明它可以在不降低建模性能的情况下实现大幅的权重压缩。
2021-02-11 cs.LG stat.ML
Restricted Recurrent Neural Networks
Duke University（杜克大学）；University of Minnesota（明尼苏达大学）
递归神经网络（RNN）及其变体，如长短期记忆（LSTM）和门控递归单元（GRU），已成为许多研究领域（包括自然语言处理和语音数据分析）中学习连续性在线数据的标准构建块。在本文中，我们提出了一种新的方法来显着减少RNN中的参数数量，同时保持与经典RNN相当甚至更好的性能。新的建议，被称为限制递归神经网络（RRNN），限制对应于输入数据和隐藏状态在每个时间步的权重矩阵共享一个大比例的参数。新架构可以被视为其经典对应物的压缩，但它不需要预训练或复杂的参数微调，这两者都是大多数现有压缩技术中的主要问题。在自然语言建模上的实验表明，在压缩率为50%左右的情况下，限制递归结构与经典递归结构的结果基本相当。特别是，受限LSTM可以用更少的参数来超越经典RNN。
2019-11-14 cs.CL cs.LG
Compression of Deep Learning Models for Text: A Survey
Microsoft（微软）
近年来，自然语言处理（NLP）和信息检索（IR）领域取得了巨大的进步，这要归功于深度学习模型，如递归神经网络（RNN），门控递归单元（GRU）和长短期记忆（LSTM）网络，以及基于Transformer [120]的模型，如来自Transformers的双向编码器表示（BERT）[24]，生成预训练Transformer（GPT-2）[94]，多任务深度神经网络（MT-DNN）[73]，超长网络（XLNet）[134]，文本到文本传输Transformer（T5）[95]，T-NLG [98]和GShard [63]。但这些模型都是巨大的。另一方面，现实世界的应用程序需要小的模型大小，低响应时间和低计算功率瓦数。在这项调查中，我们讨论了六种不同类型的方法，（修剪、量化、知识蒸馏、参数共享、张量分解和基于次二次Transformer的方法）来压缩这些模型，使其能够部署在实际的工业NLP项目中。鉴于构建具有高效和小型模型的应用程序的迫切需求，以及最近在该领域发表的大量工作，我们相信，这份调查整理了过去几年“NLP的深度学习”社区所做的大量工作，并将其作为一个连贯的故事呈现出来。
2021-06-13 cs.AI cs.CL cs.CV
Sparse-by-Design Cross-Modality Prediction: L0-Gated Representations for Reliable and Efficient Learning
School of Computing, Macquarie University（麦考瑞大学计算学院）；Institute for Clarity in Documentation（文档清晰研究所）；Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗康库尔中心）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）
本文提出L0-Gated Cross-Modality Learning方法，通过统一的稀疏化机制实现跨模态的准确率与效率平衡，减少表示维度并提升校准性能。
2026-03-26 cs.AI cs.LG
Everything You Always Wanted to Know About Storage Compressibility of Pre-Trained ML Models but Were Afraid to Ask
University of Virginia（弗吉尼亚大学）；University of Minnesota（明尼苏达大学）
针对预训练模型存储压缩需求，本文首次系统分析其存储可压缩性，提出ELF有损浮点压缩方法与Elves框架，实现1.52×压缩比且精度损失可忽略。
2024-02-20 cs.DB cs.LG cs.OS
Linearity-based neural network compression
University of Passau（巴伐利亚大学）
本文提出基于线性的神经网络压缩方法，利用类ReLU激活函数下常激活神经元的线性特性合并层，在多数模型中实现无损压缩至1/4，且与重要性剪枝兼容，为高效模型奠定基础。
2025-06-26 cs.AI cs.LG stat.ML
A study of the effect of JPG compression on adversarial images
University of Cambridge（剑桥大学）；University of Toronto（多伦多大学）
已知神经网络图像分类器易受对抗性图像的攻击，即，自然图像已经通过对抗性扰动进行了修改，该对抗性扰动被专门设计为人类无法感知，但仍然欺骗了分类器。对抗性图像不仅可以很容易地生成，而且这些图像对于在不相交的数据子集或不同架构上训练的网络通常是对抗性的。对抗性图像代表了潜在的安全风险以及严重的机器学习挑战-很明显，脆弱的神经网络感知图像与人类非常不同。注意到，几乎每一个图像分类数据集是由JPG图像，我们评估的效果JPG压缩的分类对抗图像。对于小幅度的快速梯度符号扰动，我们发现JPG压缩通常在很大程度上逆转了分类精度的下降，但并不总是如此。随着扰动幅度的增加，单独的JPG再压缩不足以逆转这种影响。
2016-08-02 cs.CV cs.LG
Trainable Bitwise Soft Quantization for Input Feature Compression
University of Münster（穆尔斯特大学）；University of Copenhagen（哥本哈根大学）
本文提出了一种可训练的位级软量化层，用于压缩神经网络输入特征，通过Sigmoid函数近似阶跃函数，实现高效且准确的量化，从而在保持精度的同时显著减少数据传输量。
2026-03-05 cs.LG
LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time
University of California Los Angeles（加利福尼亚大学洛杉矶分校）；Apple Inc.（苹果公司）
在将深度学习模型部署到设备时，传统上假设可用的计算资源（计算、内存和电源）保持静态。然而，现实世界的计算系统并不总是提供稳定的资源保证。当来自其他进程的负载高或电池电量低时，需要节省计算资源。受神经网络子空间最近工作的启发，我们提出了一种训练神经网络的“可压缩子空间”的方法，该子空间包含从高效到高精度的细粒度模型谱。我们的模型不需要再训练，因此我们的模型子空间可以完全部署在设备上，以允许在推理时进行自适应网络压缩。我们提出的结果实现任意细粒度的准确性和效率的权衡在推理时间的结构化和非结构化稀疏。在测试未压缩模型时，我们实现了与标准模型相当的精度，并且在测试压缩模型时，稀疏率保持在90%以上的高精度。我们还证明了我们的算法扩展到可变位宽的量化，实现了与单独训练的网络相当的精度。
2021-10-08 cs.CV cs.LG
Knowledge Squeezed Adversarial Network Compression
Nanjing Institute of Advanced Artificial Intelligence（南京先进人工智能研究院）；East China Normal University（华东师范大学）；XMU（厦门大学）；Nanjing University of Science and Technology（南京理工大学）；Shanghai Jiao Tong University（上海交通大学）
深度网络压缩通过知识蒸馏取得了显著的进展，其中通过使用预定损失采用师生学习方式。最近，更多的焦点已经转移到使用对抗训练来最小化来自两个网络的输出分布之间的差异。然而，他们总是强调结果导向的学习，而忽略了过程导向的学习方案，导致整个网络管道中所包含的丰富信息丢失。基于小网络由于网络规模的巨大差距而无法完美模仿大网络的假设，提出了一种在对抗训练框架下，包含有效中间监督的知识转移方法来学习学生网络。为了实现强大而高度紧凑的中间信息表示，压缩的知识是通过任务驱动的注意力机制来实现的。这样，教师网络传递的知识就可以适应学生网络的规模。因此，该方法结合了过程导向和结果导向的优点。在三个典型的基准数据集上进行了大量的实验结果，CIFAR-10，CIFAR-100和ImageNet证明，我们的方法与其他最先进的方法相比具有非常优越的性能。
2019-04-25 cs.LG stat.ML
Optimizing LSTM Neural Networks for Resource-Constrained Retail Sales Forecasting: A Model Compression Study
Campbellsville University（坎贝尔斯维尔大学）
本文通过减少LSTM模型的隐藏单元数，实现了更小的模型体积和更高的预测准确性，证明了在资源受限情况下优化模型的有效性。
2026-01-02 cs.AI cs.LG
On Model Compression for Neural Networks: Framework, Algorithm, and Convergence Guarantee
New Jersey Institute of Technology（新泽西理工学院）；Pusan National University（釜山国立大学）
针对神经网络低秩近似与权重剪枝压缩中精度下降、收敛性差的问题，提出基于非凸优化的整体框架及无梯度NN-BCD算法，证明其O(1/k)全局收敛性，实验验证了其高效性与优越性能。
2024-08-15 cs.LG stat.ML
A Variational Information Bottleneck Based Method to Compress Sequential Networks for Human Action Recognition
Indian Institute of Technology Delhi（德里印度理工学院）；Samsung R&D Institute India - Delhi（三星印度德里研发中心）
在过去的几年里，深度神经网络的压缩已经成为机器学习和计算机视觉研究的重要组成部分。深度模型需要相当大的计算复杂性和存储，例如用于视频中的人类动作识别（HAR），这使得它们不适合部署在边缘设备上。在本文中，我们解决了这个问题，并提出了一种方法来有效地压缩递归神经网络（RNN），如门控递归单元（GRU）和长短期记忆单元（LSTM），用于HAR。我们使用基于变分信息瓶颈（VIB）理论的修剪方法来限制通过RNN的顺序单元的信息流到一个小的子集。此外，我们将我们的修剪方法与一个特定的组套索正则化技术相结合，显着提高压缩。所提出的技术减少了潜在表示的模型参数和内存占用，验证精度几乎没有降低，同时将推理速度提高了几倍。我们在三个广泛使用的动作识别数据集上进行实验，即UCF 11，HMDB 51和UCF 101，以验证我们的方法。结果表明，我们的方法实现了超过70倍的压缩比最接近的竞争对手具有可比的准确性的任务的动作识别UCF 11。
2020-11-09 cs.CV cs.IT cs.LG
