Bayesian Compression for Natural Language Processing
National Research University Higher School of Economics(国立研究型大学高等经济学院);Samsung AI Center(三星人工智能中心)
在自然语言处理中,很多任务都是用递归神经网络成功地解决的,但是这样的模型有大量的参数。这些参数中的大多数通常集中在嵌入层中,其大小与词汇长度成比例地增长。我们提出了一种用于RNN的贝叶斯稀疏化技术,该技术允许将RNN压缩数十或数百次,而无需耗时的超参数调整。我们还推广了词汇稀疏化的模型,以过滤掉不必要的单词,并进一步压缩RNN。我们表明,保留的话的选择是可解释的。代码可以在github上找到:https://github.com/tipt0p/SparseBayesianRNN
2018-12-12 cs.CL cs.LG stat.ML
Tensor train decompositions on recurrent networks
Université de Montréal(蒙特利尔大学);Huawei Noah’s Ark Research Lab(华为诺亚方舟实验室)
递归神经网络(RNN),如长短期记忆(LSTM)网络,在语音、语言、视频和多模态学习等众多日常任务中至关重要。从云计算到边缘计算的转变加剧了对RNN参数增长的需求。目前对RNN的研究表明,尽管在卷积神经网络(CNN)上获得了良好的性能,但在压缩RNN中保持良好的性能仍然是一个挑战。大多数关于压缩的文献都集中在使用矩阵乘积(MPO)算子张量序列的CNN上。然而,矩阵乘积状态(MPS)张量列车有更多的有吸引力的功能比MPO,在减少存储和计算时间的推断。我们通过对NLP任务的理论分析和实际实验表明,MPS张量训练应该处于LSTM网络压缩的最前沿。
2020-06-09 cs.LG stat.ML
FineZip : Pushing the Limits of Large Language Models for Practical Lossless Text Compression
UC Berkeley(加州大学伯克利分校);NYU(纽约大学)
本文提出基于LLM的FineZip文本压缩系统,结合在线记忆与动态上下文,将压缩时间较LLMZip缩短54倍,同时压缩率提升约50%,推动无损文本压缩实用化。
2024-09-25 cs.AI cs.CL cs.LG
Parameter Compression of Recurrent Neural Networks and Degradation of Short-term Memory
Qualcomm Technologies, Inc.(高通技术公司)
在大规模或资源受限的环境中(例如数据中心和移动设备)部署神经网络的显著计算成本已经刺激了对模型压缩的兴趣,其可以实现算术运算和存储内存的减少。已经提出了几种技术来减少或压缩前馈和卷积神经网络的参数,但很少有人了解参数压缩对循环神经网络(RNN)的影响。特别是,在何种程度上可以压缩的经常性参数和短期记忆性能的影响,是不是很好地理解。在本文中,我们研究了复杂性降低的效果,通过奇异值分解秩降低,对RNN和最小门控递归单元(MGRU)网络的几个任务。我们表明,相当大的秩减少是可能的压缩经常性的权重,即使没有微调。此外,我们提出了一个扰动模型的一般扰动,如压缩,对递归参数的影响。该模型进行了测试,对一个无声的记忆实验,阐明了短期记忆的表现。通过这种方式,我们证明了经常性参数的压缩效果取决于数据和任务中存在的时间相干性的程度。这项工作可以指导新环境或任务的实时RNN压缩,并为在低功耗设备(如助听器)中应用RNN压缩提供见解。
2017-02-24 cs.CV cs.LG cs.NE
Adversarially Robust and Explainable Model Compression with On-Device Personalization for Text Classification
Wayne State University(韦恩州立大学)
由于移动设备的计算能力不断提高以及计算机视觉(CV)、自然语言处理(NLP)和物联网(IoT)中的应用数量不断增加,设备上深度神经网络(DNN)最近获得了更多的关注。不幸的是,为CV任务设计的现有高效卷积神经网络(CNN)架构并不直接适用于NLP任务,而小型递归神经网络(RNN)架构主要是为物联网应用设计的。在NLP应用中,尽管模型压缩在设备上文本分类中取得了初步成功,但至少有三个主要挑战尚未解决:对抗鲁棒性,可解释性和个性化。在这里,我们试图通过设计一个新的训练计划,模型压缩和对抗性的鲁棒性,包括可解释的特征映射目标,知识蒸馏目标,和对抗性的鲁棒性目标的优化来解决这些挑战。通过微调使用设备上的私有训练数据来个性化所得到的压缩模型。我们进行了大量的实验,将我们的方法与紧凑的RNN(例如,FastGRNN)和压缩RNN(例如,PRADO)架构在自然和对抗性NLP测试设置。
2021-01-20 cs.LG
To Compress or Not? Pushing the Frontier of Lossless GenAI Model Weights Compression with Exponent Concentration
Dept. of Electrical and Computer Engineering, Rice University(电气与计算机工程系, Rice大学);Dept. of Computer Science, Rice University(计算机科学系, Rice大学);Lambda, Inc.(Lambda公司);Dept. of Computer Science, Stevens Institute of Technology(计算机科学系, Stevens Institute of Technology)
该研究发现生成式AI权重存在指数浓度的统计规律,推导了接近FP4.67的理论压缩极限,提出结合熵感知编码与GPU优化解码的ECF8无损压缩框架,在最高671B参数模型上实现显著内存节省与吞吐量提升且计算完全无损。
2025-10-03 cs.AI cs.LG
Neural Networks Compression for Language Modeling
Samsung R&D Institute Rus(三星俄罗斯研发中心);National Research University Higher School of Economics(国立研究型高等经济学院)
在本文中,我们考虑了几种压缩技术的语言建模问题的基础上循环神经网络(RNNs)。众所周知,传统的RNN,例如语言建模中基于LSTM的网络,具有高空间复杂度或大量推理时间的特征。这个问题对于移动应用程序尤其重要,因为在移动应用程序中,与远程服务器的持续交互是不合适的。通过使用Penn Treebank(PTB)数据集,我们比较了LSTM网络的修剪,量化,低秩因子分解,张量训练分解的模型大小和快速推理的适用性。
2017-08-20 cs.CL cs.LG cs.NE
Dynamically Hierarchy Revolution: DirNet for Compressing Recurrent Neural Network on Mobile Devices
Arizona State University(亚利桑那州立大学);Samsung Research America(三星美国研究院)
递归神经网络(RNN)在各种问题上实现了尖端性能。然而,由于其高计算和内存需求,在资源受限的移动设备上部署RNN是一项具有挑战性的任务。为了在保证较高压缩率的同时保证最小的精度损失,并满足移动资源需求,提出了一种基于优化快速字典学习算法的模型压缩方法DirNet,该算法1)动态挖掘层内投影字典矩阵的字典原子以调整压缩率2)自适应地改变稀疏码的稀疏度.在语言模型和使用1000 h语音数据集训练的ASR模型上的实验结果表明,该方法的性能明显优于现有方法。在现成的移动设备上进行评估,我们能够将原始模型的大小减少八倍,同时具有实时模型推理和可忽略的准确性损失。
2018-06-08 cs.LG stat.ML
On the Compression of Recurrent Neural Networks with an Application to LVCSR acoustic modeling for Embedded Speech Recognition
Google Inc.(谷歌公司)
我们研究压缩循环神经网络(RNN)的问题。特别是,我们专注于RNN声学模型的压缩,这是出于建立紧凑和准确的语音识别系统,可以有效地运行在移动设备上的目标。在这项工作中,我们提出了一种技术,一般经常性的模型压缩,共同压缩经常性和非经常性层间权重矩阵。我们发现,所提出的技术允许我们将长短期记忆(LSTM)声学模型的大小减少到其原始大小的三分之一,而准确性的损失可以忽略不计。
2016-05-02 cs.CL cs.LG cs.NE
Requential Coding: Pushing the Limits of Model Compression with Self-Generated Training Data
New York University(纽约大学);Carnegie Mellon University(卡内基梅隆大学)
研究利用自生成训练数据的顺序编码突破模型压缩极限,教师模型从学生分布选样本,学生代码记录选择,代码长度与参数和熵无关且更短,还能揭示现象、给出泛化保证、隔离可学习信息。
2026-07-14 cs.LG
Extracting Finite Automata from RNNs Using State Merging
Center for Data Science, NYU(纽约大学数据科学中心)
解释黑箱递归神经网络(RNN)行为的一种方法是从其中提取一个更可解释的离散计算模型,如有限状态机,以捕获其行为。在这项工作中,我们提出了一种新的方法提取有限自动机从RNN的启发状态合并范式语法推理。我们在Tomita语言基准测试中证明了我们方法的有效性,我们发现它能够从在基准测试中所有语言上训练的RNN中提取忠实的自动机。我们发现,提取性能受到提取过程中提供的数据数量的帮助,以及奇怪的是,RNN模型是否在完美学习其目标语言后进行了额外的训练。我们使用我们的方法来分析这一现象,发现超越收敛的训练是有用的,因为它会导致RNN内部状态空间的压缩。这一发现证明了我们的方法如何用于训练RNN模型的可解释性和分析。
2022-04-14 cs.LG
TODM: Train Once Deploy Many Efficient Supernet-Based RNN-T Compression For On-device ASR Models
Meta;University of Cambridge(剑桥大学)
提出TODM方法,利用Supernet共享权重并组合自适应dropout、原位Alpha散度知识蒸馏和ScaledAdam优化器,高效训练多种尺寸的设备端ASR模型,在LibriSpeech上验证其性能匹配或超越手动调优模型且训练成本恒定。
2023-11-27 cs.CL cs.LG cs.SD
Deep Neural Networks and End-to-End Learning for Audio Compression
Handong Global University(韩东国际大学)
最近在端到端深度学习方面取得的成就鼓励人们探索使用统一的深度网络模型处理高度结构化数据的任务。具有这样的用于压缩音频信号的模型是具有挑战性的,因为它需要不容易用端到端反向传播训练的离散表示。在本文中,我们提出了一种端到端的深度学习方法,该方法将递归神经网络(RNN)与变分自编码器(VAE)的训练策略结合起来,并使用潜在空间的二进制表示。我们对离散表示的伯努利分布应用重新参数化技巧,这允许平滑的反向传播。此外,我们的方法允许分离的编码器和解码器,这是必要的压缩任务。据我们所知,这是第一次使用RNN对单个音频压缩模型进行端到端学习,我们的模型实现了20.54的信号失真比(SDR)。
2021-07-13 cs.LG cs.SD eess.AS
Tensor-Train Recurrent Neural Networks for Interpretable Multi-Way Financial Forecasting
Imperial College London(帝国理工学院)
循环神经网络(RNN)代表了序列建模的事实标准机器学习工具,这是由于它们的表达能力和记忆。然而,当处理大维度数据时,相应的参数数量的指数增加会造成计算瓶颈。需要让RNN具备处理维数灾难的能力,例如通过张量固有的参数压缩能力,这导致了Tensor-Train RNN(TT-RNN)的发展。尽管在许多应用中取得了令人鼓舞的结果,但TT-RNN的全部潜力还有待于在可解释的金融建模中进行探索,这是一项以低信噪比的多模态数据为特征的具有挑战性的任务。为了解决这个问题,我们研究了TT-RNN在货币金融预测任务中的潜力。通过对TT因子的分析,我们表明,张量分解背后的物理意义使TT-RNN模型能够帮助结果的可解释性,从而减轻了与神经网络相关的臭名昭著的“黑箱”问题。此外,仿真结果突出了TT分解的正则化能力,证明了TT-RNN优于未压缩RNN和其他张量预测方法的性能。
2021-05-11 cs.LG
RTMobile: Beyond Real-Time Mobile Acceleration of RNNs for Speech Recognition
Northeastern University(东北大学);The College of William and Mary(威廉与玛丽学院);The University of Alabama(阿拉巴马大学)
基于递归神经网络(RNN)的自动语音识别如今在诸如智能电话的移动设备上变得流行。然而,以前的RNN压缩技术要么由于不规则性而遭受硬件性能开销,要么由于硬件友好性而保留的规则性而遭受显著的准确性损失。在这项工作中,我们提出了RTMobile,它利用一种新的基于块的修剪方法和编译器优化来加速移动设备上的RNN推理。我们提出的RTMobile是第一个可以在移动平台上实现实时的【形】RNN推理的工作。实验结果表明,RTMobile在推理精度和时间方面明显优于现有的RNN硬件加速方法。在保证推理时间不变的情况下,RTMobile在GRU上使用Adreno 640嵌入式GPU,与FPGA上的工作相比,可以提高约40 $\times$的能量效率。
2020-02-19 cs.LG cs.SD eess.AS
TinyLSTMs: Efficient Neural Speech Enhancement for Hearing Aids
Arm(Arm公司);Bose(Bose公司)
现代语音增强算法通过使用大型递归神经网络(RNN)实现了显著的噪声抑制。然而,大型RNN限制了助听器硬件(HW)形状因子的实际部署,这些硬件是电池供电的,并且在具有有限存储容量和计算能力的资源受限的微控制器单元(MCU)上运行。在这项工作中,我们使用模型压缩技术来弥合这一差距。我们定义了HW对RNN施加的约束,并描述了满足这些约束的方法。尽管模型压缩技术是一个活跃的研究领域,但我们是第一个使用权重/激活的修剪和整数量化来证明其对RNN语音增强的功效的。我们还演示了状态更新跳过,这减少了计算负载。最后,我们对压缩模型进行感知评估,以验证人类评分员的音频质量。结果显示,与压缩模型的基线相比,模型大小和操作分别减少了11.9 $\times$和2.9 $\times$,在收听偏好方面没有统计学差异,仅表现出0.55 dB SDR的损失。我们的模型实现了2.39毫秒的计算延迟,以及在10毫秒的目标和351 $\times$比以前的工作更好。
2020-05-20 cs.LG cs.SD eess.AS
Pushing the Limits of Large Language Model Quantization via the Linearity Theorem
Yandex;HSE University(高等经济大学);ISTA(奥地利科学技术研究所);GenAI CoE, KAUST(阿卜杜拉国王科技大学 GenAI 卓越中心);MIT(麻省理工学院);NeuralMagic
本文提出线性定理建立分层$\boldsymbol{\rho_2}$重构误差与量化困惑度增加的关系,提出HIGGS无数据量化方法及动态规划最优解,在多模型上提升精度-压缩权衡并实现GPU高效支持。
2024-11-26 cs.LG
Multiway Multislice PHATE: Visualizing Hidden Dynamics of RNNs through Training
Boston University(波士顿大学);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Johns Hopkins University(约翰霍普金斯大学);University of California San Diego(加州大学圣地亚哥分校)
MM-PHATE通过多维分析RNN隐藏状态演变,揭示训练过程中表示几何变化,提供直观方法理解RNN架构与性能关系。
2026-03-24 cs.LG
MiniKV: Pushing the Limits of LLM Inference via 2-Bit Layer-Discriminative KV Cache
UIUC(伊利诺伊大学厄巴纳-香槟分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);SSAIL Lab(超算系统人工智能实验室)
本文提出MiniKV,采用2位层级判别式KV缓存并配合兼容FlashAttention的专用CUDA内核,在长上下文任务中实现86%压缩率且恢复98.5%以上准确率。
2025-06-08 cs.CL cs.LG
BiLLM: Pushing the Limit of Post-Training Quantization for LLMs
The University of Hong Kong(香港大学);Beihang University(北京航空航天大学);ETH Zürich(苏黎世联邦理工学院)
针对大语言模型超低比特量化后性能下降的问题,提出BiLLM 1比特训练后量化方案,通过显著权值筛选、二值残差逼近和非显著权值分组二值化,在极低比特下实现高精度推理且效率优异。
2024-05-15 cs.AI cs.CL cs.LG
Extended Bit-Plane Compression for Convolutional Neural Network Accelerators
Integrated Systems Laboratory, ETH Zurich(苏黎世联邦理工学院集成系统实验室)
在卷积神经网络在图像分类、目标检测、语音识别等方面取得巨大成功之后,现在,对于以低成本将这些计算密集型ML模型部署在严格功率约束的嵌入式和移动系统上以及对于推动数据中心中的吞吐量的需求不断增长。这引发了对专用硬件加速器的研究浪潮。它们的性能通常受到I/O带宽的限制,并且能量消耗主要由到片外存储器的I/O传输决定。我们介绍和评估一种新的,硬件友好的压缩方案的特征图内存在的卷积神经网络。我们表明,ResNet-34的平均压缩比相对于未压缩数据为4.4倍,比现有方法的增益为60%,压缩块需要<300位的顺序单元和最少的组合逻辑。
2018-10-01 cs.AI cs.AR cs.CV
Trace norm regularization and faster inference for embedded speech recognition RNNs
Baidu Silicon Valley Artificial Intelligence Lab(百度硅谷人工智能实验室)
我们提出并评估了新的技术,用于压缩和加速密集矩阵乘法,发现在嵌入式大词汇量连续语音识别(LVCSR)的神经网络的全连接和递归层。为了压缩,我们引入并研究了一种迹范数正则化技术,用于训练矩阵乘法的低秩因子化版本。与标准的低秩训练相比,我们证明了我们的方法具有良好的精度与参数权衡的数量,并且可以用于加快大型模型的训练。为了加快速度,我们通过针对小批量优化的新开源内核在ARM处理器上实现了更快的推理,从而比广泛使用的gemmlowp库提高了3倍至7倍的速度。除了LVCSR,我们希望我们的技术和内核更普遍地适用于具有大型全连接或递归层的嵌入式神经网络。
2018-02-06 cs.CL cs.LG eess.AS
An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
最近深度神经网络的规模增加了许多倍,这使得高效的分布式训练变得具有挑战性。许多建议利用梯度的可压缩性,并提出有损压缩技术来加速分布式训练的通信阶段。然而,压缩是以降低模型质量和额外计算开销为代价的。在这项工作中,我们设计了一个高效的压缩机,以最小的开销。注意到稀疏的梯度,我们建议建模的梯度作为随机变量分布根据一些稀疏诱导分布(SID)。我们通过研究训练过程中梯度向量演变的统计特性来实证验证我们的假设。然后,我们提出了基于稀疏诱导分布的压缩(SIDCo),这是一种基于阈值的稀疏化方案,它与深度梯度压缩(DGC)具有相似的阈值估计质量,同时通过降低压缩开销来提高速度。我们对涉及递归神经网络(RNN)和卷积神经网络(CNN)模型的流行机器学习基准进行了广泛的评估,结果显示,与无压缩基线、Topk和DGC压缩器相比,SIDCo分别将训练速度提高了41:7%、7:6%和1:9%。
2021-03-17 cs.DC cs.LG
A Variational Information Bottleneck Based Method to Compress Sequential Networks for Human Action Recognition
Indian Institute of Technology Delhi(德里印度理工学院);Samsung R&D Institute India - Delhi(三星印度德里研发中心)
在过去的几年里,深度神经网络的压缩已经成为机器学习和计算机视觉研究的重要组成部分。深度模型需要相当大的计算复杂性和存储,例如用于视频中的人类动作识别(HAR),这使得它们不适合部署在边缘设备上。在本文中,我们解决了这个问题,并提出了一种方法来有效地压缩递归神经网络(RNN),如门控递归单元(GRU)和长短期记忆单元(LSTM),用于HAR。我们使用基于变分信息瓶颈(VIB)理论的修剪方法来限制通过RNN的顺序单元的信息流到一个小的子集。此外,我们将我们的修剪方法与一个特定的组套索正则化技术相结合,显着提高压缩。所提出的技术减少了潜在表示的模型参数和内存占用,验证精度几乎没有降低,同时将推理速度提高了几倍。我们在三个广泛使用的动作识别数据集上进行实验,即UCF 11,HMDB 51和UCF 101,以验证我们的方法。结果表明,我们的方法实现了超过70倍的压缩比最接近的竞争对手具有可比的准确性的任务的动作识别UCF 11。
2020-11-09 cs.CV cs.IT cs.LG
The Unseen Frontier: Pushing the Limits of LLM Sparsity with Surrogate-Free ADMM
POSTECH;ISTA
Elsa通过无代理ADMM方法实现LLM高达90%的稀疏度,显著提升模型性能与效率。
2026-02-23 cs.AI cs.LG
RWKV-edge: Deeply Compressed RWKV for Resource-Constrained Devices
University of Virginia(弗吉尼亚大学)
针对RWKV大语言模型参数量高难以在资源受限设备部署的问题,提出适配其架构的架构优化+训练后压缩组合方案,实现3.4-5倍内存压缩且精度损失极小,比同精度Transformer模型内存占用低4倍。
2025-10-28 cs.LG cs.PF