DAMP: Decay-Aware Mixed-Precision Recurrent-State Quantization
South China University of Technology（华南理工大学）；Meituan（美团）；East China Normal University（华东师范大学）
DAMP是针对GDN、KDA类语言模型循环状态的混合精度量化方法，通过识别高风险通道差异化精度存储，在接近FP32基线精度的同时大幅降低存储、加速更新并减少推理延迟。
2026-10-01 cs.AI cs.LG
Towards a tailored mixed-precision sub-8-bit quantization scheme for Gated Recurrent Units using Genetic Algorithms
Technical University of Denmark（丹麦技术大学）；GN Audio（GN音频公司）
针对GRU亚8比特量化难调优的问题，提出算子比特宽独立可选的模块化整数量化方案，用遗传算法搜索最优比特宽组合，在四个序列任务上实现25%-55%模型压缩且精度媲美8比特均匀量化。
2024-03-08 cs.LG cs.NE eess.SP
Fixed-Point Performance Analysis of Recurrent Neural Networks
Seoul National University（首尔国立大学）
循环神经网络在许多应用中已经显示出优异的性能，然而它们在基于硬件或软件的实现中需要增加的复杂性。通过最小化权值和信号的字长，可以大大降低硬件复杂度。本文分析了使用基于再训练的量化方法的循环神经网络的定点性能。研究了RNN各层的量化敏感性，给出了在不牺牲性能的前提下，最小化权容量的整体定点优化结果。使用了一个语言模型和一个音素识别实例。
2016-09-27 cs.LG cs.NE
Accelerating Inference and Language Model Fusion of Recurrent Neural Network Transducers via End-to-End 4-bit Quantization
IBM Research（IBM研究院）
我们报告了积极的量化策略，大大加快了循环神经网络传感器（RNN-T）的推理。我们使用4位整数表示权值和激活，并应用量化感知训练（QAT）来重新训练完整模型（声学编码器和语言模型），并实现近等精度。我们表明，定制的量化方案，是针对网络的本地属性是必不可少的，以实现良好的性能，同时限制QAT的计算开销。密度比语言模型融合在RNN-T工作负载上显示出显着的准确性增益，但它严重增加了推理的计算成本。我们表明，我们的量化策略，使使用大波束宽度的假设搜索，同时实现流兼容的运行时和全模型压缩比为7.6 $\times$相比，全精度模型。通过硬件模拟，我们估计从FP 16到INT 4的端到端量化RNN-T（包括LM融合）的$\times$加速为3.4，导致实时的因子（RTF）为0.06。在NIST Hub 5 2000、Hub 5 2001和RT-03测试集上，我们保留了与LM融合相关的大部分增益，将平均WER提高了$>$ 1.5%。
2022-06-16 cs.CL cs.LG cs.SD
Mamba-PTQ: Outlier Channels in Recurrent Large Language Models
Intel Labs（英特尔实验室）；LMU Munich（慕尼黑大学）；University of Groningen（格罗宁根大学）
本研究针对循环大语言模型Mamba的后训练量化问题，发现其存在与注意力模型相似的激活异常通道，并提供了基线结果及异常感知量化的初步方案。
2024-07-17 cs.AI cs.LG cs.NE
SQUAT: Stateful Quantization-Aware Training in Recurrent Spiking Neural Networks
UC Santa Cruz（加州大学圣克鲁兹分校）
本文提出面向脉冲神经网络有状态神经元的两种量化感知训练方案SQUAT，通过在放电阈值附近增加量化级别密度，并结合权重量化，在多个基准数据集上验证了其提升低精度SNN性能的有效性。
2024-04-15 cs.LG cs.NE
STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization
City University of Hong Kong（香港城市大学）；Harvard University（哈佛大学）；Zhejiang University（浙江大学）；NLPR & MAIS, Institute of Automation, CAS（中国科学院自动化研究所模式识别国家重点实验室与多模态人工智能系统全国重点实验室）；The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）
针对Delta规则循环状态量化误差的时间与空间影响，提出STEPQuant后训练量化框架，按误差幅度和记忆寿命分配精度，在6位预算下匹配FP32精度，并实现超5倍状态压缩及高达68.7%的内存减少。
2026-09-30 cs.AI cs.CL cs.LG
LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization
UC Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）；MIT（麻省理工学院）；Perplexity AI；NVIDIA（英伟达）
针对线性注意力循环状态量化误差累积与离群值问题，提出免训练方法LeapQuant，通过逐窗口量化与补偿token，在8位量化下实现近乎无损性能并显著加速推理。
2026-09-30 cs.AI cs.LG
Preserving Updates in Low-Bit Recurrent State Quantization
The Chinese University of Hong Kong（香港中文大学）
针对循环状态量化的误差累积问题，提出LRB与BDR方法，在门控DeltaNet等模型上，无训练方法性能优于INT4，内存减5.3倍、解码速提1.9倍。
2026-10-14 cs.CL cs.LG
On Orthogonal Recurrent Neural Networks Quantization
Institut de Mathématiques de Toulouse（图卢兹数学研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；UPS IMT；Institut de Recherche Technologique Saint Exupéry（圣埃克苏佩里技术研究院）
本文针对正交循环神经网络难以部署在紧凑设备的问题，提出量化近似正交循环神经网络，通过结合量化感知训练与正交投影学习权重，并对激活值进行训练后量化，在4比特量化下仍能取得与全精度模型相近的性能。
2026-10-26 cs.AI cs.LG cs.NE
When Quantization Breaks Memory: Recurrent-State Write-Back in Low-Precision Temporal Inference
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Center for Modeling, Simulation, and Imaging in Medicine（医学建模、仿真与成像中心）；Department of Biomedical Engineering（生物医学工程系）
本文提出循环状态写回概念，发现低精度量化会导致循环网络估计荧光寿命参数的误差大幅上升，而误差反馈等机制可恢复精度，状态存储接口是量化循环推理的核心设计考量。
2026-09-07 cs.AI cs.LG physics.optics
Loopy: Low-Bit Quantization Framework for Looped Language Models
The Hong Kong University of Science and Technology（香港科技大学）；Duke Kunshan University（昆山杜克大学）
Loopy提出一种面向循环语言模型的低比特量化框架，通过循环深度感知的目标函数和渐进式校准窗口分配，在目标部署深度选择最优共享低比特表示，显著降低困惑度并提升性能。
2026-10-21 cs.LG
Low-Bit Recurrent States in Hybrid Language Models
本文提出一种无需校准数据或训练的混合精度量化方法，利用可观测性格拉姆矩阵和归一化状态范围分配比特，对数量化衰减率，在四位下显著降低负对数似然，六位时接近全精度性能。
2026-09-28 cs.LG
When Dynamic Scaling Fails: A Scale-State Feedback Governs Recurrent-State Quantization in Linear-Attention and SSM LLMs
该研究针对线性注意力与SSM大语言模型的循环状态量化问题，发现动态缩放失效源于尺度-状态反馈，提出绑定尺度与全精度参考值等方案，揭示数值不稳定性与功能退化可分离，为长解码阶段的量化优化提供了关键依据。
2026-10-21 cs.LG
Stability Analysis of Various Symbolic Rule Extraction Methods from Recurrent Neural Network
The Pennsylvania State University（宾夕法尼亚州立大学）；University of South Florida（南佛罗里达大学）
本文比较了量化和等价查询两种规则提取方法在RNN中的稳定性，发现O2RNN和量化方法在DFA提取上更稳定，而$L^{*}$在部分训练时状态数易膨胀。
2024-02-04 cs.LG
The model of an anomaly detector for HiLumi LHC magnets based on Recurrent Neural Networks and adaptive quantization
AGH University of Science and Technology（AGH科技大学）；Alma Mater Europaea - European Center Maribor（阿尔玛·马特尔·欧罗巴埃亚—马里博尔欧洲中心）；The European Organization for Nuclear Research - CERN（欧洲核子研究组织（CERN））
本文重点研究了递归神经网络模型用于检测CERN超导磁体异常行为的适用性。为了进行实验，作者设计并实现了一种自适应信号量化算法和一个定制的基于GRU的检测器，并开发了一种检测器参数选择的方法。三个不同的数据集用于测试检测器。使用两个人工生成的数据集来评估系统的原始性能，而由从HiLumi磁体获取的信号组成的231 MB数据集旨在用于真实实验和模型训练。几个不同的设置开发的异常检测系统进行了评估，并与国家的最先进的OC-SVM参考模型在相同的数据上运行。OC-SVM模型配备了一组丰富的特征提取器，用于解释一系列输入信号属性。在实验过程中确定，对于几乎所有测试集，检测器及其支持的设计方法达到F1等于或非常接近1。由于数据的轮廓，检测器的best_length设置在检测系统的所有五种测试配置方案中表现最好。量化参数对检测器的整体性能影响最大，输入/输出网格的最佳值分别等于16和8。在大多数情况下，所提出的检测解决方案的性能明显优于基于OC-SVM的检测器，在所有数据集上都具有更稳定的性能。
2017-11-25 cs.LG physics.acc-ph physics.ins-det
Loss-aware Weight Quantization of Deep Networks
Department of Computer Science and Engineering（计算机科学与工程系）；Hong Kong University of Science and Technology（香港科技大学）
深度网络的巨大规模阻碍了它们在小型计算设备中的使用。在本文中，我们考虑压缩网络的重量量化。我们将最近提出的损失感知权重二值化方案扩展到三值化，对于正权重和负权重可能具有不同的缩放参数，以及m位（其中m > 2）量化。在前馈和递归神经网络上的实验表明，该方案优于最先进的权重量化算法，并且与全精度网络一样准确（甚至更准确）。
2018-05-10 cs.LG
Training Integer-Only Deep Recurrent Neural Networks
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Polytechnique Montreal（蒙特利尔理工学院）；McGill University（麦吉尔大学）
循环神经网络（RNN）是许多文本和语音应用的基础。这些架构通常由几个计算复杂的组件组成，例如：非线性激活函数，归一化，双向依赖和注意力。为了保持良好的精度，这些组件经常使用全精度浮点计算运行，这使得它们速度缓慢，效率低下，难以在边缘设备上部署。此外，这些操作的复杂性质使得它们具有挑战性，使用标准量化方法进行量化而不会显着降低性能。我们提出了一种量化感知训练方法，用于获得高度准确的仅整数递归神经网络（iRNN）。我们的方法支持层归一化，注意力和激活函数的自适应分段线性（PWL）近似，以服务于各种最先进的RNN。所提出的方法使基于RNN的语言模型能够在边缘设备上运行，在运行时具有$2\times$改进，并在模型大小上减小$4\times$，同时保持与其全精度对应物相似的准确性。
2022-12-22 cs.CL cs.LG
An Embedded RISC-V Evaluation of Kolmogorov--Arnold Networks in Hard-Constrained Recurrent Physics-Informed Models
本文在RISC-V嵌入式平台上评估硬约束循环物理信息模型的KAN残差分支，发现其部署时延迟和能耗高于MLP，量化后可靠性更差，不适合作为默认选择。
2026-08-04 cs.AI cs.LG cs.PF
Accelerating RNN-based Speech Enhancement on a Multi-Core MCU with Mixed FP16-INT8 Post-Training Quantization
Universita’ di Bologna（博洛尼亚大学）；Greenwaves Technologies（绿波科技）
本文提出了一种优化方法，用于在最先进的微控制器单元（MCU）上设计和部署基于循环神经网络（RNN）的语音增强（SE）算法，该MCU具有1+8个通用RISC-V核心。为了实现低延迟执行，我们提出了一种优化的软件流水线，交错并行计算LSTM或GRU递归块，具有矢量化的8位整数（INT 8）和16位浮点（FP 16）计算单元，手动管理模型参数的内存传输。为了确保相对于全精度模型的最小精度下降，我们提出了一种新的FP 16-INT 8混合精度训练后量化（PTQ）方案，该方案将递归层压缩到8位，而其余层的位精度保持为FP 16。实验在Valentini数据集上训练的多个基于LSTM和GRU的SE模型上进行，具有多达124万个参数。由于所提出的方法，相对于无损FP 16基线，我们将计算速度提高了4倍。与PESQ分数平均降低0.3的均匀8位量化相比，混合精度PTQ方案导致仅0.06的低降级，同时实现1.4- 1.7倍的内存节省。得益于这种压缩，我们通过将大模型安装在有限的片上非易失性存储器上来降低外部存储器的功耗成本，并通过将电源电压从0.8V降低到0.65V来实现高达2.5倍的MCU功耗节省，同时仍符合实时限制。我们的设计比部署在单核MCU上的最先进的SE解决方案高出10倍的能效，这些解决方案使用更小的模型和量化感知训练。
2022-10-14 cs.LG cs.SD cs.SY
The Wavefunction of Continuous-Time Recurrent Neural Networks
York University（约克大学）
本文探讨了连续时间递归神经网络（CTRNN）量子波函数的可能性。我们首先从一个描述连续时间递归神经网络经典动力学的二维动力学系统开始，然后推导出一个哈密顿量。在此之后，我们使用Weyl量化在Hilbert空间$\mathbb{H} = L^2(\mathbb{R})$上量化该哈密顿量。然后，我们解决了薛定谔方程，给我们的波函数在库默尔的合流超几何函数对应的神经网络结构。在无穷远处应用空间边界条件时，我们能够导出对神经网络的权重和超参数的条件/限制，这可能会对找到所述神经网络的最佳权重的性质提供见解。
2021-02-13 cs.LG math-ph math.DS
iRNN: Integer-only Recurrent Neural Network
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
递归神经网络（RNN）用于许多现实世界的文本和语音应用。它们包括复杂的模块，如递归、基于指数的激活、门交互、展开归一化、双向依赖和注意力。这些元素之间的交互防止在仅整数操作上运行它们而不会显著降低性能。部署包括层归一化和只关注整数运算的RNN仍然是一个悬而未决的问题。我们提出了一种量化感知训练方法，用于获得高度准确的仅整数循环神经网络（iRNN）。我们的方法支持层归一化、注意力和自适应分段线性近似激活（PWL），以在各种应用中为各种RNN提供服务。所提出的方法被证明适用于基于RNN的语言模型，并具有挑战性的自动语音识别，使AI应用程序处于边缘。我们的iRNN保持与其全精度对应物相似的性能，它们在智能手机上的部署将运行时性能提高了$2\times$，并将模型大小减少了$4\times$。
2022-02-14 cs.LG cs.NE
An Algebraic View of the Expressivity of Recurrent Language Models
本文通过代数统一框架分析循环神经网络在不同算术模型下的表达能力，将形式语言识别问题归结为语法幺半群是否划分特定圈积的代数问题。
2026-08-26 cs.CL cs.FL cs.LG
Real-Time Plasma State Prediction via FPGA-Accelerated Quantized Recurrent Probabilistic Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Georgia Institute of Technology（佐治亚理工学院）
针对托卡马克等离子体控制系统的实时延迟挑战，提出基于FPGA的量化递归概率神经网络端到端部署流程，实现亚10微秒延迟并满足资源预算。
2026-09-22 cs.LG physics.plasm-ph
Compression of Recurrent Neural Networks for Efficient Language Modeling
Samsung R&D Institute（三星研发研究所）；National Research University Higher School of Economics（国家研究型高等经济大学）
循环神经网络已被证明是一种有效的统计语言建模方法。然而，在实践中，它们的内存和运行时的复杂度通常太大，无法在实时离线移动应用程序中实现。在本文中，我们考虑了几种压缩技术的循环神经网络，包括长短期记忆模型。我们特别注意的高维输出问题所造成的非常大的词汇量。我们专注于有效的压缩方法的上下文中开发的设备：修剪，量化和矩阵分解方法（低秩因式分解和张量训练分解，特别是）。对于每一个模型，我们调查其大小，适合快速推理和困惑之间的权衡。我们提出了一个通用的管道，用于应用最合适的方法来压缩用于语言建模的循环神经网络。在Penn Treebank（PTB）数据集的实验研究中已经表明，通过矩阵分解技术获得了在速度和压缩-困惑平衡方面最有效的结果。
2019-02-06 cs.CL cs.LG
A Symbolic Neural CPU for Quantization-Simulated Writeback and Interpretable Program Execution
Federal University of Bahia（巴伊亚联邦大学）
研究神经网络执行器状态转换不可见问题，提出符号神经CPU架构，结合多种技术实现可解释、低精度和可控神经执行，在基准测试中表现良好，消融实验明确关键因素，扩展接口建立跟踪可验证框架。
2026-07-14 cs.AI cs.AR cs.LG
Retraining-Based Iterative Weight Quantization for Deep Neural Networks
Samsung Research（三星研究院）
模型压缩由于其在保持DNN的准确性的同时显著减少硬件资源需求的能力而获得了很多关注。模型压缩对于内存密集型递归神经网络特别有用，因为较小的内存占用不仅对于减少存储需求而且对于快速推理操作至关重要。量化被认为是一种有效的模型压缩方法，研究人员对最小化表示参数的比特数感兴趣。在这项工作中，我们引入了一种迭代技术来应用量化，呈现高压缩比，而无需对训练算法进行任何修改。在所提出的技术中，权重量化之后是用全精度权重重新训练模型。我们表明，迭代再训练产生新的权重集，可以量化，在每次迭代减少量化损失。我们还表明，量化能够有效地利用修剪，另一种有效的模型压缩方法。结合这两种方法的实施问题也得到了解决。我们的实验结果表明，使用1位量化权重的LSTM模型对于PTB数据集是足够的，而没有任何准确性下降，而以前的方法需要至少2-4位量化权重。
2018-05-29 cs.LG stat.ML
IMSSA: Deploying modern state-space models on memristive in-memory compute hardware
Peter-Gruenberg-Institute (PGI-14)（彼得-格鲁恩贝格研究所）；Forschungszentrum Juelich GmbH（尤利希研究中心）
本文提出IMSSA，通过量化感知训练缩减S4D模型规模，并首次在忆阻器存内计算硬件上部署S4内核，实现边缘设备上的高效长序列处理。
2024-12-28 cs.AR cs.LG
Fixed-point optimization of deep neural networks with adaptive step size retraining
Seoul National University（首尔国立大学）
深度神经网络的定点优化在基于硬件的设计和低功耗实现中起着重要作用。许多深度神经网络在通过再训练微调量化权重时，即使具有2或3位精度也显示出相当好的性能。我们提出了一种改进的定点优化算法，估计量化步长动态再训练过程中。此外，还测试了一种渐进量化方案，该方案从高精度到低精度依次应用定点优化。针对前馈深度神经网络（FFDNN）、卷积神经网络（CNN）和递归神经网络（RNN）进行实验。
2017-02-27 cs.LG
Balanced Quantization: An Effective and Efficient Approach to Quantized Neural Networks
University of Chinese Academy of Sciences（中国科学院大学）；Megvii Inc.（旷视科技有限公司）
量化神经网络（QNN），它使用低位宽的数字来表示参数和执行计算，已经被提出来减少计算复杂度，存储大小和内存使用。在QNN中，参数和激活被均匀量化，使得乘法和加法可以通过逐位操作来加速。然而，神经网络中的参数分布往往是不平衡的，使得根据极值确定的均匀量化可能会不充分利用可用的位宽。在本文中，我们提出了一种新的量化方法，可以确保量化值的分布的平衡。我们的方法首先递归地分区的参数的平衡箱，然后应用均匀量化。我们还介绍了计算上更便宜的近似的计算开销，以减少引入。总的来说，我们的方法提高了QNN的预测精度，而不会在推理过程中引入额外的计算，对训练速度的影响可以忽略不计，并且适用于卷积神经网络和递归神经网络。在ImageNet和Penn Treebank等标准数据集上的实验验证了该方法的有效性。在ImageNet上，我们的4位量化GoogLeNet模型的前5名出错率为12.7\%，优于最先进的QNN。
2017-06-22 cs.CV cs.LG
Model compression via distillation and quantization
ETH Zürich（苏黎世联邦理工学院）；Google DeepMind（谷歌DeepMind）；IST Austria（奥地利科学技术研究所）
深度神经网络（DNN）继续取得重大进展，解决从图像分类到翻译或强化学习的任务。该领域受到相当大关注的一个方面是在资源受限的环境中有效地执行深度模型，例如移动或嵌入式设备。本文针对这一问题，提出了两种新的压缩方法，它们联合利用权重量化和将较大的教师网络蒸馏成较小的学生网络。我们提出的第一种方法被称为量化蒸馏，并在训练过程中利用蒸馏，通过将蒸馏损失（相对于教师表示）纳入学生网络的训练中，该网络的权重被量化到有限的一组水平。第二种方法是可微分量化，通过随机梯度下降优化量化点的位置，以更好地拟合教师模型的行为。我们通过对卷积和递归架构的实验来验证这两种方法。我们表明，量化的浅学生可以达到类似的精度水平，全精度教师模型，同时提供数量级压缩，推理加速，是线性的深度减少。总之，我们的研究结果使DNN能够在资源受限的环境中利用在更强大的设备上开发的架构和准确性进步。
2018-02-15 cs.LG cs.NE
Compressing Recurrent Neural Networks for FPGA-accelerated Implementation in Fluorescence Lifetime Imaging
Center for Modeling, Simulation, & Imaging in Medicine（医学建模、仿真与成像中心）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM T.J. Watson Research Center（IBM TJ·沃森研究中心）
本文针对 FLI 实时分析在 FPGA 上部署 RNN 的资源限制，评估权重缩减、KD、PTQ 与 QAT，提出 Seq2SeqLite，在 8 位精度下以 98% 参数压缩保持性能。
2024-10-01 cs.LG eess.IV q-bio.QM
4-bit Quantization of LSTM-based Speech Recognition Models
IBM Research（IBM研究院）
我们研究了两类基于LSTM的大型自动语音识别架构（ASR）中权重和激活的积极低精度表示的影响：混合深度双向LSTM -隐马尔可夫模型（DBLSTM-Hacking）和递归神经网络-传感器（RNN-Ts）。使用4位整数表示，应用于这些模型的LSTM部分的简单量化方法会导致显着的字出错率（WER）下降。另一方面，我们表明，最小的精度损失是可以实现的量化器和初始化的适当选择。特别是，我们根据网络的局部属性定制量化方案，在限制计算时间的同时提高识别性能。我们证明了我们的解决方案的交换机（SWB）和呼叫中心（CH）测试集的NIST集线器5 -2000的评估。用300或2000小时的SWB数据训练的DBLSTM-Hashion分别实现了$<$ 0.5%和$<$ 1%的平均WER降级。在更具挑战性的RNN-T模型上，我们的量化策略将4位推理的退化限制在1.3%。
2021-08-27 cs.CL cs.LG cs.SD
Quantized Memory-Augmented Neural Networks
Seoul National University（首尔大学）
记忆增强神经网络（MANN）是指一类配备有外部记忆的神经网络模型（如神经图灵机和记忆网络）。这些神经网络在学习长期依赖性方面优于传统的递归神经网络（RNN），使它们能够解决有趣的人工智能任务，否则很难解决。本文研究了人工神经网络的量化问题。当我们在资源有限的嵌入式系统上部署深度模型时，量化是有效的。此外，量化可以大大减少推理过程的能量消耗。这些好处证明了量化多层感知器，卷积网络和RNN的最新发展。然而，没有先前的工作已经报道了成功的量子化的人。本文的深入分析揭示了其他网络量化中没有出现的各种挑战。如果不适当地解决它们，量化的MANN通常会遭受过度的量化误差，这导致性能下降。在本文中，我们确定内存寻址（具体来说，基于内容的寻址）的性能下降的主要原因，并提出了一个强大的量化方法的人工神经网络来解决的挑战。在我们的实验中，与浮点实现相比，我们使用8位定点和二进制量化实现了22倍的计算能量增益。在bAbI数据集上测量，与使用传统技术量化的MANN相比，所得到的模型，称为量化MANN（Q-MANN），分别用8位定点和二进制量化将出错率提高了46%和30%。
2017-11-10 cs.LG stat.ML
Incremental Binarization On Recurrent Neural Networks For Single-Channel Source Separation
Indiana University（印第安纳大学）
提出了一种用于单通道信号源分离的位选通递归单元（BGRU）网络。递归神经网络（RNN）需要在其单元内设置多组权重，与全连接网络相比，这显著增加了计算成本。为了减轻这种增加的计算，我们专注于GRU单元，并使用二进制值和按位操作来简化前馈过程。BGRU网络分为两个阶段进行训练。实值权重被预先训练并转移到按位网络，然后被增量二进制化，以最大限度地减少突然引入量化可能造成的潜在损失。由于所提出的二进制化技术仅将一些随机选择的参数转换为它们的二进制版本，因此它使网络训练过程有机会轻轻地适应网络的部分量化版本。它最终通过在迭代过程中逐步增加二值化的量来实现完全二值化。我们的实验表明，所提出的BGRU方法产生的源分离结果大于实值全连接网络，具有11-12 dB的平均信号失真比（SDR）。完全二进制化的BGRU仍然比逐位神经网络（BNN）好1-2 dB，即使层数较少。
2019-08-23 cs.LG cs.SD eess.AS
Compact recurrent neural networks for acoustic event detection on low-energy low-complexity platforms
ICT-irst Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会ICT-irst研究所）；Manipal Academy of Higher Education（马尼帕尔高等教育学院）
户外声学事件检测是一个令人兴奋的研究领域，但由于需要复杂的算法和深度学习技术，通常需要许多计算，内存和能源资源，因此面临挑战。这一挑战阻碍了物联网的实施，因为物联网需要有效利用资源。然而，当前的嵌入式技术和微控制器已经在不影响能源效率的情况下提高了它们的能力。本文通过在物联网资源受限的嵌入式平台上优化深度学习技术，解决了边缘声音事件检测的应用。贡献是双重的：首先，提出了一个两阶段的学生-教师方法，使最先进的神经网络的声音事件检测适合当前的微控制器;其次，我们测试我们的方法在ARM Cortex M4上，特别是专注于与8位量化的问题。我们的嵌入式实现可以在Urbansound 8 k上实现68%的识别准确率，与最先进的性能相差不远，每秒音频流的推理时间为125 ms，仅34.3 kB RAM的功耗为5.5 mW。
2020-01-29 cs.LG cs.SD eess.AS
SinkRec: Mitigating Semantic State Sink in Long Sequence Recommendation with Memory-Conditioned Gated Delta Networks
Kuaishou Technology, Beijing, China（快手科技，北京，中国）；Beijing University of Posts and Telecommunications, Beijing, China（北京邮电大学，北京，中国）；Independent Researcher（独立研究员）
针对线性注意力在长序列推荐中因重复行为模式导致的语义状态沉没问题，提出SinkRec混合记忆-循环架构，通过残差向量量化外部化重复模式，并设计TDGD模块净化读写过程，在保持线性时间效率的同时提升推荐效果。
2026-06-03 cs.LG
Low Precision RNNs: Quantizing RNNs Without Losing Accuracy
Intel Corporation（英特尔公司）
类似于卷积神经网络，递归神经网络（RNN）通常遭受过度参数化。量化权重和激活的位宽可以提高硬件的运行效率，但通常会以降低精度为代价。本文提出了一种量化方法，增加模型的大小与位宽减少。这种方法将允许网络在其基线精度上执行，同时仍然保持降低精度和整体模型大小减小的好处。
2017-10-20 cs.AI cs.LG stat.ML
E-RNN: Design Optimization for Efficient Recurrent Neural Networks in FPGAs
Syracuse University（雪城大学）；Northeastern University（东北大学）；Florida International University（佛罗里达国际大学）；University of Southern California（南加利福尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）；SUNY University at Buffalo（纽约州立大学布法罗分校）
循环神经网络（RNN）对于需要高效和实时实现的时间序列相关应用变得越来越重要。两种主要类型是长短期记忆（LSTM）和门控递归单元（GRU）网络。由于对不精确积累的高度敏感性和特殊激活函数实现的要求，具有实时，高效和准确的硬件RNN实现是一项具有挑战性的任务。现有工作的一个关键限制是缺乏RNN模型和硬件实现的系统设计优化框架，特别是当块大小（或压缩比）应该与RNN类型，层大小等联合优化。在本文中，我们采用基于块循环矩阵的框架，提出了一种高效RNN（E-RNN）框架，用于自动语音识别（ASR）应用的FPGA实现。总体目标是在精度要求下提高性能/能效。我们使用交替方向乘法器（ADMM）技术进行更准确的块循环训练，并提出了两个设计探索，为块大小和减少RNN训练试验提供指导。基于这两个观察结果，我们将E-RNN分解为两个阶段：第一阶段确定RNN模型，以减少精度要求的计算和存储，第二阶段给出RNN模型的硬件实现，包括处理元件设计/优化，量化，激活实现，在实际FPGA部署上的实验结果表明，与ESE相比，E-RNN实现了37.4 $\times$的最大能量效率改进，与C-LSTM相比，在相同的精度下，$\times$的个数要多2个$\times$。
2018-12-12 cs.CV cs.LG eess.SP
Compression of Deep Learning Models for Text: A Survey
Microsoft（微软）
近年来，自然语言处理（NLP）和信息检索（IR）领域取得了巨大的进步，这要归功于深度学习模型，如递归神经网络（RNN），门控递归单元（GRU）和长短期记忆（LSTM）网络，以及基于Transformer [120]的模型，如来自Transformers的双向编码器表示（BERT）[24]，生成预训练Transformer（GPT-2）[94]，多任务深度神经网络（MT-DNN）[73]，超长网络（XLNet）[134]，文本到文本传输Transformer（T5）[95]，T-NLG [98]和GShard [63]。但这些模型都是巨大的。另一方面，现实世界的应用程序需要小的模型大小，低响应时间和低计算功率瓦数。在这项调查中，我们讨论了六种不同类型的方法，（修剪、量化、知识蒸馏、参数共享、张量分解和基于次二次Transformer的方法）来压缩这些模型，使其能够部署在实际的工业NLP项目中。鉴于构建具有高效和小型模型的应用程序的迫切需求，以及最近在该领域发表的大量工作，我们相信，这份调查整理了过去几年“NLP的深度学习”社区所做的大量工作，并将其作为一个连贯的故事呈现出来。
2021-06-13 cs.AI cs.CL cs.CV
Computational Complexity Evaluation of Neural Network Applications in Signal Processing
Aston Institute of Photonic Technologies, Aston University（阿斯顿大学阿斯顿光子技术研究所）；Infinera R&D（Infinera研发中心）；Infinera Unipessoal, Lda（Infinera独资有限责任公司）
本研究提出评估数字信号处理中神经网络层计算复杂度的系统方法，关联四项软硬件复杂度指标，新增面向异构量化的NABS指标，为实时信号处理场景的复杂度估算提供统一基准。
2024-03-10 cs.CC cs.LG eess.SP
Neural Networks Compression for Language Modeling
Samsung R&D Institute Rus（三星俄罗斯研发中心）；National Research University Higher School of Economics（国立研究型高等经济学院）
在本文中，我们考虑了几种压缩技术的语言建模问题的基础上循环神经网络（RNNs）。众所周知，传统的RNN，例如语言建模中基于LSTM的网络，具有高空间复杂度或大量推理时间的特征。这个问题对于移动应用程序尤其重要，因为在移动应用程序中，与远程服务器的持续交互是不合适的。通过使用Penn Treebank（PTB）数据集，我们比较了LSTM网络的修剪，量化，低秩因子分解，张量训练分解的模型大小和快速推理的适用性。
2017-08-20 cs.CL cs.LG cs.NE
Artificial neural networks condensation: A strategy to facilitate adaption of machine learning in medical settings by reducing computational burden
Computer Science and Artificial Intelligence Laboratory, MIT（麻省理工学院计算机科学与人工智能实验室）；Department of Nuclear Science and Engineering, MIT（麻省理工学院核科学与工程系）；Harvard Medical School（哈佛医学院）；Boston Children’s Hospital（波士顿儿童医院）；Department of Physics, MIT（麻省理工学院物理系）
医疗保健领域的机器学习（ML）应用可以对人们的生活产生重大影响，帮助为有需要的人提供更好、更及时的治疗。同时，医疗数据通常是大而稀疏的，需要重要的计算资源。虽然在发达国家广泛采用ML工具可能不是问题，但在第三世界国家，计算资源的可用性非常有限。这可以防止不受欢迎的人从医疗保健ML应用的进步中受益。在这个项目中，我们探索了提高ML算法计算效率的方法，特别是人工神经网络（NN），同时不影响预测结果的准确性。我们使用基于MIMIC III公开数据集的住院死亡率预测作为我们的病例分析。我们探索了两种不同的NN架构上的三种方法。我们通过对“未使用”的神经元进行修剪来减小递归神经网络（RNN）和密集神经网络（DNN）的大小。此外，我们通过向LSTM单元添加隐藏层来修改RNN结构，从而允许为模型使用更少的递归层。最后，我们在DNN上实现量化，迫使权重为8位而不是32位。我们发现，我们所有的方法都提高了计算效率，而不影响精度，其中一些甚至比预压缩基线模型实现了更高的精度。
2018-12-23 cs.AI cs.LG stat.ML
Characterizing and Understanding the Behavior of Quantized Models for Reliable Deployment
University of Luxembourg（卢森堡大学）；Singapore Management University（新加坡管理大学）
在过去的几十年里，深度神经网络（DNN）由于其在不同应用中的惊人性能而受到了相当大的关注，例如自然语言建模，自动驾驶辅助和源代码理解。随着快速探索，越来越多复杂的DNN架构以及庞大的预训练模型参数被提出。在用户友好的设备（例如，移动电话）在部署之前执行模型压缩。然而，最近的研究已经证明，模型压缩，例如，模型量化，产生精度下降，以及输出不一致时，测试看不见的数据。由于不可见数据往往包含分布偏移，且经常出现在野外，量化模型的质量和可靠性得不到保证。在本文中，我们进行了全面的研究，以表征和帮助用户理解量化模型的行为。我们的研究考虑了从图像到文本的4个数据集，8个DNN架构，包括前馈神经网络和递归神经网络，以及42个具有合成和自然分布偏移的偏移集。结果表明：（1）有分布偏移的数据比无分布偏移的数据发生更多的不一致。2)量化感知训练可以产生比标准，对抗和混合训练更稳定的模型。3)分歧通常具有更接近的前1和前2输出概率，并且$Margin$是比其他不确定性度量更好的区分分歧的指示器。4)有分歧的再培训在消除分歧方面效率有限。我们开源了我们的代码和模型，作为进一步研究量化模型的新基准。
2022-04-08 cs.AI cs.LG cs.SE
Accelerator-Aware Training for Transducer-Based Speech Recognition
Amazon（亚马逊）
提出一种加速器感知训练方法，在训练阶段模拟NNA低精度算子，应用于RNN-T语音识别，在270K小时英语数据上实现5-7%延迟改进并节省最多10%的WER相对退化。
2023-05-12 cs.LG
AdaComp : Adaptive Residual Gradient Compression for Data-Parallel Distributed Training
IBM Research AI（IBM人工智能研究院）
深度神经网络（DNN）在未来计算平台（提供100 TeraOps/s的计算能力）上的高度分布式训练预计将受到严重的通信约束。为了克服这一限制，需要新的梯度压缩技术，这些技术在计算上是友好的，适用于深度神经网络中看到的各种各样的层，并适应网络架构及其超参数的变化。在本文中，我们介绍了一种新的技术-自适应残差梯度压缩（AdaComp）计划。AdaComp基于梯度残差的局部选择，并根据局部活动自动调整压缩率。我们在多个领域（视觉，语音，语言），数据集（MNIST，CIFAR 10，ImageNet，BN 50，Shakespeare），优化器（SGD with momentum，Adam）和网络参数（学习者数量，minibatch-size等）的各种最先进的深度学习模型上展示了出色的结果。利用稀疏性和量化，我们证明了全连接和递归层的端到端压缩率约为200倍，卷积层约为40倍，模型精度没有任何明显的下降。
2017-12-07 cs.LG stat.ML
CREW: Computation Reuse and Efficient Weight Storage for Hardware-accelerated MLPs and RNNs
深度神经网络（DNN）在认知应用方面取得了巨大的成功。DNN中的核心操作是量化输入和权重之间的点积。先前的工作利用由于量化而产生的权重/输入重复来避免卷积神经网络（CNN）中的冗余计算。然而，在本文中，我们表明，当应用于最先进的DNN中常用的全连接（FC）层时，它们的有效性受到严重限制，就像现代递归神经网络（RNN）和Transformer模型一样。为了提高FC计算的能量效率，我们提出了CREW，一个硬件加速器，实现计算重用和有效的权重存储机制，以利用FC层中大量的重复权重。CREW首先将唯一权重乘以其各自的输入，并将结果存储在片内缓冲器中。存储要求是适度的，因为与卷积层相比，唯一权重的数量很少，输入的大小相对较小。接下来，CREW通过获取和添加所需的产品来计算每个输出。为此，每个权重都由唯一产品缓冲区中的索引离线替换。索引通常小于量化权重，因为每个输入的唯一权重的数量往往远低于量化权重的范围，这降低了存储和内存带宽要求。总的来说，CREW大大减少了乘法的数量，并在模型内存占用和内存带宽使用方面提供了显著的节省。我们在一组不同的现代DNN上评估CREW。平均而言，CREW提供了2.61倍的加速比和2.42倍的节能比。与最先进的计算重用技术UCNN相比，CREW平均实现了2.10倍的加速和2.08倍的节能。
2022-03-11 cs.AR cs.LG
An Overview of Neural Network Compression
University of Liverpool（利物浦大学）
经过收敛训练的超参数化网络在计算机视觉和自然语言处理等领域表现出令人印象深刻的性能。在这些领域中推动最先进的任务，对应于这些模型变得越来越大，机器学习从业者越来越难以使用，因为内存和存储需求不断增加，更不用说更大的碳足迹了。因此，近年来，模型压缩技术出现了复苏，特别是对于深度卷积神经网络和基于自注意力的网络，如Transformer。因此，本文及时概述了用于深度神经网络的新旧压缩技术，包括修剪、量化、张量分解、知识蒸馏及其组合。我们假设基本熟悉深度学习架构\footnote{For an introduction to deep learning, see ~\citet{goodfellow2016deep}}，即循环神经网络~ \citep [（RNNs）][]{rumelhart 1985 learning，hochreiter 1997 long}，卷积神经网络~ \citep{fukushima1980neocognitron} ~ \footnote{For an up to date overview see~\citet{khan2019survey}}和基于自我注意力的网络~ \citep{vaswani2017attention} \footnote{For a general overview of self-attention networks, see ~…
2020-08-01 cs.LG stat.ML
FINN-L: Library Extensions and Design Trade-off Analysis for Variable Precision LSTM Networks on FPGAs
University of Kaiserslautern（凯泽斯劳滕大学）；Xilinx Research Labs（赛灵思研究院）
众所周知，许多类型的人工神经网络，包括递归网络，即使在低精度权重和激活的情况下也可以实现高分类精度。精度的降低通常在硬件成本、存储器要求、能量和可实现的吞吐量方面产生更有效的硬件实现。在本文中，我们提出了第一个系统的探索，这个设计空间作为双向长短期记忆（BiLSTM）神经网络的精度的函数。具体而言，我们使用完全硬件感知的训练流程对精度与准确度进行了深入研究，其中在训练过程中，考虑了网络的所有方面的量化，包括权重，输入，输出和存储单元激活。此外，硬件资源成本，功耗和吞吐量的可扩展性作为基于FPGA的BiLSTM实现的精度的函数，以及并行化硬件的多种方法进行了探讨。我们为FPGA上LSTM层的可参数化硬件架构提供了FINN的第一个开源HLS库扩展，它提供了完全的精度灵活性，并允许参数化性能扩展，在架构内提供不同级别的并行性。基于此库，我们提出了一个基于FPGA的BiLSTM神经网络加速器，该加速器专为光学字符识别设计，以及在给定设计空间内Zynq UltraScale+ XCZU7EV MPSoC的许多其他实验证明。
2018-07-11 cs.AR cs.CV cs.LG
A holistic approach to polyphonic music transcription with neural networks
U.I. for Computing Research（计算研究所）；University of Alicante（阿利坎特大学）
我们提出了一个基于神经网络的框架，以端到端的方式直接从复调音频中提取乐谱。大多数先前的自动音乐转录（AMT）方法寻求音高的钢琴滚动表示，其可以通过结合速度估计、节拍跟踪、键估计或节奏量化来进一步转换成乐谱。与这些方法不同的是，我们的方法直接从输入音频中生成音乐符号。为此，我们使用卷积递归神经网络（CRNN）与连接主义时间分类（CTC）损失函数，它不需要注释的音频帧与分数节奏信息的对齐。我们使用海顿，莫扎特和贝多芬的弦乐四重奏和巴赫的合唱曲作为输入训练我们的模型，这些合唱曲是用不同的节奏和表现力来合成的。输出是基于 **kern格式的四声部乐谱的文本表示。虽然所提出的方法是在一个简化的情况下进行评估，结果表明，该模型可以学习直接从音频信号转录分数，打开了一个有前途的途径走向完整的AMT。
2019-10-26 cs.LG cs.SD eess.AS
BEP: A Binary Error Propagation Algorithm for Binary Neural Networks Training
Department of Electronics, Information and Bioengineering, Politecnico di Milano（电子、信息与生物工程系，米兰理工学院）；Faculty of Informatics and IDSIA, Università della Svizzera italiana（信息学院和IDSIA，瑞士大学）；Department of Computing Sciences and BIDSA, Bocconi University（计算科学系和BIDSA，博科尼大学）
BEP是一种用于二进制神经网络训练的二进制误差传播算法，实现了端到端的二进制训练，提升了多层感知机和循环神经网络的测试准确率。
2026-02-17 cond-mat.dis-nn cs.AI cs.LG
From Compression to Deployment: Real-Time and Energy-Efficient FastGRNN on Ultra-Constrained Microcontrollers
Electronics Engineer Independent Researcher, Izmir, Turkey
针对超受限微控制器，提出端到端开源FastGRNN压缩部署方案，结合低秩分解、稀疏化和量化，在8位和16位MCU上实现实时50Hz推理，模型仅566字节权重，F1达0.918，并贡献了跨平台确定性推理、循环预热延迟、无乘法器查找表和硬件能耗分析。
2026-06-17 cs.AR cs.LG cs.NE
TinyLSTMs: Efficient Neural Speech Enhancement for Hearing Aids
Arm（Arm公司）；Bose（Bose公司）
现代语音增强算法通过使用大型递归神经网络（RNN）实现了显著的噪声抑制。然而，大型RNN限制了助听器硬件（HW）形状因子的实际部署，这些硬件是电池供电的，并且在具有有限存储容量和计算能力的资源受限的微控制器单元（MCU）上运行。在这项工作中，我们使用模型压缩技术来弥合这一差距。我们定义了HW对RNN施加的约束，并描述了满足这些约束的方法。尽管模型压缩技术是一个活跃的研究领域，但我们是第一个使用权重/激活的修剪和整数量化来证明其对RNN语音增强的功效的。我们还演示了状态更新跳过，这减少了计算负载。最后，我们对压缩模型进行感知评估，以验证人类评分员的音频质量。结果显示，与压缩模型的基线相比，模型大小和操作分别减少了11.9 $\times$和2.9 $\times$，在收听偏好方面没有统计学差异，仅表现出0.55 dB SDR的损失。我们的模型实现了2.39毫秒的计算延迟，以及在10毫秒的目标和351 $\times$比以前的工作更好。
2020-05-20 cs.LG cs.SD eess.AS
Event-Driven Language Models with Sparse Neural Activity for Neuromorphic Hardware
Aarhus University（奥胡斯大学）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）；Harvard University（哈佛大学）；University of Southern Denmark（南丹麦大学）
该研究针对Transformer大语言模型推理的内存与计算瓶颈，提出在重度量化线性注意力模型中引入稀疏神经活动的方法，可提升神经形态平台的LLM部署性能，实现吞吐量与功耗的显著优化。
2026-09-01 cs.LG cs.NE
