Accelerating Inference and Language Model Fusion of Recurrent Neural Network Transducers via End-to-End 4-bit Quantization
IBM Research(IBM研究院)
我们报告了积极的量化策略,大大加快了循环神经网络传感器(RNN-T)的推理。我们使用4位整数表示权值和激活,并应用量化感知训练(QAT)来重新训练完整模型(声学编码器和语言模型),并实现近等精度。我们表明,定制的量化方案,是针对网络的本地属性是必不可少的,以实现良好的性能,同时限制QAT的计算开销。密度比语言模型融合在RNN-T工作负载上显示出显着的准确性增益,但它严重增加了推理的计算成本。我们表明,我们的量化策略,使使用大波束宽度的假设搜索,同时实现流兼容的运行时和全模型压缩比为7.6 $\times$相比,全精度模型。通过硬件模拟,我们估计从FP 16到INT 4的端到端量化RNN-T(包括LM融合)的$\times$加速为3.4,导致实时的因子(RTF)为0.06。在NIST Hub 5 2000、Hub 5 2001和RT-03测试集上,我们保留了与LM融合相关的大部分增益,将平均WER提高了$>$ 1.5%。
2022-06-16 cs.CL cs.LG cs.SD
Non-normal Recurrent Neural Network (nnRNN): learning long time dependencies while improving expressivity with transient dynamics
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Ecole Polytechnique de Montréal(蒙特利尔高等理工学院)
最近的一种策略是将循环连接矩阵约束为正交或酉矩阵,以规避RNN中的梯度爆炸和消失问题,并允许信号在长时间尺度上稳定传播。这确保了具有单位范数的特征值,从而确保了稳定的动态和训练。然而,由于正交变换的种类有限,这是以降低表现力为代价的。我们提出了一种新的连接结构的基础上的舒尔分解和分裂的舒尔形式成正常和非正常的部分。这允许参数化矩阵的单位范数特征谱没有正交约束的特征基。由此产生的架构,确保访问一个更大的空间谱约束矩阵,其中正交矩阵的子集。这一关键差异保留了正交RNN的稳定性优势和训练速度,同时增强了表达能力,特别是在需要对正在进行的输入序列进行计算的任务上。
2019-10-28 cs.AI cs.LG stat.ML
OstQuant: Refining Large Language Model Quantization with Orthogonal and Scaling Transformations for Better Distribution Fitting
Houmo AI;Nanjing University(南京大学);Southeast University(东南大学)
本文提出OSTQuant方法,通过正交和缩放变换优化量化空间分布,并引入QSUR指标和KL-Top损失,在多种LLM基准上提升量化性能,显著缩小精度差距。
2025-01-23 cs.AI cs.LG
TORQ: Two-Level Orthogonal Rotation for MXFP4 Quantization
Open Compute Project(开放计算项目)
本文提出TORQ框架,通过优化坐标变换重塑激活空间的几何属性,解决MXFP4激活量化中的精度下降问题,显著提升量化精度。
2026-05-19 cs.AI cs.LG
GoQuant: Geometric Orthogonal Residual Projection for Multiplier-Free Power-of-Two Transformer Quantization
Information Systems Technology and Design(信息系统技术与设计);Singapore University of Technology and Design(新加坡科技设计大学);Institute of High Performance Computing (IHPC)(高性能计算研究所);Agency for Science, Technology and Research (A*STAR)(科技研究局)
针对低比特量化中二次幂格式的低角度分辨率问题,提出几何正交残差投影量化(GoQuant),通过双基几何投影和移位加操作合成高分辨率残差格点,实现硬件高效且无需乘法器的量化方法。
2026-07-29 cs.AI cs.LG
Training Integer-Only Deep Recurrent Neural Networks
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Polytechnique Montreal(蒙特利尔理工学院);McGill University(麦吉尔大学)
循环神经网络(RNN)是许多文本和语音应用的基础。这些架构通常由几个计算复杂的组件组成,例如:非线性激活函数,归一化,双向依赖和注意力。为了保持良好的精度,这些组件经常使用全精度浮点计算运行,这使得它们速度缓慢,效率低下,难以在边缘设备上部署。此外,这些操作的复杂性质使得它们具有挑战性,使用标准量化方法进行量化而不会显着降低性能。我们提出了一种量化感知训练方法,用于获得高度准确的仅整数递归神经网络(iRNN)。我们的方法支持层归一化,注意力和激活函数的自适应分段线性(PWL)近似,以服务于各种最先进的RNN。所提出的方法使基于RNN的语言模型能够在边缘设备上运行,在运行时具有$2\times$改进,并在模型大小上减小$4\times$,同时保持与其全精度对应物相似的准确性。
2022-12-22 cs.CL cs.LG
On the biological plausibility of orthogonal initialisation for solving gradient instability in deep neural networks
King’s College London(伦敦国王学院)
用正交矩阵初始化人工神经网络(ANN)的突触权重可以缓解梯度消失和梯度爆炸问题。反对这种初始化方案的一个主要反对意见是,它们被认为是生物学上不可信的,因为它们要求的因子分解技术很难归因于神经生物学过程。本文提出了两种初始化方案,允许网络自然地发展其权重以形成正交矩阵,提供了理论分析,预训练正交化总是收敛的,并从经验上证实了所提出的方案优于随机初始化的递归和前馈网络。
2022-10-27 cs.AI cs.LG cs.NE
PTQ4SNN: Membrane-Aware Post-Training Quantization for Spiking Neural Networks
PTQ4SNN是一种仅用小型校准集联合量化SNN权重与循环膜状态的感知膜后训练量化框架,可在无需重训骨干网络的情况下,于W4量化和约4位膜精度下保持模型准确率。
2026-09-23 cs.AI
TWLA: Achieving Ternary Weights and Low-Bit Activations for LLMs via Post-Training Quantization
University of Science and Technology of China(中国科学技术大学)
提出TWLA框架,通过后训练量化实现1.58位权重和4位激活,解决激活分布长尾问题,加速推理。
2026-06-15 cs.AI cs.LG
Accelerating RNN-based Speech Enhancement on a Multi-Core MCU with Mixed FP16-INT8 Post-Training Quantization
Universita’ di Bologna(博洛尼亚大学);Greenwaves Technologies(绿波科技)
本文提出了一种优化方法,用于在最先进的微控制器单元(MCU)上设计和部署基于循环神经网络(RNN)的语音增强(SE)算法,该MCU具有1+8个通用RISC-V核心。为了实现低延迟执行,我们提出了一种优化的软件流水线,交错并行计算LSTM或GRU递归块,具有矢量化的8位整数(INT 8)和16位浮点(FP 16)计算单元,手动管理模型参数的内存传输。为了确保相对于全精度模型的最小精度下降,我们提出了一种新的FP 16-INT 8混合精度训练后量化(PTQ)方案,该方案将递归层压缩到8位,而其余层的位精度保持为FP 16。实验在Valentini数据集上训练的多个基于LSTM和GRU的SE模型上进行,具有多达124万个参数。由于所提出的方法,相对于无损FP 16基线,我们将计算速度提高了4倍。与PESQ分数平均降低0.3的均匀8位量化相比,混合精度PTQ方案导致仅0.06的低降级,同时实现1.4- 1.7倍的内存节省。得益于这种压缩,我们通过将大模型安装在有限的片上非易失性存储器上来降低外部存储器的功耗成本,并通过将电源电压从0.8V降低到0.65V来实现高达2.5倍的MCU功耗节省,同时仍符合实时限制。我们的设计比部署在单核MCU上的最先进的SE解决方案高出10倍的能效,这些解决方案使用更小的模型和量化感知训练。
2022-10-14 cs.LG cs.SD cs.SY
iRNN: Integer-only Recurrent Neural Network
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
递归神经网络(RNN)用于许多现实世界的文本和语音应用。它们包括复杂的模块,如递归、基于指数的激活、门交互、展开归一化、双向依赖和注意力。这些元素之间的交互防止在仅整数操作上运行它们而不会显著降低性能。部署包括层归一化和只关注整数运算的RNN仍然是一个悬而未决的问题。我们提出了一种量化感知训练方法,用于获得高度准确的仅整数循环神经网络(iRNN)。我们的方法支持层归一化、注意力和自适应分段线性近似激活(PWL),以在各种应用中为各种RNN提供服务。所提出的方法被证明适用于基于RNN的语言模型,并具有挑战性的自动语音识别,使AI应用程序处于边缘。我们的iRNN保持与其全精度对应物相似的性能,它们在智能手机上的部署将运行时性能提高了$2\times$,并将模型大小减少了$4\times$。
2022-02-14 cs.LG cs.NE
Entangled Residual Mappings
Massachusetts Institute of Technology(麻省理工学院);Institute of Science and Technology Austria(奥地利科学技术研究所);Technische Universität Wien(维也纳工业大学)
残差映射已被证明在第一层中执行表示学习,并在更高层中执行迭代特征细化。这种相互作用,加上它们对梯度范数的稳定作用,使它们能够训练非常深的网络。在本文中,我们更进一步,引入纠缠剩余映射来推广剩余连接的结构,并评估它们在迭代学习表示中的作用。纠缠残差映射用专门的纠缠映射(例如与恒等映射共享关键属性(特征值、结构和雅可比范数)的正交、稀疏和结构相关矩阵)替换恒等跳跃连接。我们表明,虽然纠缠映射可以在各种深度模型中保持特征的迭代细化,但它们对卷积网络中的表示学习过程的影响与基于注意力的模型和递归神经网络不同。一般来说,我们发现对于CNN和视觉Transformer,纠缠稀疏映射可以帮助泛化,而正交映射会损害性能。对于递归网络,正交残差映射形成了时变序列的归纳偏差,这降低了时不变任务的准确性。
2022-06-02 cs.AI cs.LG cs.NE
Sub-8-Bit Quantization Aware Training for 8-Bit Neural Network Accelerator with On-Device Speech Recognition
Alexa AI, Amazon(亚马逊Alexa人工智能部门);Hardware Compute Group, Amazon(亚马逊硬件计算组)
我们提出了一种新的子8位量化感知训练(S8 BQAT)方案,用于8位神经网络加速器。我们的方法的灵感来自于PMD-Max压缩理论,并在训练过程中针对可行的计算开销进行了实际调整。通过从32位基线导出的量化质心,我们使用多区域绝对余弦(MRACos)正则化器来增加训练损失,该正则化器将权重聚合到其最近的质心,有效地充当伪压缩器。此外,引入了一个周期性调用的硬压缩器,通过模拟运行时模型权重量化来提高收敛速度。我们使用递归神经网络转换器(RNN-T)架构将S8 BQAT应用于语音识别任务。使用S8 BQAT,我们能够增加模型参数大小,从而将字错误率相对降低4-16%,同时仍将延迟提高5%。
2022-06-30 cs.AI eess.AS eess.SP
Memristive-Friendly Hadamard Reservoir Computing: Structured, Multiplier-Free Recurrences at Scale
University of Pisa(比萨大学);Istituto Nazionale di Ricerca Metrologica (INRiM)(国家计量研究院);Politecnico di Torino(都灵理工大学)
本文提出适配忆阻器的结构化无乘法器哈达玛储备池计算,以正交算子替代密集矩阵,在多硬件平台及27个基准测试中验证其性能,实现了高速低内存的规模化储备池计算。
2026-08-31 cs.AI
DFRot: Achieving Outlier-Free and Massive Activation-Free for Rotated LLMs with Refined Rotation
New York University(纽约大学)
DFRot通过加权损失函数和正交Procrustes变换优化旋转矩阵,解决LLMs中罕见token的海量激活问题,实现无异常值和无海量激活的双重自由,显著提升低精度量化下的模型准确率。
2025-07-15 cs.LG stat.ML
Real-Time Plasma State Prediction via FPGA-Accelerated Quantized Recurrent Probabilistic Neural Networks
Carnegie Mellon University(卡内基梅隆大学);Columbia University(哥伦比亚大学);Georgia Institute of Technology(佐治亚理工学院)
针对托卡马克等离子体控制系统的实时延迟挑战,提出基于FPGA的量化递归概率神经网络端到端部署流程,实现亚10微秒延迟并满足资源预算。
2026-09-22 cs.LG physics.plasm-ph
Quantized Context Based LIF Neurons for Recurrent Spiking Neural Networks in 45nm
University of California, Santa Barbara(加州大学圣巴巴拉分校)
本研究首次在45nm硬件上实现了基于上下文的循环脉冲神经网络,提出量化版CLIF神经元(qCLIF),通过软硬件协同设计在保持90%准确率的同时实现了高扩展性和面积效率。
2024-04-28 cs.AI cs.AR cs.CV
Lindblad-Inspired Multi-Timescale Reservoir Computing with Separable Rotation and Dissipation
IKS Research Centre(IKS研究中心);ISS(印度统计研究所);Indian Institute of Technology Mandi(印度理工学院曼迪分校)
该研究提出受林德布拉德启发的多时间尺度储备池计算方法,通过分离旋转与耗散实现模态控制与稳定性保证,在多项时序任务基准测试中表现优异,为可解释循环架构提供了新方案。
2026-08-06 cs.AI cs.ET cs.LG
Sub-8-bit quantization for on-device speech recognition: a regularization-free approach
Amazon Alexa AI(亚马逊Alexa人工智能部门)
对于设备上自动语音识别(ASR),量化感知训练(QAT)是普遍存在的,以实现模型预测性能和效率之间的权衡。在现有的QAT方法中,一个主要的缺点是量化质心必须是预定的和固定的。为了克服这一限制,我们引入了一个正则化的自由,“软到硬”的压缩机制与自我可调的质心在μ律约束的空间,从而在一个更简单,但更通用的量化方案,称为通用量化器(GQ)。我们在LibriSpeech和去识别远场数据集上使用递归神经网络转换器(RNN-T)和Conformer架构将GQ应用于ASR任务。在不降低精度的情况下,GQ可以将RNN-T和Conformer压缩到8位以下,对于某些RNN-T层,可以压缩到1位,以实现快速准确的推理。通过物理设备基准测试,我们观察到与8位QAT相比,内存占用节省了30.73%,用户感知的延迟减少了31.75%。
2022-11-01 cs.LG cs.SD eess.AS
Towards a tailored mixed-precision sub-8-bit quantization scheme for Gated Recurrent Units using Genetic Algorithms
Technical University of Denmark(丹麦技术大学);GN Audio(GN音频公司)
针对GRU亚8比特量化难调优的问题,提出算子比特宽独立可选的模块化整数量化方案,用遗传算法搜索最优比特宽组合,在四个序列任务上实现25%-55%模型压缩且精度媲美8比特均匀量化。
2024-03-08 cs.LG cs.NE eess.SP
Compressing Recurrent Neural Networks for FPGA-accelerated Implementation in Fluorescence Lifetime Imaging
Center for Modeling, Simulation, & Imaging in Medicine(医学建模、仿真与成像中心);Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM T.J. Watson Research Center(IBM TJ·沃森研究中心)
本文针对 FLI 实时分析在 FPGA 上部署 RNN 的资源限制,评估权重缩减、KD、PTQ 与 QAT,提出 Seq2SeqLite,在 8 位精度下以 98% 参数压缩保持性能。
2024-10-01 cs.LG eess.IV q-bio.QM
LoaQ: Layer-wise Output Approximation Quantization
Wangxuan Institute of Computer Technology, Peking University(计算机技术研究所,北京大学)
LoaQ通过引入输出匹配因素,改进了基于层级的后训练量化方法,提升了模型量化质量并具有简洁的闭式解。
2026-01-27 cs.LG
On orthogonality and learning recurrent networks with long term dependencies
École Polytechnique de Montréal(蒙特利尔理工学院);Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所);CHUM Research Center(蒙特利尔大学医学中心研究中心)
众所周知,针对表现出长期依赖性的任务来训练深度神经网络和递归神经网络是具有挑战性的。消失或爆炸梯度问题是与这些挑战相关联的众所周知的问题。解决消失和爆炸梯度的一种方法是对权重矩阵使用软约束或硬约束,以便鼓励或加强正交性。正交矩阵在反向传播过程中保持梯度范数,因此可能是一个理想的属性。本文探讨的问题与优化收敛,速度和梯度稳定性时,鼓励或强制正交。为了进行这种分析,我们提出了一个权重矩阵分解和参数化策略,通过它我们可以约束矩阵范数,从而控制反向传播过程中引起的膨胀度。我们发现,正交性的硬约束会对收敛速度和模型性能产生负面影响。
2017-10-12 cs.LG cs.NE
Fixed-Point Performance Analysis of Recurrent Neural Networks
Seoul National University(首尔国立大学)
循环神经网络在许多应用中已经显示出优异的性能,然而它们在基于硬件或软件的实现中需要增加的复杂性。通过最小化权值和信号的字长,可以大大降低硬件复杂度。本文分析了使用基于再训练的量化方法的循环神经网络的定点性能。研究了RNN各层的量化敏感性,给出了在不牺牲性能的前提下,最小化权容量的整体定点优化结果。使用了一个语言模型和一个音素识别实例。
2016-09-27 cs.LG cs.NE
Gated Orthogonal Recurrent Units: On Learning to Forget
Massachusetts Institute of Technology(麻省理工学院);MILA - Universite de Montreal(蒙特利尔大学MILA)
我们提出了一种新的基于递归神经网络(RNN)的模型,该模型将酉RNN的记忆能力与门控RNN有效忘记其记忆中冗余/不相关信息的能力相结合。我们通过使用门控机制扩展酉RNN来实现这一点。我们的模型能够在几个长期依赖基准任务上优于LSTM,GRU和酉RNN。我们的经验都表明,正交/酉RNN缺乏遗忘能力,并且在遗忘不相关信息的同时,RNN也缺乏记住长期依赖关系的能力。这在递归神经网络中起着重要作用。我们提供了有竞争力的结果,以及我们的模型在许多自然的顺序任务,包括bAbI问答,TIMIT语音频谱预测,宾州树库,和合成任务,涉及长期的依赖关系,如算法,括号,去噪和复制任务的分析。
2017-10-25 cs.LG cs.NE stat.ML
Recurrent Orthogonal Networks and Long-Memory Tasks
New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院)
尽管RNN已被证明是处理序列数据的强大工具,但寻找允许它们对非常长期的依赖关系进行建模的架构或优化策略仍然是一个活跃的研究领域。在这项工作中,我们仔细分析了最初在(Hochreiter和Schmidhuber,1997)中概述的两个合成数据集,这些数据集用于评估RNN在多个时间步长上存储信息的能力。我们明确地构建了这些问题的RNN解决方案,并使用这些结构,阐明了问题本身以及RNN在其隐藏状态中存储不同类型信息的方式。这些结构进一步解释了最近的方法,指定酉初始化或限制的过渡矩阵的成功。
2017-03-15 cs.AI cs.LG cs.NE
Improved memory in recurrent neural networks with sequential non-normal dynamics
New York University(纽约大学);Rice University(莱斯大学);Baylor College of Medicine(贝勒医学院)
训练循环神经网络(RNN)是一个很难的问题,因为优化环境中存在退化,这个问题也被称为梯度消失/爆炸。由于没有设计新的RNN架构,以前处理这个问题的方法通常归结为在初始化或整个训练期间对递归动态进行正交化。这些方法背后的基本动机是正交变换是欧几里得空间的等距,因此它们保持(欧几里得)范数并有效地处理消失/爆炸梯度。然而,这忽略了非线性和噪声的重要影响。在存在非线性的情况下,正交变换不再保持范数,这表明替代变换可能更适合非线性网络。此外,在噪音的存在下,规范保存本身不再是理想的目标。一个更明智的目标是最大化传播信号的信噪比(SNR)。以前的工作表明,在线性情况下,最大化SNR的递归网络显示出强烈的非正态性,序列动态和正交网络是高度次优的。受这一发现的启发,我们在这里研究了非正常RNN的潜力,即具有非正常递归连接矩阵的RNN在顺序处理任务中的潜力。我们的实验结果表明,非正规RNN在各种基准测试中的表现优于正交RNN。我们还发现了在用正交递归连接矩阵初始化的训练RNN中增加非正态性和隐藏链式前馈基序的证据。
2020-02-10 cs.LG cs.NE stat.ML
Orthogonal Echo State Networks and stochastic evaluations of likelihoods
我们报告的概率似然估计的时间序列使用回声状态网络与正交经常性连接。使用具有时间推断的合成随机输入时间序列的测试结果表明,网络的推断能力取决于输入强度和经常性活动之间的平衡。这种平衡对网络的影响是关于短期输入历史的推断与解释长期影响的推断的质量。这种网络对噪声的敏感性和有限精度的网络状态的递归层进行了研究。此外,还提出了一种基于输出时间序列与水库之间互信息的测度。最后,不同类型的经常性连接进行评估。正交矩阵显示了所有研究的连接类型的最佳结果,但也显示了网络性能如何随递归层的大小而扩展。
2017-06-13 cs.NE
Norm-preserving Orthogonal Permutation Linear Unit Activation Functions (OPLU)
我们提出了一种新的激活函数,实现了基于置换的分段正交非线性映射。它实现起来很简单,计算效率很高,而且对内存的要求也很低。我们在前馈和递归网络的两个玩具问题上测试了它,它显示出与tanh和ReLU相似的性能。OPLU激活函数保证了反向传播梯度的范数一致性,因此它对深度、超深度和递归神经网络的训练有潜在的好处。
2017-01-31 cs.NE
A Symbolic Neural CPU for Quantization-Simulated Writeback and Interpretable Program Execution
Federal University of Bahia(巴伊亚联邦大学)
研究神经网络执行器状态转换不可见问题,提出符号神经CPU架构,结合多种技术实现可解释、低精度和可控神经执行,在基准测试中表现良好,消融实验明确关键因素,扩展接口建立跟踪可验证框架。
2026-07-14 cs.AI cs.AR cs.LG
Analyzing and Exploiting NARX Recurrent Neural Networks for Long-Term Dependencies
循环神经网络(RNN)在许多不同的任务上都取得了最先进的性能,从机器翻译到手术活动识别,但训练RNN捕获长期依赖性仍然很困难。到目前为止,绝大多数成功的RNN架构使用状态之间的近似加法连接来缓解这个问题,如长短期记忆(LSTM)所引入的。我们采用正交方法并引入MIST RNN,这是一种NARX RNN架构,允许从遥远的过去进行直接连接。我们发现,MIST RNN 1)与LSTM和以前提出的NARX RNN相比,具有更好的消失梯度特性; 2)比以前提出的NARX RNN架构更有效,需要的计算比LSTM更少; 3)在需要非常长期依赖关系的任务上,与LSTM和Clockwork RNN相比,性能大幅提高。
2018-04-20 cs.NE
Model compression via distillation and quantization
ETH Zürich(苏黎世联邦理工学院);Google DeepMind(谷歌DeepMind);IST Austria(奥地利科学技术研究所)
深度神经网络(DNN)继续取得重大进展,解决从图像分类到翻译或强化学习的任务。该领域受到相当大关注的一个方面是在资源受限的环境中有效地执行深度模型,例如移动或嵌入式设备。本文针对这一问题,提出了两种新的压缩方法,它们联合利用权重量化和将较大的教师网络蒸馏成较小的学生网络。我们提出的第一种方法被称为量化蒸馏,并在训练过程中利用蒸馏,通过将蒸馏损失(相对于教师表示)纳入学生网络的训练中,该网络的权重被量化到有限的一组水平。第二种方法是可微分量化,通过随机梯度下降优化量化点的位置,以更好地拟合教师模型的行为。我们通过对卷积和递归架构的实验来验证这两种方法。我们表明,量化的浅学生可以达到类似的精度水平,全精度教师模型,同时提供数量级压缩,推理加速,是线性的深度减少。总之,我们的研究结果使DNN能够在资源受限的环境中利用在更强大的设备上开发的架构和准确性进步。
2018-02-15 cs.LG cs.NE
Brain-like combination of feedforward and recurrent network components achieves prototype extraction and robust pattern recognition
联想记忆已经成为大规模递归新皮层网络计算的重要候选者。实现联想记忆的吸引子网络为许多认知现象提供了机制解释。然而,吸引子记忆模型通常使用正交或随机模式进行训练,以避免记忆之间的干扰,这使得它们对于自然发生的复杂相关刺激(如图像)不可行。我们通过将一个经常性吸引子网络与一个前馈网络相结合来解决这个问题,该网络使用无监督的Hebbian-Bayesian学习规则来学习分布式表示。由此产生的网络模型结合了许多已知的生物学特性:无监督学习,赫布可塑性,稀疏分布激活,稀疏连接,柱状和层状皮质架构等。我们评估的前馈和经常性的网络组件在复杂的模式识别任务的MNIST手写数字数据集的协同效应。我们证明,经常性吸引子组件实现联想记忆时,前馈驱动的内部(隐藏)表示训练。关联存储器还示出执行原型提取从训练数据,并使表示严重失真的输入鲁棒。我们认为,从机器学习的角度来看,前馈和经常性计算的建议整合的几个方面是特别有吸引力的。
2022-09-03 cs.NE
Recurrent Neural Networks With Limited Numerical Precision
循环神经网络(RNN)在许多机器学习任务上产生最先进的性能,但它们在内存和计算能力方面对资源的需求通常很高。因此,人们对优化使用这些模型执行的计算非常感兴趣,特别是在考虑为深度网络开发专用低功耗硬件时。减少计算需求的一种方法是限制网络权重和偏差的数值精度,这将在RNN的情况下解决。我们提出了使用不同的随机和确定性降低精度训练方法应用于两种主要RNN类型的结果,然后在三个数据集上进行测试。结果表明,随机和确定性三进制化、幂二进制化和指数量化方法产生了低精度RNN,在某些数据集上产生了类似甚至更高的精度,因此为在专用硬件中训练更有效的RNN实现提供了一条途径。
2017-02-26 cs.NE
How to Construct Deep Recurrent Neural Networks
Université de Montréal(蒙特利尔大学);Aalto University School of Science(阿尔托大学理学院)
在本文中,我们探索了将递归神经网络(RNN)扩展为\textit{deep} RNN的不同方法。首先,我们认为RNN中的深度概念并不像前馈神经网络中那样清晰。然而,通过仔细分析和理解RNN的架构,我们发现RNN的三个点可以更深入:(1)输入到隐藏函数,(2)隐藏到隐藏转换和(3)隐藏到输出函数。基于这一观察,我们提出了两种新的深度RNN架构,它们与早期堆叠多个递归层以构建深度RNN的尝试正交(Schmidhuber,1992; El Hihi和Bengio,1996)。我们使用基于神经运算符的新框架对这些深度RNN进行了另一种解释。在复调音乐预测和语言建模的任务上,对所提出的深度RNN进行了经验评估。实验结果支持了我们的观点,即所提出的深度RNN受益于深度,并且优于传统的浅RNN。
2014-04-24 cs.LG cs.NE stat.ML
Memory and Information Processing in Recurrent Neural Networks
循环神经网络(RNN)是一种简单的动力系统,其计算能力归因于其短期记忆。RNN的短期记忆以前仅在正交网络的情况下进行了分析研究,并且仅在退火近似和不相关输入下进行。在这里,我们第一次提出了一个精确的解决方案,内存容量和任务解决性能作为一个给定的网络实例的结构的函数,使RNN中的功能-结构关系的直接确定。我们计算了任意网络的记忆容量与指数相关的输入,并进一步将其与系统在监督学习设置中的信号处理任务的性能相关。我们计算的预期误差和最坏情况下的误差界作为网络的频谱和其输入和输出的相关结构的函数。我们的研究结果给出了一个解释的学习和概括的任务解决使用短期记忆,这是至关重要的建立替代计算机体系结构使用的物理现象的基础上短期记忆的原则。
2016-04-23 cs.NE