Compressing Recurrent Neural Networks Using Hierarchical Tucker Tensor Decomposition
Rutgers University(罗格斯大学);Columbia University(哥伦比亚大学)
循环神经网络(Recurrent Neural Network,RNN)在序列分析和建模中得到了广泛的应用。然而,在处理高维数据时,RNN通常需要非常大的模型大小,从而带来一系列部署挑战。虽然现有的张量分解方法可以提供良好的模型压缩性能,但这些方法仍然存在一些固有的局限性,如有限的表示能力和模型复杂度降低不足。为了克服这些限制,在本文中,我们提出使用分层塔克(HT)分解来开发紧凑的RNN模型。HT分解使分解后的RNN模型具有较强的层次结构,这对于提高RNN模型的表示能力是非常有用和重要的。同时,HT分解提供了更高的存储和计算成本降低比现有的张量分解方法的RNN压缩。我们的实验结果表明,与最先进的压缩RNN模型(如TT-LSTM,TR-LSTM和BT-LSTM)相比,我们提出的基于HT的LSTM(HT-LSTM)在不同数据集上实现了压缩比和测试精度的同时和显着提高。
2020-05-09 cs.LG stat.ML
Bayesian Compression for Natural Language Processing
National Research University Higher School of Economics(国立研究型大学高等经济学院);Samsung AI Center(三星人工智能中心)
在自然语言处理中,很多任务都是用递归神经网络成功地解决的,但是这样的模型有大量的参数。这些参数中的大多数通常集中在嵌入层中,其大小与词汇长度成比例地增长。我们提出了一种用于RNN的贝叶斯稀疏化技术,该技术允许将RNN压缩数十或数百次,而无需耗时的超参数调整。我们还推广了词汇稀疏化的模型,以过滤掉不必要的单词,并进一步压缩RNN。我们表明,保留的话的选择是可解释的。代码可以在github上找到:https://github.com/tipt0p/SparseBayesianRNN
2018-12-12 cs.CL cs.LG stat.ML
Neural Networks Compression for Language Modeling
Samsung R&D Institute Rus(三星俄罗斯研发中心);National Research University Higher School of Economics(国立研究型高等经济学院)
在本文中,我们考虑了几种压缩技术的语言建模问题的基础上循环神经网络(RNNs)。众所周知,传统的RNN,例如语言建模中基于LSTM的网络,具有高空间复杂度或大量推理时间的特征。这个问题对于移动应用程序尤其重要,因为在移动应用程序中,与远程服务器的持续交互是不合适的。通过使用Penn Treebank(PTB)数据集,我们比较了LSTM网络的修剪,量化,低秩因子分解,张量训练分解的模型大小和快速推理的适用性。
2017-08-20 cs.CL cs.LG cs.NE
Tensor train decompositions on recurrent networks
Université de Montréal(蒙特利尔大学);Huawei Noah’s Ark Research Lab(华为诺亚方舟实验室)
递归神经网络(RNN),如长短期记忆(LSTM)网络,在语音、语言、视频和多模态学习等众多日常任务中至关重要。从云计算到边缘计算的转变加剧了对RNN参数增长的需求。目前对RNN的研究表明,尽管在卷积神经网络(CNN)上获得了良好的性能,但在压缩RNN中保持良好的性能仍然是一个挑战。大多数关于压缩的文献都集中在使用矩阵乘积(MPO)算子张量序列的CNN上。然而,矩阵乘积状态(MPS)张量列车有更多的有吸引力的功能比MPO,在减少存储和计算时间的推断。我们通过对NLP任务的理论分析和实际实验表明,MPS张量训练应该处于LSTM网络压缩的最前沿。
2020-06-09 cs.LG stat.ML
MobiRNN: Efficient Recurrent Neural Network Execution on Mobile GPU
Stony Brook University(石溪大学)
在本文中,我们探索了在移动设备上本地运行循环神经网络(RNN)模型的优化方法。RNN模型广泛用于自然语言处理、机器翻译和其他任务。然而,使用RNN模型的现有移动应用程序在云上这样做。为了解决隐私和效率问题,我们展示了RNN模型如何在移动设备上本地运行。将深度学习模型移植到移动设备的现有工作集中在卷积神经网络(CNN)上,不能直接应用于RNN模型。作为回应,我们提出了一个移动特定的优化框架,专门为移动GPU实现GPU卸载。使用RNN模型进行活动识别的评估表明,RNN确实显着降低了在手机上运行RNN模型的延迟。
2017-06-03 cs.DC cs.LG cs.NE
Adversarially Robust and Explainable Model Compression with On-Device Personalization for Text Classification
Wayne State University(韦恩州立大学)
由于移动设备的计算能力不断提高以及计算机视觉(CV)、自然语言处理(NLP)和物联网(IoT)中的应用数量不断增加,设备上深度神经网络(DNN)最近获得了更多的关注。不幸的是,为CV任务设计的现有高效卷积神经网络(CNN)架构并不直接适用于NLP任务,而小型递归神经网络(RNN)架构主要是为物联网应用设计的。在NLP应用中,尽管模型压缩在设备上文本分类中取得了初步成功,但至少有三个主要挑战尚未解决:对抗鲁棒性,可解释性和个性化。在这里,我们试图通过设计一个新的训练计划,模型压缩和对抗性的鲁棒性,包括可解释的特征映射目标,知识蒸馏目标,和对抗性的鲁棒性目标的优化来解决这些挑战。通过微调使用设备上的私有训练数据来个性化所得到的压缩模型。我们进行了大量的实验,将我们的方法与紧凑的RNN(例如,FastGRNN)和压缩RNN(例如,PRADO)架构在自然和对抗性NLP测试设置。
2021-01-20 cs.LG
Dynamically Hierarchy Revolution: DirNet for Compressing Recurrent Neural Network on Mobile Devices
Arizona State University(亚利桑那州立大学);Samsung Research America(三星美国研究院)
递归神经网络(RNN)在各种问题上实现了尖端性能。然而,由于其高计算和内存需求,在资源受限的移动设备上部署RNN是一项具有挑战性的任务。为了在保证较高压缩率的同时保证最小的精度损失,并满足移动资源需求,提出了一种基于优化快速字典学习算法的模型压缩方法DirNet,该算法1)动态挖掘层内投影字典矩阵的字典原子以调整压缩率2)自适应地改变稀疏码的稀疏度.在语言模型和使用1000 h语音数据集训练的ASR模型上的实验结果表明,该方法的性能明显优于现有方法。在现成的移动设备上进行评估,我们能够将原始模型的大小减少八倍,同时具有实时模型推理和可忽略的准确性损失。
2018-06-08 cs.LG stat.ML
TODM: Train Once Deploy Many Efficient Supernet-Based RNN-T Compression For On-device ASR Models
Meta;University of Cambridge(剑桥大学)
提出TODM方法,利用Supernet共享权重并组合自适应dropout、原位Alpha散度知识蒸馏和ScaledAdam优化器,高效训练多种尺寸的设备端ASR模型,在LibriSpeech上验证其性能匹配或超越手动调优模型且训练成本恒定。
2023-11-27 cs.CL cs.LG cs.SD
Deep Neural Networks and End-to-End Learning for Audio Compression
Handong Global University(韩东国际大学)
最近在端到端深度学习方面取得的成就鼓励人们探索使用统一的深度网络模型处理高度结构化数据的任务。具有这样的用于压缩音频信号的模型是具有挑战性的,因为它需要不容易用端到端反向传播训练的离散表示。在本文中,我们提出了一种端到端的深度学习方法,该方法将递归神经网络(RNN)与变分自编码器(VAE)的训练策略结合起来,并使用潜在空间的二进制表示。我们对离散表示的伯努利分布应用重新参数化技巧,这允许平滑的反向传播。此外,我们的方法允许分离的编码器和解码器,这是必要的压缩任务。据我们所知,这是第一次使用RNN对单个音频压缩模型进行端到端学习,我们的模型实现了20.54的信号失真比(SDR)。
2021-07-13 cs.LG cs.SD eess.AS
Extracting Finite Automata from RNNs Using State Merging
Center for Data Science, NYU(纽约大学数据科学中心)
解释黑箱递归神经网络(RNN)行为的一种方法是从其中提取一个更可解释的离散计算模型,如有限状态机,以捕获其行为。在这项工作中,我们提出了一种新的方法提取有限自动机从RNN的启发状态合并范式语法推理。我们在Tomita语言基准测试中证明了我们方法的有效性,我们发现它能够从在基准测试中所有语言上训练的RNN中提取忠实的自动机。我们发现,提取性能受到提取过程中提供的数据数量的帮助,以及奇怪的是,RNN模型是否在完美学习其目标语言后进行了额外的训练。我们使用我们的方法来分析这一现象,发现超越收敛的训练是有用的,因为它会导致RNN内部状态空间的压缩。这一发现证明了我们的方法如何用于训练RNN模型的可解释性和分析。
2022-04-14 cs.LG
Approximating Stacked and Bidirectional Recurrent Architectures with the Delayed Recurrent Neural Network
Intel Labs(英特尔实验室);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
最近的工作表明,对递归神经网络(RNN)的拓扑增强可以提高其表达能力和代表能力。两种流行的增强是堆叠RNN,它增加了学习非线性函数的能力,以及双向处理,它利用序列中的因果信息。在这项工作中,我们探索了延迟RNN,这是一个单层RNN,在输入和输出之间有延迟。我们证明了延迟RNN的权重约束版本等价于堆叠RNN。我们还表明,延迟引起的部分因果关系,很像双向网络。合成实验证实,延迟RNN可以模拟双向网络,类似地解决一些因果任务,并在其他方面优于它们。此外,我们在现实世界的自然语言处理任务中表现出与双向网络相似的性能。这些结果表明,延迟RNN可以近似拓扑结构,包括堆叠RNN,双向RNN和堆叠双向RNN-但延迟RNN的运行时间相同或更快。
2020-06-18 cs.CL cs.LG cs.NE
Improved Batching Strategy For Irregular Time-Series ODE
Crater Labs(克拉特实验室)
不规则的时间序列数据在现实世界中很普遍,用简单的递归神经网络(RNN)建模具有挑战性。因此,提出了一种结合使用常微分方程(ODE)和RNN的模型(ODE-RNN),以更高的精度对不规则时间序列进行建模,但它具有较高的计算成本。在本文中,我们通过使用不同的有效策略来改进ODE-RNNs的运行时。我们的实验表明,新模型显著降低了ODE-RNN的运行时间,从2倍到49倍不等,具体取决于数据的不规则性,同时保持了相当的准确性。因此,我们的模型可以扩展到更大的不规则数据集建模。
2022-07-12 cs.LG
RTMobile: Beyond Real-Time Mobile Acceleration of RNNs for Speech Recognition
Northeastern University(东北大学);The College of William and Mary(威廉与玛丽学院);The University of Alabama(阿拉巴马大学)
基于递归神经网络(RNN)的自动语音识别如今在诸如智能电话的移动设备上变得流行。然而,以前的RNN压缩技术要么由于不规则性而遭受硬件性能开销,要么由于硬件友好性而保留的规则性而遭受显著的准确性损失。在这项工作中,我们提出了RTMobile,它利用一种新的基于块的修剪方法和编译器优化来加速移动设备上的RNN推理。我们提出的RTMobile是第一个可以在移动平台上实现实时的【形】RNN推理的工作。实验结果表明,RTMobile在推理精度和时间方面明显优于现有的RNN硬件加速方法。在保证推理时间不变的情况下,RTMobile在GRU上使用Adreno 640嵌入式GPU,与FPGA上的工作相比,可以提高约40 $\times$的能量效率。
2020-02-19 cs.LG cs.SD eess.AS
Multi-Time-Scale Input Approaches for Hourly-Scale Rainfall-Runoff Modeling based on Recurrent Neural Networks
Kumamoto University(熊本大学);Sun Yat-Sen University(中山大学)
本研究提出了两种简单而有效的方法,通过使用多时间尺度时间序列数据作为输入的递归神经网络(RNN)来减少时间序列建模训练过程所需的计算时间。一种方法并行地向RNN提供输入时间序列的粗略和精细时间分辨率。另一个是将输入时间序列数据的粗略和精细时间分辨率随时间连接起来,然后将其视为RNN的输入。在这两种方法中,首先,利用更精细的时间分辨率数据来学习目标数据的精细时间尺度行为。接下来,期望较粗糙的时间分辨率数据来捕获输入变量和目标变量之间的长期依赖性。所提出的方法是通过采用长短期记忆(LSTM)网络(这是一种较新类型的RNN)在积雪为主的流域进行小时径流建模。随后,每天和每小时的气象数据被用作输入,每小时流量流量被认为是目标数据。结果证实,这两种方法都可以显着减少RNN训练的计算时间(高达32.4倍)。此外,所提出的方法之一,提高了估计精度。
2021-11-10 cs.LG physics.ao-ph
TinyLSTMs: Efficient Neural Speech Enhancement for Hearing Aids
Arm(Arm公司);Bose(Bose公司)
现代语音增强算法通过使用大型递归神经网络(RNN)实现了显著的噪声抑制。然而,大型RNN限制了助听器硬件(HW)形状因子的实际部署,这些硬件是电池供电的,并且在具有有限存储容量和计算能力的资源受限的微控制器单元(MCU)上运行。在这项工作中,我们使用模型压缩技术来弥合这一差距。我们定义了HW对RNN施加的约束,并描述了满足这些约束的方法。尽管模型压缩技术是一个活跃的研究领域,但我们是第一个使用权重/激活的修剪和整数量化来证明其对RNN语音增强的功效的。我们还演示了状态更新跳过,这减少了计算负载。最后,我们对压缩模型进行感知评估,以验证人类评分员的音频质量。结果显示,与压缩模型的基线相比,模型大小和操作分别减少了11.9 $\times$和2.9 $\times$,在收听偏好方面没有统计学差异,仅表现出0.55 dB SDR的损失。我们的模型实现了2.39毫秒的计算延迟,以及在10毫秒的目标和351 $\times$比以前的工作更好。
2020-05-20 cs.LG cs.SD eess.AS
Tensor-Train Recurrent Neural Networks for Interpretable Multi-Way Financial Forecasting
Imperial College London(帝国理工学院)
循环神经网络(RNN)代表了序列建模的事实标准机器学习工具,这是由于它们的表达能力和记忆。然而,当处理大维度数据时,相应的参数数量的指数增加会造成计算瓶颈。需要让RNN具备处理维数灾难的能力,例如通过张量固有的参数压缩能力,这导致了Tensor-Train RNN(TT-RNN)的发展。尽管在许多应用中取得了令人鼓舞的结果,但TT-RNN的全部潜力还有待于在可解释的金融建模中进行探索,这是一项以低信噪比的多模态数据为特征的具有挑战性的任务。为了解决这个问题,我们研究了TT-RNN在货币金融预测任务中的潜力。通过对TT因子的分析,我们表明,张量分解背后的物理意义使TT-RNN模型能够帮助结果的可解释性,从而减轻了与神经网络相关的臭名昭著的“黑箱”问题。此外,仿真结果突出了TT分解的正则化能力,证明了TT-RNN优于未压缩RNN和其他张量预测方法的性能。
2021-05-11 cs.LG
Modeling Missing Data in Clinical Time Series with RNNs
University of California, San Diego(加利福尼亚大学圣迭戈分校);USC Information Sciences Institute(南加州大学信息科学研究所);Children’s Hospital LA(洛杉矶儿童医院)
我们展示了一个简单的策略,以应付丢失的数据在顺序输入,解决任务的多标签分类的诊断临床时间序列。从洛杉矶儿童医院儿科重症监护室(PICU)收集的数据,我们的数据包括多变量时间序列的观察。测量是不规则间隔的,导致在时间离散化序列中的缺失模式。虽然这些文物通常是由填补处理,我们实现了优越的预测性能,通过处理文物的功能。与线性模型不同,递归神经网络可以仅使用简单的二进制缺失指标来实现这种改进。对于线性模型,我们展示了另一种捕获此信号的策略。仅在缺失模式上训练模型,我们表明,对于某些疾病,运行的测试可以与结果本身一样具有预测性。
2016-11-11 cs.IR cs.LG cs.NE
E-BATCH: Energy-Efficient and High-Throughput RNN Batching
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
递归神经网络(RNN)推理由于跨时间步长的严格数据依赖性而表现出较低的硬件利用率。批处理多个请求可以提高吞吐量。然而,RNN排序需要大量的填充,因为批量输入序列的长度可能会有很大的不同。每隔几个时间步动态更新一次批处理的方案避免了填充。然而,它们需要在短时间内执行不同的RNN层,从而降低了能源效率。因此,我们提出了E-BATCH,这是一种为RNN加速器量身定制的低延迟和节能的并行计算方案。它包括一个运行时系统和有效的硬件支持。运行时连接多个序列以创建大的批处理,从而大大节省了能源。此外,当序列的评估完成时,加速器会通知它,以便可以立即将新序列添加到批处理中,从而大大减少填充量。E-BATCH动态控制每个批次评估的时间步长数,以实现给定硬件平台的延迟和能效之间的最佳权衡。我们在E-PUR和TPU的基础上评估E-BATCH。在E-PUR中,E-BATCH将吞吐量提高了1.8倍,能效提高了3.6倍,而在TPU中,它将吞吐量提高了2.1倍,能效提高了1.6倍。
2020-09-22 cs.AR cs.DC cs.LG
Recurrent Neural Networks in the Eye of Differential Equations
Massachusetts Institute of Technology(麻省理工学院);Google Inc.(谷歌公司);IBM Research(IBM研究院)
为了理解递归神经网络的训练稳定性、时间动态性和结构复杂性之间的基本权衡,我们使用常微分方程的数值方法直接分析了递归神经网络的结构。我们定义了一个一般的家庭的RNN-ODERNs-通过相关的RNN的组成规则,常微分方程的集成方法在离散的时间步长。我们证明了RNN的功能非线性度$n$和时间记忆范围$t$可以映射到相应的Runge-Kutta递归阶段和常微分方程的时间导数阶数。我们证明了流行的RNN架构,如LSTM和URNN,适合不同顺序的$n$ - $t$ -ODERNs。RNN和ODE之间的这种精确对应关系有助于我们建立RNN训练稳定性的充分条件,并有助于使用来自ODE数值积分的各种工具箱来更灵活地自上而下设计新的RNN架构。我们提供这样一个例子:量子通用计算神经网络(QUNN)将训练参数的个数从数据长度和时间记忆长度的多项式减少到时间记忆长度的线性。
2019-04-29 cs.LG quant-ph stat.ML
Multiway Multislice PHATE: Visualizing Hidden Dynamics of RNNs through Training
Boston University(波士顿大学);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Johns Hopkins University(约翰霍普金斯大学);University of California San Diego(加州大学圣地亚哥分校)
MM-PHATE通过多维分析RNN隐藏状态演变,揭示训练过程中表示几何变化,提供直观方法理解RNN架构与性能关系。
2026-03-24 cs.LG
RNN Architecture Learning with Sparse Regularization
Carnegie Mellon University(卡内基梅隆大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学)
NLP的神经模型通常使用大量参数来达到最先进的性能,这可能导致过多的内存使用和运行时间增加。我们提出了一种结构学习方法来学习稀疏的,参数有效的NLP模型。我们的方法将组套索应用于有理RNN(Peng et al.,2018),一个与加权有限状态自动机(WFSA)密切相关的模型家族。我们利用了RNN对权重的自然分组,因此组套索惩罚直接删除了WFSA状态,大大减少了模型中的参数数量。我们在一些情感分析数据集上进行的实验,使用GloVe和BERT嵌入,表明我们的方法可以学习参数较少的神经结构,而不会牺牲相对于参数丰富的基线的性能。我们的方法还突出了理性RNN的可解释性。我们表明,稀疏化这样的模型,使他们更容易可视化,我们提出的模型,完全依赖于少至三个WFSA修剪后超过90%的权重。我们公开发布代码。
2019-09-06 cs.CL cs.LG stat.ML
Uncertainty Estimation and Calibration with Finite-State Probabilistic RNNs
NEC Laboratories Europe(NEC欧洲实验室)
不确定性量化对于构建可靠和可信的机器学习系统至关重要。我们建议通过递归时间步上的随机离散状态转换来估计递归神经网络(RNN)中的不确定性。模型的不确定性可以通过多次运行预测来量化,每次从经常性状态转换分布中采样,如果模型不确定,则可能导致不同的结果。除了不确定性量化,我们提出的方法在不同的设置提供了几个优点。所提出的方法可以(1)从数据中学习确定性和概率自动机,(2)在真实世界的分类任务中学习校准良好的模型,(3)提高分布外检测的性能,(4)控制强化学习中的探索-利用权衡。
2020-11-24 cs.LG
E-RNN: Design Optimization for Efficient Recurrent Neural Networks in FPGAs
Syracuse University(雪城大学);Northeastern University(东北大学);Florida International University(佛罗里达国际大学);University of Southern California(南加利福尼亚大学);Carnegie Mellon University(卡内基梅隆大学);SUNY University at Buffalo(纽约州立大学布法罗分校)
循环神经网络(RNN)对于需要高效和实时实现的时间序列相关应用变得越来越重要。两种主要类型是长短期记忆(LSTM)和门控递归单元(GRU)网络。由于对不精确积累的高度敏感性和特殊激活函数实现的要求,具有实时,高效和准确的硬件RNN实现是一项具有挑战性的任务。现有工作的一个关键限制是缺乏RNN模型和硬件实现的系统设计优化框架,特别是当块大小(或压缩比)应该与RNN类型,层大小等联合优化。在本文中,我们采用基于块循环矩阵的框架,提出了一种高效RNN(E-RNN)框架,用于自动语音识别(ASR)应用的FPGA实现。总体目标是在精度要求下提高性能/能效。我们使用交替方向乘法器(ADMM)技术进行更准确的块循环训练,并提出了两个设计探索,为块大小和减少RNN训练试验提供指导。基于这两个观察结果,我们将E-RNN分解为两个阶段:第一阶段确定RNN模型,以减少精度要求的计算和存储,第二阶段给出RNN模型的硬件实现,包括处理元件设计/优化,量化,激活实现,在实际FPGA部署上的实验结果表明,与ESE相比,E-RNN实现了37.4 $\times$的最大能量效率改进,与C-LSTM相比,在相同的精度下,$\times$的个数要多2个$\times$。
2018-12-12 cs.CV cs.LG eess.SP
Speed of Light Exact Greedy Decoding for RNN-T Speech Recognition Models on GPU
NVIDIA(英伟达)
本文利用CUDA图条件节点提出GPU上的精确贪心解码方法,消除RNN-T解码中约80%的GPU空闲时间,使11亿参数模型端到端加速2.5倍,并证明RNN-T模型可接近CTC模型的高吞吐推理性能。
2024-06-06 cs.LG
Performance evaluation of deep neural networks for forecasting time-series with multiple structural breaks and high volatility
Birla Institute of Technology and Science Pilani(比拉理工学院与科学大学皮拉尼分校)
时间序列数据的自动和准确预测问题一直是机器学习和预测社区的一个有趣的挑战。现实世界中的大多数时间序列问题具有非平稳特性,这使得对趋势和季节性的理解变得困难。我们在这篇论文中的兴趣是研究流行的深度神经网络(DNN)作为非平稳TSF的函数逼近器的适用性。我们评估了以下DNN模型:多层感知器(MLP),卷积神经网络(CNN),具有长短期记忆的RNN(LSTM-RNN)和具有门控递归单元的RNN(GRU-RNN)。这些DNN方法已经在10个流行的印度金融股票数据中进行了评估。此外,这些DNN的性能评估已经在两种预测设置的多个独立运行中进行:(1)单步预测,和(2)多步预测。这些DNN方法在单步预测(提前一天预测)方面表现出令人信服的性能。对于多步预测(多天前预测),我们评估了不同预测期的方法。这些方法的性能表明,较长的预测期对性能有不利影响。
2020-07-25 cs.LG cs.NE stat.ML
RCNet: Incorporating Structural Information into Deep RNN for MIMO-OFDM Symbol Detection with Limited Training
Virginia Tech(弗吉尼亚理工大学);Samsung Research America(三星美国研究院)
在本文中,我们研究了基于学习的MIMO-OFDM符号检测策略,重点是一个特殊的递归神经网络(RNN)-水库计算(RC)。我们首先引入时频RC,以利用OFDM信号中固有的结构信息。利用时域RC和时频RC作为构建块,我们提供了两个扩展的浅RC到RCNet:1)堆叠多个时域RC; 2)堆叠多个时频RC到一个深层结构。RNN动态、MIMO-OFDM信号的时频结构和深度网络的结合使RCNet能够处理MIMO-OFDM信号的干扰和非线性失真,从而优于现有方法。与大多数现有的基于NN的检测策略不同,RCNet即使在有限的训练集(即与标准的基于模型的方法相似的参考信号/训练量)下也能提供良好的泛化性能。数值实验表明,引入的RCNet通过补偿MIMO-OFDM信号的非线性失真(如发射端功率放大器压缩或接收端有限的量化分辨率),可以提供比浅RC结构更快的学习收敛速度和高达20%的误比特率增益.
2020-03-15 cs.LG eess.SP
Trace norm regularization and faster inference for embedded speech recognition RNNs
Baidu Silicon Valley Artificial Intelligence Lab(百度硅谷人工智能实验室)
我们提出并评估了新的技术,用于压缩和加速密集矩阵乘法,发现在嵌入式大词汇量连续语音识别(LVCSR)的神经网络的全连接和递归层。为了压缩,我们引入并研究了一种迹范数正则化技术,用于训练矩阵乘法的低秩因子化版本。与标准的低秩训练相比,我们证明了我们的方法具有良好的精度与参数权衡的数量,并且可以用于加快大型模型的训练。为了加快速度,我们通过针对小批量优化的新开源内核在ARM处理器上实现了更快的推理,从而比广泛使用的gemmlowp库提高了3倍至7倍的速度。除了LVCSR,我们希望我们的技术和内核更普遍地适用于具有大型全连接或递归层的嵌入式神经网络。
2018-02-06 cs.CL cs.LG eess.AS
Efficient Recurrent Neural Networks using Structured Matrices in FPGAs
Department of Electrical Engineering and Computer Science, Syracuse University, USA(Syracuse大学电气工程与计算机科学系);Center for Energy-efficient Computing and Applications (CECA), Peking University, China(北京大学能源高效计算与应用中心)
本文提出在FPGA上使用块循环矩阵实现RNN,以提高模型压缩和加速,实验显示比ESE提升35.7倍的能效。
2018-03-22 cs.LG cs.NA math.NA
Saving RNN Computations with a Neuron-Level Fuzzy Memoization Scheme
Universitat Politecnica de Catalunya(加泰罗尼亚理工大学)
递归神经网络(RNN)是自动语音识别或机器翻译等应用的关键技术。与传统的前馈DNN不同,RNN记住过去的信息以提高未来预测的准确性,因此它们对于序列处理问题非常有效。对于每个应用程序运行,递归层被执行多次,以处理潜在的大输入序列(单词,图像,音频帧等)。在本文中,我们观察到神经元的输出在连续调用中表现出微小的变化。我们利用这个属性来建立一个神经元级的模糊记忆计划,动态缓存每个神经元的输出,并重用它,每当它被预测,当前的输出将类似于以前计算的结果,避免以这种方式的输出计算。该方案的主要挑战是确定新神经元对序列中当前输入的输出是否与最近计算的结果相似。为此,我们用一个更简单的逐位神经网络(BNN)扩展了递归层,并证明了BNN和RNN的输出是高度相关的:如果两个BNN的输出非常相似,那么原始RNN层中相应的输出可能会出现可以忽略不计的变化。BNN提供了一种低成本和有效的机制,用于决定何时可以应用模糊记忆,对精度的影响很小。我们在最先进的RNN加速器上评估我们的记忆方案,用于来自多个应用领域的各种不同的神经网络。我们表明,我们的技术避免了超过26.7\%的计算,从而节省了21\%的能源和1.4倍的加速平均。
2022-02-14 cs.AR cs.LG cs.NE
Tiled Flash Linear Attention: More Efficient Linear RNN and xLSTM Kernels
ELLIS Unit, LIT AI Lab, Institute for Machine Learning, JKU Linz(ELLIS单位、LIT人工智能实验室、机器学习研究所、JKU林茨);NXAI GmbH(NXAI公司)
TFLA通过引入序列并行化提升线性RNN和xLSTM内核效率,实现更高算术强度和更优长上下文序列建模性能。
2025-12-28 cs.AI cs.LG
CoCoPIE: Making Mobile AI Sweet As PIE --Compression-Compilation Co-Design Goes a Long Way
Perceptin Inc.(Perceptin公司);William & Mary(威廉与玛丽学院);North Carolina State University(北卡罗来纳州立大学);Northeastern University(东北大学)
假设硬件是实现实时移动智能的主要限制,业界主要致力于开发用于机器学习和推理的专用硬件加速器。本文对这一假设提出了质疑。通过借鉴最近的实时AI优化框架CoCoPIE,它认为通过有效的压缩编译器协同设计,可以在主流终端设备上实现实时人工智能,而无需特殊硬件。CoCoPIE是一个软件框架,在移动AI方面拥有众多记录:第一个支持所有主要DNN类型的框架,从CNN到RNN,Transformer,语言模型等;最快的DNN修剪和加速框架,与TensorFlow-Lite等其他框架上的DNN修剪相比,速度高达180倍;使许多代表性的人工智能应用程序能够在现成的移动设备上实时运行,而这些移动设备以前被认为只有在特殊的硬件支持下才有可能实现;使得现成的移动设备在能量效率和/或性能方面优于许多代表性的ASIC和FPGA解决方案。
2020-05-14 cs.LG cs.PF stat.ML
Selfish Sparse RNN Training
Eindhoven University of Technology(埃因霍温理工大学);University of Twente(特文特大学)
稀疏神经网络已被广泛应用于减少训练和部署过参数化深度神经网络的计算需求。对于推理加速,从预训练的密集网络(密集到稀疏训练)中发现稀疏网络的方法有效。最近,已经提出了动态稀疏训练(DST)来训练稀疏神经网络,而不预先训练密集模型(稀疏到稀疏训练),使得训练过程也可以加速。然而,以前的稀疏到稀疏方法主要集中在多层感知器网络(MLP)和卷积神经网络(CNN)上,无法匹配递归神经网络(RNN)设置中的密集到稀疏方法的性能。在本文中,我们提出了一种方法,训练内在稀疏的RNN与一个固定的参数计数在一个单一的运行,而不影响性能。在训练过程中,我们允许RNN层在单元门之间进行非均匀的重新分布,以实现更好的正则化。此外,我们提出了SNT-ASGD,这是平均随机梯度优化器的一种新变体,它显着提高了RNN的所有稀疏训练方法的性能。使用这些策略,我们在Penn TreeBank和Wikitext-2数据集上使用各种类型的RNN实现了最先进的稀疏训练结果,优于密集到稀疏的方法。我们的代码可在https://github.com/Shiweiliuiiiiiii/Selfish-RNN上获得。
2021-06-15 cs.AI cs.LG
Compressing Language Models using Doped Kronecker Products
Arm ML Research Lab(Arm机器学习研究实验室)
Kronecker Products(KP)已被用于将物联网RNN应用程序压缩15- 38倍的压缩因子,取得了比传统压缩方法更好的结果。然而,当KP应用于大型自然语言处理任务时,它会导致显著的准确性损失(约26%)。本文提出了一种方法,以恢复精度,否则损失时,应用KP大型NLP任务,允许额外的自由度的KP矩阵。更正式地说,我们提出了掺杂,在预定义的KP结构上添加一个极其稀疏的覆盖矩阵的过程。我们称这种压缩方法为掺杂克罗内克积压缩。为了训练这些模型,我们提出了一个新的解决方案的现象,共矩阵适应(CMA),它使用了一个新的正则化方案,称为共矩阵丢弃正则化(CMR)。我们提出的实验结果表明,压缩的大语言模型与LSTM层的大小为25 MB的25倍,1.4%的困惑分数损失。在25倍压缩下,等效的修剪网络导致困惑分数损失7.9%,而HMD和LMF分别导致困惑分数损失15%和27%。
2020-11-17 cs.CL cs.LG stat.ML
Toward Routing River Water in Land Surface Models with Recurrent Neural Networks
Ecole Polytechnique(巴黎综合理工学院);California Institute of Technology(加州理工学院)
本研究探讨循环神经网络(RNNs)在陆面模型(LSMs)中进行河流水路由的性能,以瞬时径流为输入,经全球流域数据训练和测试,其跨流域、跨时间泛化能力优于现有基于物理的模型,NSE中位数显著提升。
2024-12-05 cs.LG physics.comp-ph physics.geo-ph
SegRNN: Segment Recurrent Neural Network for Long-Term Time Series Forecasting
South China University of Technology(华南理工大学);Peng Cheng Laboratory(鹏城实验室)
针对RNN在长期时间序列预测中因迭代次数多受限的问题,提出结合分段迭代与并行多步预测的SegRNN,在精度、速度和内存上均优于主流SOTA模型,证明RNN仍具该领域优势。
2023-08-22 cs.LG
Echo: Compiler-based GPU Memory Footprint Reduction for LSTM RNN Training
University of Toronto(多伦多大学);Carnegie Mellon University(卡内基梅隆大学)
长短期记忆递归神经网络(LSTM RNN)是一类用于分析序列数据的流行机器学习模型。然而,他们在现代GPU上的训练受到GPU内存容量的限制。我们对基于LSTM RNN的神经机器翻译(NMT)模型的分析结果表明,注意力和RNN层的特征图形成了内存瓶颈,并且在GPU上训练时,运行时间在不同层之间分布不均匀。基于这两个观察结果,我们建议重新计算特征图,而不是将它们持久地存储在GPU内存中。虽然之前已经考虑过特征图重新计算的想法,但现有的解决方案未能提供令人满意的占用空间减少,因为它们没有解决两个关键挑战。为了使每个特征图重新计算有效和高效,必须仔细估计其对(1)总内存占用和(2)总执行时间的影响。为此,我们提出了一种新的基于编译器的优化方案 *Echo*,它通过一种实用的机制来解决第一个挑战,该机制可以估计整个计算图上重新计算的内存收益,而第二个挑战则是通过利用层细节非保守地估计重新计算开销。*Echo* 自动透明地减少GPU内存占用,无需对训练源代码进行任何更改,并且对LSTM RNN之外的模型有效。我们在配备现代GPU的真实系统上对众多最先进的机器学习工作负载进行了 *Echo* 评估,并观察到占用空间减少率平均为1.89倍,最高为3.13倍。这种减少可以转换成具有更大批量大小的更快训练,GPU能耗的节省(例如,使用一个GPU的训练速度与使用四个GPU的训练速度一样快),和/或在相同…
2019-11-28 cs.AI cs.LG stat.ML
Vau da muntanialas: Energy-efficient multi-die scalable acceleration of RNN inference
ETH Zürich(苏黎世联邦理工学院);University of Bologna(博洛尼亚大学);Huawei Technologies(华为技术有限公司)
诸如长短期记忆(LSTM)之类的循环神经网络通过保持内部状态来学习时间依赖性,这使得它们成为语音识别等时间序列问题的理想选择。然而,输出到输入反馈在设计RNN加速器时会产生独特的内存带宽和可扩展性挑战。我们提出了Muntaniala,一种用于LSTM推理的RNN加速器架构,在UMC 65 $nm$技术中,硅测量的能量效率为3.25 $TOP/s/W$,性能为30.53 $GOP/s$。Muntaniala的可扩展设计允许通过在脉动阵列中组合多个瓦片来运行大型RNN模型。我们在阵列中的每个芯片上保持所有参数不变,大大减少了I/O通信,仅加载新功能并与其他芯片共享部分结果。为了量化整个系统的功耗,包括I/O功耗,我们构建了Vau da Muntanialas,据我们所知,这是RNN加速器的脉动多芯片PCB阵列的第一个演示。我们的多芯片原型在330个$μs$中使用192个隐藏状态执行LSTM推理,10个$MHz$时的总系统功耗为9.0 $mW$,消耗2.95个$μJ$。针对Muntaniala中实现的8/16位量化,我们在TIMIT数据集上的3L-384 NH-123 NI LSTM网络上显示了相对于浮点数(FP)的音素错误率(PER)下降约3%。
2022-02-14 cs.AI cs.AR cs.DC
Optimizing Recurrent Neural Networks Architectures under Time Constraints
递归神经网络(RNN)的结构是影响其性能的关键因素。我们提出了算法,以优化隐藏的大小下运行时间的约束。我们将离散优化转化为一个子集选择问题。通过新颖的变换,使目标函数成为次模,约束成为超模。提出了一种带界的贪婪算法来求解变换后的问题。我们展示了变换如何影响边界。为了加快优化速度,提出了平衡探索和开发的代理函数。实验表明,我们的算法可以找到更准确的模型或更快的模型比手动调整的国家的最先进的和随机搜索。我们还使用我们的算法比较了流行的RNN架构。
2018-02-21 cs.LG stat.ML
Sub-8-bit quantization for on-device speech recognition: a regularization-free approach
Amazon Alexa AI(亚马逊Alexa人工智能部门)
对于设备上自动语音识别(ASR),量化感知训练(QAT)是普遍存在的,以实现模型预测性能和效率之间的权衡。在现有的QAT方法中,一个主要的缺点是量化质心必须是预定的和固定的。为了克服这一限制,我们引入了一个正则化的自由,“软到硬”的压缩机制与自我可调的质心在μ律约束的空间,从而在一个更简单,但更通用的量化方案,称为通用量化器(GQ)。我们在LibriSpeech和去识别远场数据集上使用递归神经网络转换器(RNN-T)和Conformer架构将GQ应用于ASR任务。在不降低精度的情况下,GQ可以将RNN-T和Conformer压缩到8位以下,对于某些RNN-T层,可以压缩到1位,以实现快速准确的推理。通过物理设备基准测试,我们观察到与8位QAT相比,内存占用节省了30.73%,用户感知的延迟减少了31.75%。
2022-11-01 cs.LG cs.SD eess.AS
Dynamic Gated Recurrent Neural Network for Compute-efficient Speech Enhancement
Institute of Neuroinformatics, University of Zurich(苏黎世大学神经信息学研究所);ETH Zurich(苏黎世联邦理工学院);Reality Labs Research, Meta(元现实实验室研究部门)
本文提出动态门控循环神经网络(DG-RNN)及其实现D-GRU,通过select gate在每个时间步仅更新选定神经元,在DNS challenge数据集上平均减少50% GRU计算量且保持语音质量。
2024-09-24 cs.LG cs.SD eess.AS
Gated Compression Layers for Efficient Always-On Models
Google LLC(谷歌有限责任公司)
移动和嵌入式机器学习开发人员经常不得不在两种较差的设备上部署策略之间进行妥协:牺牲准确性并积极缩小其模型以在专用低功耗内核上运行;或者通过在更强大的计算内核(如神经处理单元或主应用处理器)上运行更大的模型来牺牲电池。在本文中,我们提出了一种新的门控压缩层,可用于将现有的神经网络架构转换为门控神经网络。门控神经网络具有多个特性,非常适合设备上的用例,有助于显著降低功耗、提高准确性并利用异构计算核心。我们提供了五个公共图像和音频数据集的结果,这些数据集证明了所提出的门控压缩层可以有效地阻止高达96%的负样本,压缩97%的正样本,同时保持或提高模型的准确性。
2023-03-15 cs.LG
RWKV-edge: Deeply Compressed RWKV for Resource-Constrained Devices
University of Virginia(弗吉尼亚大学)
针对RWKV大语言模型参数量高难以在资源受限设备部署的问题,提出适配其架构的架构优化+训练后压缩组合方案,实现3.4-5倍内存压缩且精度损失极小,比同精度Transformer模型内存占用低4倍。
2025-10-28 cs.LG cs.PF
Structured in Space, Randomized in Time: Leveraging Dropout in RNNs for Efficient Training
Pennsylvania State University(宾夕法尼亚州立大学)
递归神经网络(RNN),更具体地说是其长短期记忆(LSTM)变体,已被广泛用作深度学习工具,用于处理文本和语音中基于序列的学习任务。这种LSTM应用程序的训练是计算密集型的,因为每个时间步重复的隐藏状态计算的递归性质。虽然深度神经网络中的稀疏性被广泛认为是减少训练和推理阶段计算时间的机会,但在LSTM RNN中使用非ReLU激活使得与神经元激活和梯度值相关的动态稀疏性的机会有限或不存在。在这项工作中,我们确定辍学引起的稀疏LSTM作为一个合适的模式,减少计算。Dropout是一种广泛使用的正则化机制,它在每次训练迭代期间随机丢弃计算的神经元值。我们建议结构辍学模式,通过丢弃同一组物理神经元内的一批,导致列(行)级隐藏状态稀疏,这是很好的服从计算减少在运行时的通用SIMD硬件以及脉动阵列。我们对三个代表性的NLP任务进行了实验:PTB数据集上的语言建模,基于OpenNMT的机器翻译,使用IWALDE-EN和En-Vi数据集,以及使用CoNLL-2003共享任务的命名实体识别序列标记。我们证明了我们提出的方法可以用于将基于丢弃的计算减少转化为减少的训练时间,改进范围从1.23倍到1.64倍,而不会牺牲目标度量。
2021-06-22 cs.CL cs.LG cs.PF
Predictability-Aware Compression and Decompression Framework for Multichannel Time Series Data with Latent Seasonality
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出一种预测感知的压缩解压框架,通过圆形季节性键矩阵提升多通道时间序列数据的压缩效率与预测准确性。
2026-01-29 cs.AI cs.LG
Activity Sparsity Complements Weight Sparsity for Efficient RNN Inference
Birla Institute of Technology and Science, Pilani – Goa Campus(果阿校区,皮拉尼贝拉理工学院);TUD Dresden University of Technology(德累斯顿工业大学);Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
本研究提出将活动稀疏性与参数稀疏性相结合应用于GRU模型,在Penn Treebank语言建模任务中实现20倍计算量减少且困惑度低于60,为深度学习模型移植到神经形态设备提供可行策略并推动相关方法融合。
2024-11-26 cs.LG
Accelerating Inference and Language Model Fusion of Recurrent Neural Network Transducers via End-to-End 4-bit Quantization
IBM Research(IBM研究院)
我们报告了积极的量化策略,大大加快了循环神经网络传感器(RNN-T)的推理。我们使用4位整数表示权值和激活,并应用量化感知训练(QAT)来重新训练完整模型(声学编码器和语言模型),并实现近等精度。我们表明,定制的量化方案,是针对网络的本地属性是必不可少的,以实现良好的性能,同时限制QAT的计算开销。密度比语言模型融合在RNN-T工作负载上显示出显着的准确性增益,但它严重增加了推理的计算成本。我们表明,我们的量化策略,使使用大波束宽度的假设搜索,同时实现流兼容的运行时和全模型压缩比为7.6 $\times$相比,全精度模型。通过硬件模拟,我们估计从FP 16到INT 4的端到端量化RNN-T(包括LM融合)的$\times$加速为3.4,导致实时的因子(RTF)为0.06。在NIST Hub 5 2000、Hub 5 2001和RT-03测试集上,我们保留了与LM融合相关的大部分增益,将平均WER提高了$>$ 1.5%。
2022-06-16 cs.CL cs.LG cs.SD
Distribution Compression in Near-linear Time
UC Berkeley(加州大学伯克利分校);Harvard University(哈佛大学);MIT(麻省理工学院);Microsoft Research New England(微软新英格兰研究院)
在分布压缩中,人们的目标是使用少量的代表点精确地概括概率分布$\mathbb{P}$。近似最优细化过程通过从马尔可夫链中采样$n$点并识别具有与$\mathbb{P}$的$\widetilde{\mathcal{O}}(1/\sqrt{n})$差异的$\sqrt{n}$点来实现该目标。不幸的是,这些算法在样本大小$n$中遭受二次或超二次运行时间。为了解决这一不足,我们介绍了压缩++,一个简单的元程序,用于加快任何细化算法,而遭受最多的$4$的错误因素。当与Dwivedi和Mackey(2021)的二次时间核减半和核细化算法相结合时,Compress++在$\mathcal{O}(n \log^3 n)$时间和$\mathcal{O}( \sqrt{n} \log^2 n )$空间中提供具有PDMATHAMR积分误差和优于Monte-Carlo最大平均差异的$\sqrt{n}$点。此外,Compress++在给定任何二次时间输入的情况下都享有相同的近线性运行时间,并将超二次算法的运行时间减少了一个平方根因子。在我们针对具有挑战性的微分方程后验的高维Monte Carlo样本和马尔可夫链的基准测试中,Compress++在数量级更少的时间内匹配或几乎匹配其输入算法的精度。
2022-10-18 cs.DS cs.LG math.ST
FlashSVD v1.5: Making Low-Rank Transformers Inference Actually Fast
Department of Electrical & Computer Engineering(电气与计算机工程系);Department of Statistical Science(统计科学系);Department of Computer Science(计算机科学系)
本文提出FlashSVD v1.5,通过统一的推断运行时优化低秩变换器的推断速度,实现解码和端到端加速。
2026-05-08 cs.AI cs.LG cs.PF