Single stream parallelization of generalized LSTM-like RNNs on a GPU
Seoul National University（首尔国立大学）
递归神经网络（RNN）在处理序列数据方面表现出出色的性能。然而，他们遭受从长的训练时间，这需要并行实施的训练过程。RNN的训练算法的并行化是非常具有挑战性的，因为内部递归路径在两个不同的时间框架之间形成依赖关系。在本文中，我们首先提出了一种广义的基于图的RNN结构，它涵盖了最流行的长短期记忆（LSTM）网络。然后，我们提出了一种并行化方法，通过分析图结构自动探索任意RNN的并行性。实验结果表明，即使使用单个训练流，所提出的方法也表现出很大的速度提升，并且当与多个并行训练流结合时，进一步加速了训练。
2015-03-10 cs.LG cs.NE
Scalable Multi-GPU Simulation of 3D Multicellular Growth with RNN-Based Workload Balancing
School of Computing, University of Nebraska–Lincoln（内布拉斯加大学林肯分校计算学院）；Department of Mathematics, University of Nebraska–Lincoln（内布拉斯加大学林肯分校数学系）；Department of Radiation Oncology, University of Rochester Medical Center（罗切斯特医学中心放射肿瘤学系）；School of Biological Sciences, University of Nebraska–Lincoln（内布拉斯加大学林肯分校生物科学学院）；Holland Computing Center, University of Nebraska–Lincoln（内布拉斯加大学林肯分校霍兰德计算中心）
该研究提出结合GPU加速等技术的多GPU模拟框架，引入RNN负载平衡控制器，实现三维多细胞生长模拟的高效可扩展计算，提升负载平衡效果并降低运行时间。
2026-08-27 cs.CE cs.DC cs.LG
Accelerating recurrent neural network language model based online speech recognition system
DMC R&D Center, Samsung Electronics（三星电子DMC研发中心）
提出了一种基于循环神经网络的在线语音识别语言模型的加速方法。首先，为了减少LM查询的数量，引入了对过去的隐藏层输出（历史向量）进行有损压缩并进行缓存。接下来，RNNLM计算以CPU-GPU混合方式部署，在更有利的平台上计算模型的每一层。CPU和GPU之间的数据交换所增加的开销通过逐帧优化策略来补偿。LibriSpeech测试集上的性能评估表明，历史向量精度的降低提高了平均识别速度的1.23倍，精度下降最小。另一方面，CPU-GPU混合并行化使基于RNNLM的实时识别速度提高了四倍。
2018-01-30 cs.CL cs.LG
E-RNN: Design Optimization for Efficient Recurrent Neural Networks in FPGAs
Syracuse University（雪城大学）；Northeastern University（东北大学）；Florida International University（佛罗里达国际大学）；University of Southern California（南加利福尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）；SUNY University at Buffalo（纽约州立大学布法罗分校）
循环神经网络（RNN）对于需要高效和实时实现的时间序列相关应用变得越来越重要。两种主要类型是长短期记忆（LSTM）和门控递归单元（GRU）网络。由于对不精确积累的高度敏感性和特殊激活函数实现的要求，具有实时，高效和准确的硬件RNN实现是一项具有挑战性的任务。现有工作的一个关键限制是缺乏RNN模型和硬件实现的系统设计优化框架，特别是当块大小（或压缩比）应该与RNN类型，层大小等联合优化。在本文中，我们采用基于块循环矩阵的框架，提出了一种高效RNN（E-RNN）框架，用于自动语音识别（ASR）应用的FPGA实现。总体目标是在精度要求下提高性能/能效。我们使用交替方向乘法器（ADMM）技术进行更准确的块循环训练，并提出了两个设计探索，为块大小和减少RNN训练试验提供指导。基于这两个观察结果，我们将E-RNN分解为两个阶段：第一阶段确定RNN模型，以减少精度要求的计算和存储，第二阶段给出RNN模型的硬件实现，包括处理元件设计/优化，量化，激活实现，在实际FPGA部署上的实验结果表明，与ESE相比，E-RNN实现了37.4 $\times$的最大能量效率改进，与C-LSTM相比，在相同的精度下，$\times$的个数要多2个$\times$。
2018-12-12 cs.CV cs.LG eess.SP
Pruned RNN-T for fast, memory-efficient ASR training
Xiaomi Corp.（小米公司）
用于语音识别的RNN-Transducer（RNN-T）框架越来越受欢迎，特别是对于部署的实时ASR系统，因为它将高准确性与自然流式识别相结合。RNN-T的缺点之一是它的损失函数计算起来相对较慢，并且会占用大量内存。在词汇量很大的情况下，过多的GPU内存使用可能会使使用RNN-T损失变得不切实际：例如，对于基于中文字符的ASR。我们介绍了一种更快，更节省内存的RNN-T损失计算方法。我们首先使用一个简单的joiner网络获得RNN-T递归的修剪边界，该网络在编码器和解码器嵌入中是线性的;我们可以在不使用太多内存的情况下评估它。然后，我们使用这些修剪边界来评估完整的非线性joiner网络。
2022-06-23 cs.AI cs.LG eess.AS
RTMobile: Beyond Real-Time Mobile Acceleration of RNNs for Speech Recognition
Northeastern University（东北大学）；The College of William and Mary（威廉与玛丽学院）；The University of Alabama（阿拉巴马大学）
基于递归神经网络（RNN）的自动语音识别如今在诸如智能电话的移动设备上变得流行。然而，以前的RNN压缩技术要么由于不规则性而遭受硬件性能开销，要么由于硬件友好性而保留的规则性而遭受显著的准确性损失。在这项工作中，我们提出了RTMobile，它利用一种新的基于块的修剪方法和编译器优化来加速移动设备上的RNN推理。我们提出的RTMobile是第一个可以在移动平台上实现实时的【形】RNN推理的工作。实验结果表明，RTMobile在推理精度和时间方面明显优于现有的RNN硬件加速方法。在保证推理时间不变的情况下，RTMobile在GRU上使用Adreno 640嵌入式GPU，与FPGA上的工作相比，可以提高约40 $\times$的能量效率。
2020-02-19 cs.LG cs.SD eess.AS
SIRNN: A Math Library for Secure RNN Inference
Microsoft Research（微软研究院）
复杂的机器学习（ML）推理算法，如递归神经网络（RNN），使用来自数学库的标准函数，如幂运算、sigmoid、tanh和平方根倒数。尽管关于安全2方推理的先前工作提供了用于卷积神经网络（CNN）的专用协议，但是这些数学运算符的现有安全实现依赖于遭受高通信的通用2方计算（2 PC）协议。我们为数学函数提供了新的专用2 PC协议，这些数学函数主要依赖于查找表和混合位宽来解决此性能开销;我们的数学函数协议所传输的数据比以前的工作少423倍。我们的数学实现所使用的一些混合位宽操作是（零和有符号）扩展，不同形式的截断，混合位宽操作数的乘法和数字分解（位分解到更大数字的概括）。对于这些原始操作中的每一个，我们构建专门的2 PC协议，比通用的2 PC通信效率更高，并且可以是独立的兴趣。此外，我们的数学实现是数值精确的，这确保了安全实现保持明文的模型准确性。我们建立在我们的新协议之上，以构建SIRNN，这是一个端到端安全的2方DNN推理库，它提供了对时间序列传感器数据进行操作的RNN的第一个安全实现，对语音数据进行操作的RNN，以及结合CNN和RNN的最先进的ML架构，用于识别图像中存在的所有头部。我们的评估表明，SIRNN实现了高达三个数量级的性能提高相比，这些模型的推理使用现有的最先进的2 PC框架。
2021-05-10 cs.CR cs.LG cs.MS
High Performance Computing Applied to Logistic Regression: A CPU and GPU Implementation Comparison
ENSIAS（国家高等信息与系统分析学院）；Mohammed V University（穆罕默德五世大学）
针对大数据下二分类对快速算法的需求，本文实现了基于GPU的并行逻辑回归算法，相比CPU版本速度更快且f1分数相当，已封装为Python库，适用于实时预测场景。
2023-08-19 cs.LG
Unified Implementations of Recurrent Neural Networks in Multiple Deep Learning Frameworks
Max Planck Institute for the Physics of Complex Systems（马克斯·普朗克复杂系统物理研究所）
本文提出三个开源库（torchrecurrent、RecurrentLayers.jl和LuxRecurrentLayers.jl），在Julia和Python中统一实现多种RNN变体，提供一致框架以促进可复现性和探索。
2025-10-24 cs.LG cs.SE
Powerful and Extensible WFST Framework for RNN-Transducer Losses
NVIDIA（英伟达）；ITMO University（圣彼得堡国立信息技术机械与光学大学）；University of London（伦敦大学）
本文提出基于WFST的框架简化RNN-T损失的修改，实现两种高效变体，并引入W-Transducer损失，在弱监督数据下优于标准RNN-T。
2023-03-18 cs.AI cs.CL cs.LG
At-Scale Sparse Deep Neural Network Inference with Efficient GPU Implementation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达）；IBM Research（IBM研究院）
本文介绍了2020年稀疏深度神经网络挑战赛推理模型的GPU性能优化和缩放结果。对网络质量的需求迅速增长，推动了许多神经网络的规模和内存需求，超出了可用加速器的能力。稀疏深度神经网络（SpDNN）已经显示出控制大型神经网络内存占用的前景。然而，在GPU上实现SpDNN操作还有改进的空间。这项工作提出了与ReLU函数融合的优化稀疏矩阵乘法内核。优化的内核重用来自共享存储器的输入特征图和来自寄存器的稀疏权重。对于多GPU并行性，我们的SpDNN实现复制权重并在GPU上静态划分特征图。挑战基准测试的结果表明，所提出的内核设计和多GPU并行化实现了高达每秒180 tera-edges的推理吞吐量。这些结果对于单个GPU来说最多快4.3倍，在满量程下比同一代NVIDIA V100 GPU的2019年稀疏深度神经网络图形挑战赛冠军快一个数量级。使用相同的实现，我们还显示NVIDIA A100上的单GPU吞吐量比V100快2.37 $\times$。
2020-09-02 cs.DC cs.LG
FastONN -- Python based open-source GPU implementation for Operational Neural Networks
操作神经网络（Operational Neural Networks，ONNs）是近年来提出的一种用于网格结构数据的特殊的人工神经网络。它们使异构非线性操作能够推广广泛采用的基于卷积的神经元模型。这项工作介绍了一个快速的GPU启用库训练业务神经网络，FastONN，这是基于一种新的矢量化制定的操作神经元。利用反向传播的自动反向模式微分，FastONN通过引入新的算子集和自定义梯度流来提高灵活性。此外，捆绑的辅助模块提供了跨不同数据分区和自定义指标的性能跟踪和检查点接口。
2020-06-03 cs.LG cs.NE
Kapre: On-GPU Audio Preprocessing Layers for a Quick Implementation of Deep Neural Network Models with Keras
Queen Mary University of London（伦敦玛丽女王大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们引入Kapre，Keras层用于音频和音乐信号预处理。使用深度神经网络的音乐研究需要一个繁重而繁琐的预处理阶段，为此，音频处理参数在参数优化中往往被忽略。为了解决这个问题，Kapre实现了时频转换、归一化和数据增强作为Keras层。我们报告了简单的基准测试结果，显示实时GPU预处理增加了合理的计算量。
2017-06-19 cs.LG cs.MM cs.SD
Fast Convolutional Nets With fbfft: A GPU Performance Evaluation
Facebook AI Research（脸书人工智能研究院）
我们研究了卷积神经网络在当前一代NVIDIA图形处理器上的训练性能。我们介绍了两种新的快速傅里叶变换卷积实现：一种基于NVIDIA的cuFFT库，另一种基于Facebook编写的FFT实现fbfft，它为整个CNN提供了比cuFFT显著的加速（超过1.5倍）。这两种卷积实现都是开源的，并且对于许多常见的卷积层，比NVIDIA的cuDNN实现更快（对于某些合成内核配置，速度高达23.5倍）。我们讨论了卷积的不同性能机制，比较了直接时域卷积优于傅立叶频域卷积的区域。还提供了有关NVIDIA GPU硬件在fbfft实现中的算法应用的详细信息。
2015-04-10 cs.DC cs.LG cs.NE
