A comparison of LSTM and GRU networks for learning symbolic sequences
The University of Manchester(曼彻斯特大学)
本文通过生成不同复杂度的符号序列训练并比较LSTM与GRU网络,发现深度增加不一定提升记忆,学习率与每层单元数是关键超参数,且GRU擅长低复杂度序列,LSTM擅长高复杂度序列。
2023-01-04 cs.LG cs.NE
Non-Volatile Memory Array Based Quantization- and Noise-Resilient LSTM Neural Networks
在云计算和边缘计算模型中,边缘计算设备尽可能节能非常重要。长短期记忆(LSTM)神经网络已被广泛用于自然语言处理、时间序列预测和许多其他序列数据任务。因此,对于这些应用,越来越需要低功耗加速器来进行边缘LSTM模型推理。为了减少由于推断设备内的数据传输而引起的功率耗散,已经对使用非易失性存储器(NVM)权重阵列来加速向量矩阵乘法(VMM)操作产生了极大的兴趣。在基于NVM阵列的硬件中,减小的位宽也显著地提高了功率效率。在本文中,我们专注于量化感知训练算法在LSTM模型中的应用,以及这些模型在抵抗量化误差和模拟器件噪声方面带来的好处。我们已经证明,只需要4位NVM权重和4位ADC/DAC就可以产生与浮点基线相当的LSTM网络性能。合理水平的ADC量化噪声和权重噪声可以在我们基于NVM的量化LSTM网络中自然容忍。对我们提出的LSTM推理加速器的基准分析表明,与传统数字方法(GPU,FPGA和ASIC)相比,计算效率至少提高了2.4倍,面积效率提高了40倍。其他一些基于NVM的新方法有望提供更高的计算效率(高达4.7倍),但需要更大的阵列,潜在的更高的出错率。
2020-02-25 cs.ET cs.NE
Understanding LSTM -- a tutorial into Long Short-Term Memory Recurrent Neural Networks
Schmalkalden University of Applied Sciences(施马尔卡尔登应用科学大学);Singapore University of Technology and Design(新加坡科技设计大学)
长短期记忆循环神经网络(LSTM-RNN)是目前已知的最强大的动态分类器之一。网络本身和相关的学习算法都有相当好的文档记录,以了解它是如何工作的。本文将更深入地了解LSTM-RNN是如何发展的,以及为什么它们工作得如此出色,重点关注早期的突破性出版物。我们显著改进了文档,并修复了以前出版物中积累的一些错误和不一致。为了支持理解,我们也修改和统一了所使用的符号。
2019-09-12 cs.CL cs.LG cs.NE
Long Short-Term Memory based Convolutional Recurrent Neural Networks for Large Vocabulary Speech Recognition
Peking University(北京大学)
长短期记忆(LSTM)循环神经网络(RNN)已被证明在许多语音识别任务上具有最先进的性能,因为它们能够提供所有序列历史的学习动态变化的上下文窗口。另一方面,卷积神经网络(CNN)为深度前馈神经网络(FFNN)带来了显著的改进,因为它们能够更好地减少输入信号中的频谱变化。结合CNN和LSTM RNN提出了一种称为卷积递归神经网络(CRNN)的网络结构。在提出的CRNN中,没有相邻上下文帧的每个语音帧被组织为沿频率轴的许多局部特征块,然后对沿时间轴的每个特征块执行LSTM网络。我们训练和比较FFNN,LSTM RNN和建议的LSTM CRNN在不同数量的配置。实验结果表明,LSTM CRNN可以超过最先进的语音识别性能。
2016-10-11 cs.CL cs.NE
Performance of Three Slim Variants of The Long Short-Term Memory (LSTM) Layer
Michigan State University(密歇根州立大学)
长短期记忆(LSTM)层是神经网络和机器学习领域的重要进步,可以实现有效的训练和令人印象深刻的推理性能。基于LSTM的神经网络已经成功地应用于各种应用,例如语音处理和语言翻译。LSTM层可以通过删除某些组件来简化,从而可能加快训练和运行时间,而性能变化有限。特别是,最近推出的变体,称为SLIM LSTM,在初步实验中显示出成功,以支持这一观点。在这里,我们使用标准LSTM和三个SLIM LSTM层对卷积加递归神经网络架构的验证准确性进行了计算分析。我们发现SLIM LSTM层的一些实现可能与我们考虑的架构的标准LSTM层一样好。
2019-01-02 cs.AI cs.LG cs.NE
Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition
Peking University(北京大学)
基于长短期记忆(LSTM)的声学建模方法最近已被证明在某些语音识别任务上具有最先进的性能。为了进一步提高性能,在这项研究中,考虑到深层层次模型比浅层模型更有效,研究了LSTM的深层扩展。受先前关于构建深度循环神经网络(RNN)的研究的启发,提出了替代的深度LSTM架构,并在大词汇量会话电话语音识别任务上进行了经验评估。同时,对于多GPU设备,介绍并讨论了LSTM网络的训练过程。实验结果表明,深度LSTM网络受益于深度,并在此任务上产生最先进的性能。
2015-05-11 cs.CL cs.NE
Long Short-Term Memory Spiking Networks and Their Applications
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
基于事件的神经形态系统的最新进展引起了人们对脉冲神经网络(SNN)的使用和发展的极大兴趣。然而,尖峰神经元的不可微性质使得SNN与传统的反向传播技术不兼容。尽管在训练传统深度神经网络(DNN)方面取得了重大进展,但对SNN的训练方法仍然知之甚少。在本文中,我们提出了一个新的框架来训练递归SNN。类似于递归神经网络(RNN)在DNN中学习时间序列模型的好处,我们开发了基于长短期记忆(LSTM)网络的SNN。我们展示了LSTM尖峰网络学习尖峰的时间和时间依赖性。我们还开发了一种基于LSTM的SNN的误差反向传播方法。在基于LSTM的SNN中开发的反向传播架构和方法使它们能够学习长期依赖关系,其结果与传统的LSTM相当。
2020-07-09 cs.LG cs.NE
Role of Deep LSTM Neural Networks And WiFi Networks in Support of Occupancy Prediction in Smart Buildings
Western Michigan University(西密歇根大学);University of Houston(休斯顿大学)
了解建筑物中有多少人以及他们的位置是智能建筑服务的关键组成部分。商业、工业和住宅建筑通常包含用于确定占用率的系统。然而,相对简单的传感器技术和控制算法限制了智能建筑服务的有效性。在本文中,我们建议用时间序列模型取代传感器技术,该模型可以预测给定位置和时间的占用者数量。我们使用大量可用的Wi-Fi数据集进行智能楼宇服务,并训练自回归积分移动平均(ARIMA)模型和长短期记忆(LSTM)时间序列模型。作为智能建筑服务的用例场景,这些模型允许在建筑物以及接入点(AP)级别以15、30和60分钟的时间间隔预测给定时间和位置的人数。对于LSTM,我们以两种方式构建模型:每个时间尺度的单独模型,以及三个时间尺度的组合模型。我们的实验表明,LSTM组合模型在AP级别将计算资源减少了74.48%,在构建级别减少了67.13%。此外,与ARIMA相比,LSTM的建筑物水平模型的均方根误差(RMSE)降低了88.2% - 93.4%,AP水平模型降低了80.9% - 87%。
2017-11-28 cs.AI cs.NE
Optimizing Long Short-Term Memory Recurrent Neural Networks Using Ant Colony Optimization to Predict Turbine Engine Vibration
University of North Dakota(北达科他大学)
这篇文章扩展了已经完成的研究,以开发一种能够使用长短期记忆(LSTM)神经元预测飞机发动机振动的递归神经网络(RNN)。LSTM RNN可以为发动机振动的分析计算提供更通用和更强大的预测方法,因为分析计算必须基于特定的经验发动机参数迭代求解,使得这种方法无法在多个发动机中推广。在最初的工作中,提出、评估和比较了多种LSTM RNN架构。这项研究通过使用基于蚁群优化(ACO)的有前途的神经进化方法来开发和增强网络的LSTM细胞结构,从而提高了以前工作中提出的最有效的LSTM网络设计的性能。已经开发了ACO神经进化算法的并行化版本,并将进化的LSTM RNN与以前使用的固定拓扑进行了比较。进化后的网络是在一个大型的飞行数据记录数据库上训练的,该数据库是从一家航空公司获得的,该航空公司的航班遭受了过度振动。结果是在高性能计算(HPC)集群上使用MPI(消息传递接口)获得的,在4天内使用168个核心进化了1000个不同的LSTM单元结构。新进化的LSTM单元显示出1.35%的改进,在预测未来10秒的过度发动机振动时,预测误差从5.51%降低到4.17%,同时将权重从21,170大幅减少到11,810。
2017-10-10 cs.AI cs.NE
Bridging LSTM Architecture and the Neural Dynamics during Reading
Shanghai Key Laboratory of Intelligent Information Processing, Fudan University(复旦大学上海市智能信息处理重点实验室);School of Computer Science, Fudan University(复旦大学计算机科学技术学院)
近年来,长短期记忆神经网络(LSTM)由于其在许多任务中的成功而引起了广泛的兴趣。LSTM架构由一个存储单元和三个门组成,看起来类似于大脑中的神经元网络。然而,仍然缺乏LSTM架构的认知可扩展性及其工作机制的证据。在本文中,我们通过将LSTM的内部结构与受试者阅读故事时通过fMRI观察到的大脑活动相结合来研究LSTM的认知可扩展性。实验结果表明,LSTM中的人工记忆向量可以准确地预测观察到的顺序大脑活动,表明LSTM架构与故事阅读认知过程之间的相关性。
2016-04-22 cs.AI cs.CL cs.LG
Large-Scale Spectrum Occupancy Learning via Tensor Decomposition and LSTM Networks
University of Central Florida(中佛罗里达大学)
提出了一种基于长短期记忆(LSTM)递归神经网络的大规模频谱占用学习新范式。研究表明,频谱使用是一个高度相关的时间序列。此外,不同频率信道之间的频谱占用存在相关性。因此,使用一维时间序列的学习和预测来揭示所有这些相关性并不是一项简单的任务。在本文中,我们介绍了一个新的框架,用于表示在张量格式的频谱测量。接下来,提出了一种基于CANDECOMP/PARFAC(CP)张量分解和LSTM递归神经网络的时间序列预测方法。所提出的方法是计算效率高,是能够捕获不同类型的相关性内的测量光谱。此外,它对噪声和感测频谱的缺失条目具有鲁棒性。在大规模的合成数据集的预测精度和计算效率方面,所提出的方法的优越性进行评估。
2019-05-10 cs.CV cs.LG cs.NE
Improving the performance of optical inverse design of multilayer thin films using CNN-LSTM tandem neural networks
Kyung Hee University(庆熙大学);Myongji University(明知大学)
针对多层薄膜光学逆向设计中传统方法耗时的问题,提出采用含CNN、LSTM的多种结构串联神经网络,发现CNN-LSTM型TNN兼顾准确率与速度,为最优方案。
2025-06-11 cs.CE cs.LG cs.NE
Wider and Deeper, Cheaper and Faster: Tensorized LSTMs for Sequence Learning
University College London(伦敦大学学院);National University of Defense Technology(国防科技大学);Sichuan University(四川大学);Alan Turing Institute(艾伦·图灵研究所)
长短期记忆(LSTM)是一种流行的方法,可以提高递归神经网络存储长期时间信息的能力。LSTM网络的容量可以通过扩大和增加层来增加。然而,通常前者引入了额外的参数,而后者增加了运行时间。作为替代方案,我们提出了张量化LSTM,其中隐藏状态由张量表示,并通过跨层卷积进行更新。通过增加张量的大小,网络可以有效地扩展,而无需额外的参数,因为参数在张量中的不同位置共享;通过延迟输出,网络可以隐式地加深,而只需很少的额外运行时间,因为每个时间步的深度计算合并到序列的时间计算中。在五个具有挑战性的序列学习任务上进行的实验表明了该模型的潜力。
2017-12-13 cs.AI cs.LG cs.NE