Assessing the Memory Ability of Recurrent Neural Networks
Tianjin University(天津大学);University of Padua(帕多瓦大学);Beijing Institute of Technology(北京理工大学)
已知循环神经网络(RNN)可以在其隐藏层中记住由序列表达的部分语义信息(例如,一个句子)正在被处理。设计了不同类型的递归单元,使RNN能够在更长的时间跨度内记住信息。然而,不同递归单元的记忆能力在理论上和经验上仍然不清楚,从而限制了更有效和可解释的RNN的发展。为了解决这个问题,本文识别和分析了影响RNN记忆能力的内部和外部因素,并提出了一个语义欧氏空间来表示序列所表达的语义。基于语义欧氏空间,定义了一系列评价指标来衡量不同递归单元的记忆能力,并分析了它们的局限性。这些评估指标也为训练过程中为不同的RNN选择合适的序列长度提供了有用的指导。
2020-02-18 cs.CL cs.LG cs.NE
Memory Visualization for Gated Recurrent Neural Networks in Speech Recognition
Tsinghua University(清华大学);Chengdu Institute of Computer Applications, Chinese Academy of Sciences(中国科学院成都计算机应用研究所)
循环神经网络(RNN)在序列建模方面表现出明显的优势,特别是具有门控单元的网络,如长短期记忆(LSTM)和门控循环单元(GRU)。然而,在许多应用中,卓越性能背后的动态特性仍然不清楚,例如,自动语音识别。本文采用可视化技术来研究LSTM和GRU在执行语音识别任务时的行为。我们的实验显示了门控记忆中的一些有趣的模式,其中一些启发了对网络结构的简单而有效的修改。我们报告了其中的两个修改:(1)LSTM中的懒惰单元更新,以及(2)残余学习的快捷连接。这两种修改都会导致更容易理解和更强大的网络。
2017-02-27 cs.CL cs.LG cs.NE
MART: Memory-Augmented Recurrent Transformer for Coherent Video Paragraph Captioning
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Tencent AI Lab(腾讯人工智能实验室);Microsoft Dynamics 365 AI(微软Dynamics 365人工智能部门)
为视频生成多句描述是最具挑战性的字幕任务之一,因为它不仅对视觉相关性而且对段落中句子之间基于话语的连贯性有很高的要求。为了实现这一目标,我们提出了一种新的方法,称为内存增强的循环Transformer(MART),它使用一个内存模块来增加的Transformer架构。记忆模块根据视频片段和句子历史生成高度概括的记忆状态,以便帮助更好地预测下一个句子(w.r.t.共指和重复方面),从而鼓励连贯的段落生成。在两个流行的数据集ActivityNet Captions和YouCookII上进行的大量实验、人工评估和定性分析表明,与基线方法相比,MART生成的段落标题更连贯,重复性更低,同时保持了与输入视频事件的相关性。所有代码都是开源的,网址是:https://github.com/jayleicn/recurrent-transformer
2020-05-11 cs.CL cs.CV cs.LG
Understanding LSTM -- a tutorial into Long Short-Term Memory Recurrent Neural Networks
Schmalkalden University of Applied Sciences(施马尔卡尔登应用科学大学);Singapore University of Technology and Design(新加坡科技设计大学)
长短期记忆循环神经网络(LSTM-RNN)是目前已知的最强大的动态分类器之一。网络本身和相关的学习算法都有相当好的文档记录,以了解它是如何工作的。本文将更深入地了解LSTM-RNN是如何发展的,以及为什么它们工作得如此出色,重点关注早期的突破性出版物。我们显著改进了文档,并修复了以前出版物中积累的一些错误和不一致。为了支持理解,我们也修改和统一了所使用的符号。
2019-09-12 cs.CL cs.LG cs.NE
Memory-Augmented Recurrent Neural Networks Can Learn Generalized Dyck Languages
Harvard John A. Paulson School of Engineering and Applied Sciences(哈佛大学约翰·A·保尔森工程与应用科学学院);MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
我们介绍了三个内存增强的循环神经网络(MARNN),并探讨了一系列简单的语言建模任务,其解决方案需要基于堆栈的机制,他们的能力。我们提供了神经网络识别广义Dyck语言的第一个演示,广义Dyck语言表达了具有层次结构的语言的核心。我们的内存增强架构很容易训练在一个端到端的方式,可以学习的Dyck语言超过多达六个括号对,除了两个确定性回文语言和字符串反转转换任务,通过模仿下推自动机。我们的实验强调了内存增强模型在简单RNN上的建模能力,同时也反映了我们对这些模型局限性的理解。
2019-11-08 cs.CL cs.LG cs.NE
Recurrent Dropout without Memory Loss
Universität zu Lübeck(吕贝克大学);Google Research(谷歌研究院)
提出了一种新的递归神经网络(RNN)正则化方法。继广泛采用的dropout方法(应用于前馈架构或RNN的\textit{forward}连接)之后,我们提出以不会导致长期记忆丢失的方式直接在\textit{recurrent}连接中丢弃神经元。我们的方法和常规的前馈丢弃一样容易实现和应用,我们证明了它对长短期记忆网络(最流行的RNN细胞类型)的有效性。我们在NLP基准测试上的实验表明,即使与传统的前馈丢弃相结合,也能得到一致的改进。
2016-08-05 cs.CL
Understanding Recurrent Neural State Using Memory Signatures
MIT(麻省理工学院);Google, Inc.(谷歌公司)
我们展示了一种网络可视化技术来分析语言和声学模型中常用的LSTM/GRU内部的递归状态。在端到端模型中解释中间状态和网络激活仍然是一个开放的挑战。我们的方法可以让用户准确地了解有多少和什么历史编码内的经常性状态的字形序列模型。我们的过程训练多个解码器,预测先前的输入历史。编译这些解码器的结果,用户可以获得递归内核的签名,该签名表征其内存行为。我们证明了这种方法的有用性,在揭示信息分歧的基础上经常性的因式分解内核,可视化的字符级之间的差异的记忆的n-gram和经常性的语言模型,并提取知识的历史编码层的grapheme-based端到端的ASR网络。
2018-02-11 cs.CL
Multi-Head Recurrent Memory Agents
Department of Computer Science, University of Wisconsin-Madison(威斯康星大学麦迪逊分校计算机科学系)
针对递归记忆智能体在长上下文中性能退化问题,提出多头递归记忆(MHM)框架,通过分阶段选择-更新策略隔离记忆头,显著提升记忆保持率和端到端准确性。
2026-11-17 cs.AI cs.CL cs.LG
Sentiment Analysis Using Simplified Long Short-term Memory Recurrent Neural Networks
Michigan State University(密歇根州立大学)
LSTM或长短期记忆网络是一种特定类型的递归神经网络(RNN),在处理长序列数据和学习长期依赖关系方面非常有效。在这项工作中,我们执行情感分析的GOP辩论Twitter数据集。为了加快训练速度并降低计算成本和时间,提出了六种不同的参数缩减的LSTM模型(Slim LSTM)。我们在数据集上评估了其中两个模型。比较了这两个LSTM模型与标准LSTM模型的性能。还研究了双向LSTM层的效果。除了为不同的LSTM模型建立最佳的超参数集之外,这项工作还包括选择最佳架构的研究。
2020-05-08 cs.CL cs.LG stat.ML
Attention-based Memory Selection Recurrent Network for Language Modeling
National Taiwan University(国立台湾大学)
递归神经网络(RNN)在语言建模方面取得了巨大的成功。然而,由于RNN具有固定的内存大小,它们的内存无法存储有关句子中之前看到的单词的所有信息,因此在预测下一个单词时可能会忽略有用的长期信息。在本文中,我们提出了基于注意力的记忆选择递归网络(AMSRN),在该网络中,模型可以回顾存储在记忆中的信息在每个前一个时间步,并选择相关的信息,以帮助生成输出。在实验中,AMSRN的注意力机制发现了存储在记忆中的相关信息的时间步长,而记忆选择决定了计算注意权重时涉及的记忆维度以及信息的提取。在实验中,AMSRN在英语和汉语语料库上的表现优于基于长短期记忆(LSTM)的语言模型。此外,我们研究使用熵作为注意力权重的正则化,并可视化注意力机制如何帮助语言建模。
2016-11-26 cs.CL
A Novel Framework for Recurrent Neural Networks with Enhancing Information Processing and Transmission between Units
School of Electronics Engineering and Computer Science, Peking University(北京大学电子工程与计算机学院)
基于认知神经科学中的人类记忆模型,提出了一种新的循环神经网络(RNN)框架,以增强相邻RNN单元之间的信息处理和传输。RNN的框架由工作记忆、遗忘和长期存储三个阶段组成。第一阶段包括将输入数据取入感觉记忆,并将其转移到工作记忆进行初步处理。第二阶段主要是主动遗忘工作记忆中的次要信息而不是主要信息。最后,我们通常使用某种RNN的单位来获得长期存储。我们的框架,这是广义和简单的,6个数据集,分为3个不同的任务,对应于文本分类,图像分类和语言建模进行评估。实验结果表明,该框架可以明显提高传统循环神经网络的性能。探索性任务显示了我们的框架正确遗忘次要信息的能力。
2018-06-02 cs.CL cs.LG cs.NE
Linear-Time and Constant-Memory Text Embeddings Based on Recurrent Language Models
Dynatrace Research(DynaTrace研究)
本文提出基于循环架构的高效文本嵌入方法,通过垂直分块推理策略实现线性时间复杂度和常数内存使用,验证了Mamba2等模型在文本嵌入任务中的有效性。
2026-04-20 cs.CL
DeltaTTT: Layerwise Optimization for Nonlinear Recurrent Memory
Qiuzhen College, Tsinghua University(清华大学求真书院);LeapLab, Tsinghua University(清华大学LeapLab实验室);IQuest Research(IQuest研究院)
针对非线性记忆在序列测试时训练中优化困难的问题,提出DeltaTTT,采用逐层学习与状态相关delta规则,在保留非线性读出的同时支持并行计算,并在DeltaNet和LaCT上提升语言建模与检索性能。
2026-10-07 cs.AI cs.CL cs.LG
Associative Recurrent Memory Transformer
MIPT(莫斯科物理技术学院);AIRI(人工智能研究机构);London Institute for Mathematical Sciences(伦敦数学科学研究所)
本文提出 ARMT 架构,结合局部自注意力与段级循环记忆,实现恒定时间长序列处理,并在联想检索及 BABILong 超 5000 万 token 任务上取得最优结果。
2025-02-13 cs.AI cs.CL cs.LG
Recurrent Memory Networks for Language Modeling
Informatics Institute, University of Amsterdam(阿姆斯特丹大学信息学研究所)
递归神经网络(RNN)在许多自然语言处理(NLP)任务中取得了很好的效果。然而,理解和解释这一成功的来源仍然是一个挑战。在本文中,我们提出了递归记忆网络(RMN),这是一种新型的RNN架构,它不仅增强了RNN的功能,还有助于我们理解其内部功能,并允许我们发现数据中的潜在模式。我们展示了RMN在语言建模和句子完成任务上的强大功能。在语言建模方面,RMN在三个大型德语、意大利语和英语数据集上的表现优于长短期记忆(LSTM)网络。此外,我们对RMN捕获的各种语言维度进行了深入分析。在句子完成挑战中,捕获句子连贯性至关重要,我们的RMN获得了69.2%的准确率,大大超过了以前的最先进水平。
2016-04-22 cs.CL
On Extended Long Short-term Memory and Dependent Bidirectional Recurrent Neural Network
University of Southern California(南加州大学)
在这项工作中,我们首先分析了三个递归神经网络(RNN)细胞中的记忆行为;即简单RNN(SRN),长短期记忆(LSTM)和门控递归单元(GRU),其中记忆被定义为将序列中的先前元素映射到当前输出的函数。我们的研究表明他们三个人的记忆都在快速衰退。然后,为了减轻这种影响,我们引入了可训练的缩放因子,它就像一种注意力机制,可以自适应地调整记忆衰退。新的设计被称为扩展的LSTM(ELSTM)。最后,为了设计一个对以前的错误预测具有鲁棒性的系统,我们提出了一个依赖双向循环神经网络(DBRNN)。在不同的语言任务上进行了大量的实验,以证明所提出的ELSTM和DBRNN解决方案的优越性。在依存句法分析(DP)任务中,与LSTM和GRU相比,ELTSM的标记附件得分(LAS)提高了30%。我们的模型在LAS中的表现也优于其他最先进的模型,例如双注意力和卷积序列到序列(convseq 2seq),接近10%。代码以开源形式发布(https://github.com/yuanhangsu/ELSTM-DBRNN)
2019-11-17 cs.CL cs.LG cs.NE
Recurrent Entity Networks with Delayed Memory Update for Targeted Aspect-based Sentiment Analysis
The University of Melbourne(墨尔本大学);School of Computing and Information Systems(计算与信息系统学院)
虽然神经网络已被证明可以实现令人印象深刻的结果,基于方面的情感分析(TABSA)-提取细粒度的意见极性w.r.t.预先定义的一组方面-仍然是一项艰巨的任务。出于最近的进展,内存增强模型的机器阅读,我们提出了一种新的架构,利用外部的“内存链”与延迟的内存更新机制来跟踪实体。在TABSA任务中,所提出的模型比最先进的方法(包括使用外部知识库的方法)有了很大的改进。
2018-04-30 cs.CL
In Search of Needles in a 11M Haystack: Recurrent Memory Finds What LLMs Miss
AIRI;MIPT(莫斯科物理技术学院);London Institute for Mathematical Sciences(伦敦数学科学研究所)
本文提出BABILong基准,发现GPT-4和RAG仅能处理万级元素序列,而通过循环记忆增强微调GPT-2可处理1100万元素长文档,刷新神经网络最长输入处理纪录。
2024-02-21 cs.AI cs.CL cs.LG
Recurrent Neural Networks with External Memory for Language Understanding
The Chinese University of Hong Kong(香港中文大学);Microsoft Research(微软研究院)
循环神经网络(RNN)在语言理解任务中越来越受欢迎。在这个任务中,语义标记器被部署为将语义标签与输入序列中的每个单词相关联。RNN的成功可能归因于其记忆长期依赖性的能力,该长期依赖性将当前时间的语义标签预测与许多时间实例之外的观察相关联。然而,由于梯度消失和爆炸问题,简单RNN的存储容量有限。我们建议使用外部存储器来提高RNN的记忆能力。我们在ATIS数据集上进行了实验,并观察到所提出的模型能够达到最先进的结果。我们将我们提出的模型与替代模型进行比较,并报告分析结果,为未来的研究提供见解。
2015-05-31 cs.AI cs.CL cs.LG
Linguistic Knowledge as Memory for Recurrent Neural Networks
Carnegie Mellon University(卡内基梅隆大学)
训练循环神经网络来建模长期依赖性是困难的。因此,我们建议使用外部语言知识作为显式信号,以告知模型应该使用哪些记忆。具体地说,外部知识被用来增加一个序列与任意距离的元素之间的类型化的边缘,和所得到的图被分解成有向非循环子图。我们介绍了一个模型,编码这样的图形作为显式记忆的循环神经网络,并用它来模拟文本中的共指关系。我们将我们的模型应用于几个文本理解任务,并在所有考虑的基准测试中取得了新的最先进的结果,包括CNN,bAbi和LAMBADA。在bAbi QA任务上,我们的模型解决了20个任务中的15个,每个任务只有1000个训练样本。对学习到的表示的分析进一步证明了我们的模型在文档中编码细粒度实体信息的能力。
2017-03-07 cs.CL
Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Recurrent Neural Network
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asian(微软亚洲研究院);Educational Testing Service Research(美国教育考试服务中心研究院)
双向长短期记忆循环神经网络(BLSTM-RNN)已被证明是非常有效的标记序列数据,例如语音话语或手写文档。而词嵌入作为表征自然语言统计特性的一种有力手段,已经得到了广泛的应用。在这项研究中,我们提出了使用BLSTM-RNN与词嵌入的词性(POS)标注任务。在Penn Treebank WSJ测试集上进行测试时,达到了97.40的标记准确率。在不使用形态特征的情况下,该方法也可以达到与Stanford POS标注器相媲美的良好性能。
2015-10-21 cs.CL
Long Short-Term Memory Based Recurrent Neural Network Architectures for Large Vocabulary Speech Recognition
Google(谷歌)
长短期记忆(LSTM)是一种循环神经网络(RNN)架构,旨在解决传统RNN的消失和爆炸梯度问题。与前馈神经网络不同,RNN具有循环连接,这使得它们在序列建模方面非常强大。它们已成功地用于序列标记和序列预测任务,如手写识别,语言建模,声学帧的语音标记。然而,与深度神经网络相比,RNN在语音识别中的使用仅限于小规模任务中的电话识别。在本文中,我们提出了新的基于LSTM的RNN架构,它可以更有效地利用模型参数来训练用于大词汇量语音识别的声学模型。我们训练和比较LSTM,RNN和DNN模型在不同数量的参数和配置。我们表明,LSTM模型收敛速度很快,并为相对较小的模型提供了最先进的语音识别性能。
2014-02-05 cs.CL cs.LG cs.NE
Balancing Memory Pathways: Analyzing and Improving Memory Utilization in Hybrid LMs
UNC Chapel Hill(北卡罗来纳大学教堂山分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Mila(米拉研究所);Yale University(耶鲁大学)
本文发现混合语言模型过度依赖注意力而忽视循环记忆通路,提出辅助损失以限制注意力早期访问,促进循环通路使用,提升长上下文与信息聚合任务性能。
2026-10-06 cs.AI cs.CL
Exploring Learnability in Memory-Augmented Recurrent Neural Networks: Precision, Stability, and Empirical Insights
University of South Florida(南佛罗里达大学)
本文通过实验与理论分析发现,冻结记忆组件可稳定时间依赖并显著提升记忆增强 RNN 的长序列泛化能力,在 Penn Treebank 上将测试困惑度从 123.5 降至 120.5。
2024-10-04 cs.CL
Recurrent Neural Networks and Long Short-Term Memory Networks: Tutorial and Survey
University of Waterloo(滑铁卢大学)
本文以教程兼综述形式系统讲解RNN与LSTM,涵盖BPTT、梯度问题及解决思路、LSTM/GRU结构变体,以及双向模型与ELMo。
2023-04-22 cs.CL cs.LG cs.NE
Recurrent Memory Addressing for describing videos
Indian Institute of Technology Kharagpur(印度理工学院卡哈拉格普尔分校)
在本文中,我们介绍了键值记忆网络的多模态设置和一种新的键寻址机制来处理序列到序列模型。该模型自然地将视频描述问题分解为视觉和语言片段,将它们作为键值对进行处理。更具体地说,我们学习与视频中的每个帧(k)对应的语义嵌入(v),从而创建(k,v)个存储槽。我们建议找到下一个步骤的注意力权重的条件上以前的注意力分布的键值内存插槽中的内存寻址模式。利用框架的这种灵活性,我们还捕获空间依赖性,同时从视觉映射到语义嵌入。在Youtube2Text数据集上进行的实验证明了循环键寻址的有用性,同时在BLEU@4,METEOR指标上获得了与最先进模型相比的竞争力分数。
2017-03-23 cs.CL cs.CV
Persistent Recurrent Memory Between Transformer Layers - Improves Language Model Generalization
FITec Labs / Ericsson São Paulo(FITec实验室 / 爱立信圣保罗)
本文提出在Transformer层间插入带GRU的持久循环记忆模块,仅增3.7%参数即显著降低28.5%的评估损失,减少过拟合,证明该拓扑是提升小模型泛化的简单有效方法。
2026-09-16 cs.CL
Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition
Peking University(北京大学)
基于长短期记忆(LSTM)的声学建模方法最近已被证明在某些语音识别任务上具有最先进的性能。为了进一步提高性能,在这项研究中,考虑到深层层次模型比浅层模型更有效,研究了LSTM的深层扩展。受先前关于构建深度循环神经网络(RNN)的研究的启发,提出了替代的深度LSTM架构,并在大词汇量会话电话语音识别任务上进行了经验评估。同时,对于多GPU设备,介绍并讨论了LSTM网络的训练过程。实验结果表明,深度LSTM网络受益于深度,并在此任务上产生最先进的性能。
2015-05-11 cs.CL cs.NE
Restricted Recurrent Neural Tensor Networks: Exploiting Word Frequency and Compositionality
Institute of Informatics, Federal University of Rio Grande do Sul(联邦南里奥格兰德大学信息学院);School of Computer Science and Electronic Engineering, University of Essex(埃塞克斯大学计算机科学与电子工程学院)
增加递归神经网络(RNN)的容量通常涉及增加隐藏层的大小,从而显著增加计算成本。递归神经张量网络(RNTN)为每个单词使用不同的隐藏层权重来增加容量,但内存使用成本更高。在本文中,我们引入了限制递归神经张量网络(r-RNTN),它为频繁词汇保留不同的隐藏层权重,同时为不频繁词汇共享一组权重。复杂度评估表明,对于固定的隐藏层大小,r-RNTN提高语言模型的性能,RNN只使用一小部分的参数的不受限制的RNTN。这些结果适用于使用门控递归单位和长短期记忆的r-RNTN。
2018-05-11 cs.CL
Long Short-Term Memory based Convolutional Recurrent Neural Networks for Large Vocabulary Speech Recognition
Peking University(北京大学)
长短期记忆(LSTM)循环神经网络(RNN)已被证明在许多语音识别任务上具有最先进的性能,因为它们能够提供所有序列历史的学习动态变化的上下文窗口。另一方面,卷积神经网络(CNN)为深度前馈神经网络(FFNN)带来了显著的改进,因为它们能够更好地减少输入信号中的频谱变化。结合CNN和LSTM RNN提出了一种称为卷积递归神经网络(CRNN)的网络结构。在提出的CRNN中,没有相邻上下文帧的每个语音帧被组织为沿频率轴的许多局部特征块,然后对沿时间轴的每个特征块执行LSTM网络。我们训练和比较FFNN,LSTM RNN和建议的LSTM CRNN在不同数量的配置。实验结果表明,LSTM CRNN可以超过最先进的语音识别性能。
2016-10-11 cs.CL cs.NE
RPMem: Learning Long-Term Recurrent Parametric Memory Across Sessions for LLM Agents
Fudan University(复旦大学);Qwen Applications Business Group, Alibaba Group(阿里巴巴集团通义千问应用业务集团)
RPMem提出两阶段架构,将会话编译为模型无关的潜在记忆并经循环门控跨会话整合,映射为LoRA参数,实现跨骨干可复用的演化记忆,在多个基准上超越现有方法。
2026-11-19 cs.AI cs.CL
When to Memorize and When to Stop: Gated Recurrent Memory for Long-Context Reasoning
National University of Singapore(新加坡国立大学)
GRU-Mem通过引入两个文本控制的门,实现了更稳定和高效的长上下文推理,显著提升了推理速度和性能。
2026-02-11 cs.AI cs.CL
Extending LLM Context via Associative Recurrent Memory
FusionBrain Lab(融合大脑实验室);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Cognitive AI Systems Lab(认知人工智能系统实验室);RUDN(俄罗斯人民友谊大学);London Institute for Mathematical Sciences(伦敦数学科学研究所);MIRAI(未来人工智能研究机构);Lomonosov Moscow State University(莫斯科国立罗蒙诺索夫大学);Laboratory for Analysis and Controllable Text Generation Technologies RAS(俄罗斯科学院分析与可控文本生成技术实验室);School of Natural Sciences, Institute for Advanced Study, Princeton(普林斯顿高等研究院自然科学学院);Department of Brain Sciences, Weizmann Institute of Science(魏茨曼科学研究所脑科学系)
研究如何通过关联循环记忆扩展大语言模型上下文长度。提出ARMT方法,构建特定数据集,给出综合训练方法。实验表明该方法能让模型处理超长输入,更好泛化,且降低计算量。
2026-07-14 cs.AI cs.CL
Memory-efficient Speech Recognition on Smart Devices
Facebook Inc.(脸书公司)
循环换能器模型已经成为当前和下一代智能设备上的语音识别的有前途的解决方案。传感器模型在合理的内存占用范围内提供具有竞争力的精度,从而缓解了这些设备中的内存容量限制。然而,这些模型从片外存储器访问每个输入时间步长的参数,这对设备电池寿命产生不利影响,并限制了它们在低功耗设备上的可用性。我们解决传感器模型的内存访问问题,通过优化其模型架构和设计新颖的循环单元设计。我们证明了i)模型的能量成本主要由从片外存储器访问模型权重决定,ii)换能器模型架构在确定对片外存储器的访问次数方面是关键的,并且仅仅模型大小不是一个好的代理,iii)我们的换能器模型优化和新颖的递归单元以最小的精度影响将片外存储器访问减少了4.5倍并且将模型大小减少了2倍。
2021-02-23 cs.CL cs.SD eess.AS
High Order Recurrent Neural Networks for Acoustic Modelling
消失的长期梯度是训练标准循环神经网络(RNN)的一个主要问题,这可以通过具有存储单元的长短期记忆(LSTM)模型来缓解。然而,与存储单元相关的额外参数意味着LSTM层的参数是具有相同隐藏向量大小的RNN的四倍。本文使用高阶RNN(HORNN)解决消失梯度问题,该高阶RNN具有来自多个先前时间步的额外连接。使用英国英语多体裁广播(MGB 3)数据的语音识别实验表明,所提出的校正线性单元和sigmoid激活函数的HORNN架构比相应的RNN降低了4.2%和6.3%的单词出错率(WER),并给出了与(投影)LSTM相似的WER,同时仅使用20%-50%的递归层参数和计算。
2018-02-22 cs.AI cs.CL eess.AS