Variational Bayesian Sequence-to-Sequence Networks for Memory-Efficient Sign Language Translation
Cyprus University of Technology(塞浦路斯理工大学);University of Patras(帕特雷大学);Rutgers University(罗格斯大学)
高效记忆的连续手语翻译是开发实时适用于聋人的辅助技术的一个重大挑战。在这项工作中,我们介绍了一种设计递归深度网络的范例,其中递归层的输出来自非参数统计的适当参数。提出了一种新的变分贝叶斯序列到序列网络结构,该结构包括:a)用于数据驱动存储压缩的全高斯后验分布和b)用于应用于门控递归单元非门权重的正则化的非参数Indian Buffet过程先验。我们将我们的方法称为Stick-Breaking Recurrent网络,并表明它可以在不降低建模性能的情况下实现大幅的权重压缩。
2021-02-11 cs.LG stat.ML
Learning to update Auto-associative Memory in Recurrent Neural Networks for Improving Sequence Memorization
IBM Research(IBM研究院)
学习记忆长序列仍然是循环神经网络的一项具有挑战性的任务。寄存器记忆和注意力机制都被提出来解决这个问题,要么高计算成本,以保持记忆的可微性,或通过折扣的RNN表示学习编码更短的本地上下文比鼓励长序列编码。联想记忆研究的是在一个固定大小的存储器中压缩多个模式,近年来很少被考虑。虽然最近的一些工作试图在RNN中引入联想记忆,并模仿Hopfield网络中的能量衰减过程,但它继承了基于规则的记忆更新的缺点,并且记忆容量有限。本文提出了一种结合任务目标学习记忆更新规则的方法,以提高对长序列的记忆能力。此外,我们提出了一个架构,使用多个这样的联想记忆更复杂的输入编码。与其他RNN架构相比,我们在一些经过充分研究的序列学习任务中观察到了一些有趣的事实。
2017-10-03 cs.AI cs.LG stat.ML
Memory of recurrent networks: Do we compute it right?
University of Mannheim(曼海姆大学);University of St. Gallen(圣加仑大学);University of Warwick(华威大学);Nanyang Technological University(南洋理工大学)
针对线性回声状态网络记忆容量数值估计违背理论界限的问题,论文揭示忽略 Krylov 结构导致的数值偏差,并利用输入掩码中性提出稳健计算方法,使记忆曲线与理论完全吻合。
2024-09-10 cs.LG stat.ML
ARMIN: Towards a More Efficient and Light-weight Recurrent Memory Network
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
近年来,记忆增强的神经网络(MANN)已经显示出很有前途的权力,以提高记忆能力的神经网络的顺序处理任务。然而,以前的人工神经网络遭受复杂的存储器寻址机制,使他们相对难以训练,并导致计算开销。此外,它们中的许多重用经典的RNN结构,如LSTM用于内存处理,导致内存信息的低效利用。在本文中,我们介绍了一种新的人,自动寻址和递归存储集成网络(ARMIN)来解决这些问题。ARMIN只利用隐藏状态ht进行自动存储器寻址,并使用一种新的RNN单元进行存储器信息的精细集成。各种实验的实证结果表明,ARMIN是更轻的重量和效率相比,现有的记忆网络。此外,我们证明了ARMIN可以实现比vanilla LSTM低得多的计算开销,同时保持类似的性能。代码可在github.com/zoharli/armin上获得。
2019-06-28 cs.LG cs.NE stat.ML
Encoding-based Memory Modules for Recurrent Neural Networks
University of Pisa(比萨大学);University of Padova(帕多瓦大学)
学习使用循环模型解决序列任务需要记住长序列并从中提取任务相关特征的能力。本文从循环神经网络的设计和训练的角度研究记忆子任务。我们提出了一个新的模型,线性记忆网络,它具有一个基于编码的记忆组件,内置一个线性自动编码器的序列。我们扩展的记忆组件与模块化的存储器,在不同的采样频率编码的隐藏状态序列。此外,我们还提供了一种专门的训练算法,该算法可以有效地对网络的隐藏激活进行编码。合成和真实世界的数据集上的实验结果表明,专门的训练算法,训练记忆组件总是提高最终的性能时,记忆的长序列是必要的,以解决问题。
2020-01-31 cs.LG cs.NE stat.ML
NeuroMemFPP: A recurrent neural approach for memory-aware parameter estimation in fractional Poisson process
Operations Management and Quantitative Techniques Area, Indian Institute of Management Indore, Indore 453556, India.(印度印地纳管理学院运营管理与定量技术部门,印度印地纳,453556)
NeuroMemFPP通过LSTM网络有效估计分数泊松过程参数,降低MSE达55.3%,在真实数据中展现良好性能。
2025-12-05 cs.LG stat.ML
Compact Recurrent Transformer with Persistent Memory
University of Kentucky(肯塔基大学);SRI International(SRI国际)
提出紧凑循环Transformer(CRT),结合浅层Transformer与循环神经网络管理持久记忆向量,在显著减少计算量和片段长度下,于语言和视频任务中实现优异性能。
2025-05-02 cs.LG stat.ML
Depth Enables Long-Term Memory for Recurrent Neural Networks
Faculty of Computer Science and Engineering The Hebrew University of Jerusalem(计算机科学与工程学院 希伯来大学耶路撒冷分校);The Hebrew University of Jerusalem(希伯来大学耶路撒冷分校);Faculty of Computer Science and Engineering(计算机科学与工程学院)
现代循环神经网络(RNN)在涉及序列数据的学习任务上取得空前成功的一个关键属性是它们能够对复杂的长期时间依赖性进行建模。然而,缺乏对RNN长期记忆能力的一个完善的衡量标准,因此对深度对其在整个时间内关联数据的能力的影响的正式理解是有限的。具体来说,卷积网络上现有的深度效率结果不足以解释深度RNN在不同长度数据上的成功。为了解决这个问题,我们引入了一个衡量网络支持跨时间信息流的能力的指标,称为起止分离秩,它反映了递归网络实现的函数与输入序列的开始和结束之间没有依赖关系的距离。我们证明了深经常性网络支持的起始-结束分离秩组合高于浅对应网络支持的秩。因此,我们确定深度在递归网络建模长期依赖关系的能力方面具有压倒性的优势,并提供了量化这一关键属性的范例。我们通过广泛的实验评估,使用限制隐藏到隐藏矩阵正交的优化技术,经验性地证明了常见RNN上讨论的现象。最后,我们使用量子张量网络的工具来获得有关递归网络深度带来的复杂性的额外图形见解。
2020-03-23 cs.LG stat.ML
The difference between memory and prediction in linear recurrent networks
Massachusetts Institute of Technology(麻省理工学院)
循环网络被训练成更好地记住它们的输入,通常是希望这样的训练能提高网络的预测能力。我们发现,设计用于记忆输入的网络在预测方面可能会任意糟糕。我们还发现,对于几种类型的输入,一个节点的网络优化预测几乎是在由维纳滤波器给出的预测能力的上限,并且在性能上大致相当于随机生成的五个节点的网络。我们的研究结果表明,最大化的记忆容量导致非常不同的网络比最大化的预测能力,优化经常性的权重可以减少水库大小的半个数量级。
2017-08-14 cs.LG
A bio-inspired bistable recurrent cell allows for long-lasting memory
University of Liège(列日大学)
递归神经网络(RNN)在各种需要记忆的任务中提供了最先进的性能。这些性能通常可以通过门控递归单元(GRU)和长短期记忆(LSTM)等门控递归单元来实现。标准门控单元共享一层内部状态以在网络级存储信息,并且长期记忆由网络范围的递归连接权重形成。另一方面,生物神经元能够通过称为双稳态的过程在细胞水平上保持信息任意长的时间。通过双稳态,细胞可以根据自己的过去状态和输入稳定到不同的稳态,这允许在神经元状态中持久存储过去信息。在这项工作中,我们从生物神经元双稳态中获得灵感,在细胞水平上嵌入具有持久记忆的RNN。这导致引入了一种新的生物学启发的递归细胞,该细胞被证明可以大大提高RNN在时间序列上的性能,这些时间序列需要非常长的记忆,尽管只使用细胞连接(所有递归连接都是从神经元到它们自己,即神经元状态不受其他神经元状态的影响)。此外,为这种细胞配备反复的神经调节允许将它们与标准GRU细胞联系起来,朝着GRU的生物可接受性迈出了一步。
2020-06-09 cs.LG cs.NE
Sentiment Analysis Using Simplified Long Short-term Memory Recurrent Neural Networks
Michigan State University(密歇根州立大学)
LSTM或长短期记忆网络是一种特定类型的递归神经网络(RNN),在处理长序列数据和学习长期依赖关系方面非常有效。在这项工作中,我们执行情感分析的GOP辩论Twitter数据集。为了加快训练速度并降低计算成本和时间,提出了六种不同的参数缩减的LSTM模型(Slim LSTM)。我们在数据集上评估了其中两个模型。比较了这两个LSTM模型与标准LSTM模型的性能。还研究了双向LSTM层的效果。除了为不同的LSTM模型建立最佳的超参数集之外,这项工作还包括选择最佳架构的研究。
2020-05-08 cs.CL cs.LG stat.ML
Maglev: Sliding Recurrent Memory
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出Maglev,一种带固定记忆的循环Transformer架构,通过耦合模型与记忆一致性损失实现训练可并行性,在验证损失及下游预训练基准上优于基线,参数共享可减少内存。
2026-08-06 cs.LG
Low-pass Recurrent Neural Networks - A memory architecture for longer-term correlation discovery
DeepMind Technologies(深度思维科技)
执行复杂任务的强化学习(RL)代理必须能够记住相当长时间间隔内的观察和动作。在学习的最初阶段尤其如此,因为探索性行为会增加具体行动与其效果之间的延迟。许多新的或流行的方法来学习这些遥远的相关性采用反向传播通过时间(BPTT),但这种技术需要存储足够长的观察轨迹,以跨越因果之间的间隔。除了内存需求,学习动态,如消失梯度和缓慢的收敛,由于不频繁的权重更新可以降低BPTT的实用性;同时,虽然在线循环网络学习是一个发展中的话题,大多数方法都不够有效,可以作为替代品。我们提出了一种简单,有效的记忆策略,可以扩展BPTT可以学习的窗口,而不需要更长的跟踪。我们探索这种方法经验上的一些任务,并讨论其影响。
2018-05-13 cs.AI cs.LG stat.ML
Separation of Memory and Processing in Dual Recurrent Neural Networks
Escuela Politécnica Superior, Universidad Autónoma de Madrid(马德里自治大学高等理工学院)
我们探索了一种神经网络架构,该架构堆叠了一个递归层和一个前馈层,该前馈层也连接到输入,并将其与标准Elman和LSTM架构在准确性和可解释性方面进行了比较。当噪声被引入到递归单元的激活函数中时,这些神经元被迫进入二进制激活状态,这使得网络表现得更像有限自动机。所得到的模型更简单,更易于解释,对不同的样本问题,包括正则语言的识别,不同基的加法计算和算术表达式的生成,都有更高的精度。
2020-05-17 cs.FL cs.LG cs.NE
On Extended Long Short-term Memory and Dependent Bidirectional Recurrent Neural Network
University of Southern California(南加州大学)
在这项工作中,我们首先分析了三个递归神经网络(RNN)细胞中的记忆行为;即简单RNN(SRN),长短期记忆(LSTM)和门控递归单元(GRU),其中记忆被定义为将序列中的先前元素映射到当前输出的函数。我们的研究表明他们三个人的记忆都在快速衰退。然后,为了减轻这种影响,我们引入了可训练的缩放因子,它就像一种注意力机制,可以自适应地调整记忆衰退。新的设计被称为扩展的LSTM(ELSTM)。最后,为了设计一个对以前的错误预测具有鲁棒性的系统,我们提出了一个依赖双向循环神经网络(DBRNN)。在不同的语言任务上进行了大量的实验,以证明所提出的ELSTM和DBRNN解决方案的优越性。在依存句法分析(DP)任务中,与LSTM和GRU相比,ELTSM的标记附件得分(LAS)提高了30%。我们的模型在LAS中的表现也优于其他最先进的模型,例如双注意力和卷积序列到序列(convseq 2seq),接近10%。代码以开源形式发布(https://github.com/yuanhangsu/ELSTM-DBRNN)
2019-11-17 cs.CL cs.LG cs.NE
Why Linear Recurrent Memory Works in Partially Observable Reinforcement Learning
EPFL(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(智能系统马克斯·普朗克研究所)
本文通过构造两种线性滤波器,从理论上证明了线性循环神经网络在部分可观测强化学习中作为记忆单元的有效性,并扩展到动作控制的隐马尔可夫模型。
2026-05-29 cs.AI cs.LG stat.ML
Learning Longer Memory in Recurrent Neural Networks
Facebook Artificial Intelligence Research(脸书人工智能研究院)
递归神经网络是一个强大的模型,学习时序数据中的时序模式。长期以来,人们认为,由于所谓的梯度消失问题,递归网络难以使用简单的优化器(例如随机梯度下降)进行训练。在本文中,我们表明,学习长期的模式,在真实的数据,如在自然语言,是完全可能使用梯度下降。这是通过对简单的递归神经网络架构进行轻微的结构修改来实现的。我们鼓励一些隐藏的单位,以改变他们的状态慢慢地通过使部分的经常性的权重矩阵接近单位,从而形成一种长期的记忆。我们在语言建模实验中评估了我们的模型,在那里我们获得了与更复杂的长短期记忆(LSTM)网络相似的性能(Hochreiter & Schmidhuber,1997)。
2015-04-16 cs.LG cs.NE
Feedforward Sequential Memory Neural Networks without Recurrent Feedback
University of Science and Technology of China(中国科学技术大学);York University(约克大学);IFLYTEK Research(科大讯飞研究院)
本文介绍了一种新的记忆神经网络结构,称为前馈顺序记忆网络(FSMN),它可以在不使用递归反馈的情况下学习长期依赖性。建议FSMN是一个标准的前馈神经网络配备了学习的顺序记忆块的隐藏层。在这项工作中,我们已经应用FSMN的几个语言建模(LM)的任务。实验结果表明,FSMN中的记忆块可以学习到长历史的有效表示。实验表明,基于FSMN的语言模型不仅可以显著优于基于前馈神经网络(FNN)的LM,而且还可以显著优于流行的递归神经网络(RNN)LM。
2015-10-09 cs.CL cs.LG cs.NE
Memory-based control with recurrent neural networks
Google Deepmind(谷歌DeepMind)
部分观测控制问题是强化学习的一个挑战性方面。我们扩展了两个相关的,无模型的连续控制算法-确定性的策略梯度和随机值梯度-解决部分观察域使用循环神经网络训练通过时间的反向传播。我们证明,这种方法,加上长短期记忆是能够解决各种各样的物理控制问题,表现出各种各样的内存需求。这些问题包括来自噪声传感器的信息的短期整合和系统参数的识别,以及需要在许多时间步长上保存信息的长期记忆问题。我们还证明了成功的结合探索和记忆问题的形式,一个简化版本的著名的莫里斯水迷宫任务。最后,我们证明了我们的方法可以通过直接从像素学习来处理高维观测。我们发现,经常性的确定性和随机政策能够学习类似的好的解决方案,这些任务,包括水迷宫的代理必须学习有效的搜索策略。
2015-12-14 cs.LG
Recurrent Memory Array Structures
IBM Research(IBM研究院)
以下报告介绍了增强标准长短期记忆(LSTM)架构的想法,每个隐藏单元具有多个存储单元,以提高其泛化能力。它考虑了内存操作的确定性和随机变量。结果表明,非确定性Array-LSTM方法提高了字符级文本预测的最新性能,在enwik 8数据集上实现了1.402 BPC。此外,本报告分别为enwik 9和enwik 10数据集建立了1.12 BPC和1.19 BPC的基线基于神经的结果。
2016-10-23 cs.LG cs.NE
Memory and forecasting capacities of nonlinear recurrent networks
Centre National de la Recherche Scientifique (CNRS)(法国国家科学研究中心)
存储容量的概念,最初介绍了回声状态和线性网络与独立的输入,推广到非线性递归网络与固定的,但依赖的输入。输入中的依赖性的存在使得引入网络预测能力变得自然,该网络预测能力测量使用网络状态预测时间序列值的可能性。记忆和预测能力的通用界制定的非线性经常性网络的神经元的数量和自协方差函数或输入的谱密度。这些界限推广了文献中的相关输入设置的众所周知的估计。最后,对于具有独立输入的线性递归网络的特殊情况,证明了存储容量由相关可控性矩阵的秩给出,这是一个长期以来一直被认为是真实的事实,但没有得到证明。
2020-09-02 cs.LG cs.NE math.OC
Linear Recurrent Memory Suffices to Distil a World-Model Policy for Robot Air Hockey
UNSW Sydney(新南威尔士大学悉尼分校)
本研究通过提炼DreamerV3教师模型至64维线性循环策略,证明在机器人空气曲棍球防守中,线性记忆足以应对跟踪丢失,非线性循环并非必需。
2026-11-17 cs.LG cs.RO
ReLMem: Learning Recurrent Memory for Longitudinal EHR Modeling
Zhejiang University(浙江大学);Tencent Jarvis Lab(腾讯杰维斯实验室)
ReLMem提出循环纵向记忆框架,通过轻量级适配器在固定预算下循环更新患者记忆,减少97.1%存储且接近完整历史性能,提升药物预测F1分数。
2026-09-30 cs.AI cs.LG
Bidirectional Quaternion Long-Short Term Memory Recurrent Neural Networks for Speech Recognition
Université d'Avignon(阿维尼翁大学);McGill University(麦吉尔大学);Orkis(奥基斯)
递归神经网络(RNN)是现代自动语音识别(ASR)系统的核心。特别是,长短期记忆(LSTM)递归神经网络在许多语音识别任务中取得了最先进的结果,这是由于它们在相互依赖的特征序列中有效地表示了长期和短期依赖性。然而,传统的实值表示方法对构成多维特征的元素的内部依赖性考虑得很弱。我们提出了一种新的四元数长短期记忆(QLSTM)递归神经网络,它既考虑了组成序列的特征之间的外部关系,又考虑了这些内部潜在的结构依赖性与四元数代数。QLSTM相比,在内存复制任务和语音识别的华尔街日报(WSJ)数据集的实际应用中的LSTM。在两个实验中,QLSTM达到了更好的性能,其学习参数减少了$2.8$倍,从而使信息的表达更具表现力。
2018-11-06 cs.LG cs.SD eess.AS
Using stigmergy as a computational memory in the design of recurrent neural networks
University of Pisa(比萨大学)
本文设计并实现了一种新的递归神经网络结构。建议的RNN采用了基于stigmergy概念的计算内存。Stigmergic Memory(SM)的基本原理是,SM中的一个量的沉积/移除活动刺激下一个沉积/移除活动。相应地,随后的SM活动倾向于相互加强/削弱,从而在SM活动和输入的时间刺激之间产生连贯的协调。我们发现,在监督分类的问题,SM编码的时间输入在一个紧急的代表性模型,通过协调存款,清除和分类活动。本研究为SM-RNN的推导奠定了基本框架。讨论了SM的形式化本体,并详细介绍了SM-RNN的体系结构。为了了解SM-RNN的计算能力,选择并训练了比较NN,以解决MNIST手写数字识别基准的两个变体:空间(位图行序列)和时间(笔划序列)。
2019-01-09 cs.LG cs.NE stat.ML
On the Curse of Memory in Recurrent Neural Networks: Approximation and Optimization Analysis
Peking University(北京大学);Princeton University(普林斯顿大学);National University of Singapore(新加坡国立大学);IHPC, A*STAR(新加坡科技研究局信息通信研究院)
本文通过逼近理论与优化动力学分析连续时间线性RNN,证明长期记忆会使所需神经元数量及训练减速随记忆呈指数级恶化,揭示“记忆诅咒”现象。
2024-08-30 cs.LG math.OC stat.ML
Assessing the Memory Ability of Recurrent Neural Networks
Tianjin University(天津大学);University of Padua(帕多瓦大学);Beijing Institute of Technology(北京理工大学)
已知循环神经网络(RNN)可以在其隐藏层中记住由序列表达的部分语义信息(例如,一个句子)正在被处理。设计了不同类型的递归单元,使RNN能够在更长的时间跨度内记住信息。然而,不同递归单元的记忆能力在理论上和经验上仍然不清楚,从而限制了更有效和可解释的RNN的发展。为了解决这个问题,本文识别和分析了影响RNN记忆能力的内部和外部因素,并提出了一个语义欧氏空间来表示序列所表达的语义。基于语义欧氏空间,定义了一系列评价指标来衡量不同递归单元的记忆能力,并分析了它们的局限性。这些评估指标也为训练过程中为不同的RNN选择合适的序列长度提供了有用的指导。
2020-02-18 cs.CL cs.LG cs.NE
mGRADE: Minimal Recurrent Gating Meets Delay Convolutions for Lightweight Sequence Modeling
Institute of Neuroinformatics, University of Zurich(神经信息研究所,苏黎世大学);ETH Zurich, Zurich, Switzerland(苏黎世联邦理工学院,苏黎世,瑞士)
本文提出mGRADE,通过将可学习间隔的时间一维卷积与最小门控循环单元minGRU结合,在约20%更低内存占用下有效捕捉多尺度时间特征,优于纯卷积和纯循环模型。
2025-07-02 cs.AI cs.LG
Learning Quantum Processes with Memory -- Quantum Recurrent Neural Networks
University of British Columbia(不列颠哥伦比亚大学);Stewart Blusson Quantum Matter Institute(斯图尔特·布鲁森量子物质研究所);University of Cambridge(剑桥大学)
循环神经网络在研究和工业中都起着重要的作用。随着量子机器学习的出现,循环神经网络的量化最近变得相关。我们提出了完全量子循环神经网络,耗散量子神经网络的基础上,能够学习一般的因果量子自动机。提出了一种量子训练算法,并对以保真度为代价函数的产品输出情况进行了经典仿真。因此,我们证明了这些算法的潜力,学习复杂的量子过程与内存的示例性延迟通道,时间演化的量子态受时间依赖的哈密顿量,和高,低频率的噪声缓解。数值模拟表明,我们的量子循环神经网络表现出惊人的能力,从小训练集进行概括。
2023-01-19 cs.LG quant-ph
Recurrent Memory-Augmented Transformers with Chunked Attention for Long-Context Language Modeling
Independent Researcher(独立研究者)
本文提出一种结合分块局部注意力与门控FIFO记忆机制的循环记忆增强Transformer,以线性成本高效建模长上下文依赖,并在PyTorch中从零实现,适用于对话、代码补全和文档理解等任务。
2025-07-01 cs.LG
Compressing History into Memory: Distilling Transformers into Recurrent Transformers
Naver Labs Europe
提出蒸馏方法,将全历史Transformer的压缩策略迁移至循环Transformer,通过瓶颈表示监督学生模型记忆,缩小性能差距并实现线性时间复杂度。
2026-10-02 cs.CV cs.LG
Partially Non-Recurrent Controllers for Memory-Augmented Neural Networks
DeNA Co., Ltd.(DeNA株式会社);The University of Tokyo(东京大学)
记忆增强神经网络(MANN)是一类配备有外部存储器的神经网络,并且据报道对于需要大的长期记忆及其选择性使用的任务是有效的。MANN的核心模块被称为控制器,其通常被实现为递归神经网络(RNN)(例如,LSTM),以便在控制其他模块时使用上下文信息。然而,这种基于RNN的控制器通常允许MANN通过使用控制器的(小的)内部存储器来直接解决给定的任务,并且阻止MANN最好地利用外部存储器,从而导致次优训练模型。为了解决这个问题,我们提出了一种新型的基于RNN的控制器,该控制器部分非递归,避免了直接使用其内部存储器来解决任务,同时保持了使用上下文信息控制其他模块的能力。我们使用神经图灵机和微分神经计算机的玩具和bAbI任务的实证实验表明,所提出的控制器比标准的基于RNN的控制器提供了更好的结果。
2018-12-30 cs.LG cs.NE
Think Shallow, Solve Deep: Controlling Recurrent Dynamics for Reliable Test-Time Depth
该研究针对循环深度推理器的测试时迭代问题,提出通过控制算子动态状态实现深度安全,提升了数独等任务的外推准确率,为循环模型的可靠深度推理提供了准则。
2026-08-20 cs.CL cs.LG
Towards Compressive and Scalable Recurrent Memory
LUMIA Lab(LUMIA实验室);School of Artificial Intelligence(人工智能学院);Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Innovation Institute(上海创新研究院)
Elastic Memory通过引入基于HiPPO框架的新型记忆架构,在长上下文任务中实现了更高效的压缩和可扩展性,优于现有方法。
2026-02-11 cs.LG
Short-Term Memory Optimization in Recurrent Neural Networks by Autoencoder-based Initialization
University of Pisa(比萨大学);University of Padova(帕多瓦大学)
由于梯度消失,训练RNN学习长期依赖性是困难的。我们探索了一种基于显式记忆的替代解决方案,使用线性自编码器的序列,它允许最大限度地提高短期记忆,并且可以用封闭形式的解决方案来解决,而无需反向传播。我们引入了一个初始化模式,该模式预训练递归神经网络的权重以近似输入序列的线性自编码器,并展示了这种预训练如何更好地支持解决长序列的硬分类任务。我们测试我们的方法顺序和排列MNIST。我们表明,所提出的方法实现了更低的重建误差长序列和更好的梯度传播在微调阶段。
2020-11-05 cs.LG
Memory-Gated Recurrent Networks
JD Digits(京东数字科技);City University of Hong Kong(香港城市大学);National University of Singapore(新加坡国立大学);Chong-Qing & Suzhou Research Institutes(重庆苏州研究院)
多元序列学习的本质是如何提取数据中的依赖关系。这些数据集,如重症监护病房的每小时医疗记录和多频语音时间序列,往往不仅表现出强烈的时间序列依赖性的各个组成部分(“边缘”记忆),但也不可忽视的记忆横截面的依赖性(“联合”记忆)。由于多元复杂性的联合分布的演变,数据生成过程的基础上,我们采取数据驱动的方法,并构建了一种新的经常性的网络架构,称为记忆门控递归网络(mGRN),门显式调节两种不同类型的记忆:边际记忆和联合记忆。通过对一系列公共数据集的综合模拟研究和实证实验相结合,我们表明,我们提出的mGRN架构始终优于针对多变量时间序列的最先进架构。
2020-12-30 cs.LG q-fin.ST
Traffic Volume Prediction using Memory-Based Recurrent Neural Networks: A comparative analysis of LSTM and GRU
University of Memphis(孟菲斯大学)
实时预测交通量可以改善交通流量和道路安全。精确的交通量预测有助于提醒驾驶员沿其首选路线的交通流量,防止潜在的僵局情况。现有的参数模型不能可靠地预测动态复杂交通条件下的交通量。因此,为了实时评估和预测每个给定时间步长的交通量,我们开发了基于非线性记忆的深度神经网络模型。我们在Metro Interstate Traffic Volume数据集上进行的大量实验证明了所提出的模型在高度动态和异构交通环境中预测交通量的有效性。
2023-03-22 cs.LG
Recurrent Memory Transformer
Moscow Institute of Physics and Technology(莫斯科物理技术学院);AIRI(AIRI(人工智能研究所))
基于transformer的模型在多个领域和任务中显示出其有效性。自注意允许将来自所有序列元素的信息组合成上下文感知表示。然而,全局和局部信息必须大部分存储在相同的元素表示中。此外,输入序列的长度受到自注意的二次计算复杂性的限制。在这项工作中,我们提出并研究了一个内存增强的段级递归Transformer(RMT)。内存允许存储和处理本地和全局信息,以及在递归的帮助下在长序列的段之间传递信息。我们实现了一个内存机制,没有改变Transformer模型,通过添加特殊的内存令牌的输入或输出序列。然后训练模型来控制记忆操作和序列表示处理。实验结果表明,RMT的表现与Transformer-XL语言建模较小的内存大小,并优于它的任务,需要较长的序列处理。我们表明,添加内存令牌的Tr-XL是能够提高其性能。这使得递归内存Transformer成为一种很有前途的架构,适用于需要学习长期依赖关系和内存处理中的通用目的的应用程序,例如算法任务和推理。
2022-12-08 cs.CL cs.LG
Recurrent Neural Networks with more flexible memory: better predictions than rough volatility
本文提出在输出各维度引入多个灵活时间尺度的扩展型LSTM,以捕捉长记忆与多尺度过程,并在资产波动率预测中实现更快、更稳定训练及较粗糙波动率约20%的性能提升。
2023-08-04 cs.LG q-fin.ST
Memory Visualization for Gated Recurrent Neural Networks in Speech Recognition
Tsinghua University(清华大学);Chengdu Institute of Computer Applications, Chinese Academy of Sciences(中国科学院成都计算机应用研究所)
循环神经网络(RNN)在序列建模方面表现出明显的优势,特别是具有门控单元的网络,如长短期记忆(LSTM)和门控循环单元(GRU)。然而,在许多应用中,卓越性能背后的动态特性仍然不清楚,例如,自动语音识别。本文采用可视化技术来研究LSTM和GRU在执行语音识别任务时的行为。我们的实验显示了门控记忆中的一些有趣的模式,其中一些启发了对网络结构的简单而有效的修改。我们报告了其中的两个修改:(1)LSTM中的懒惰单元更新,以及(2)残余学习的快捷连接。这两种修改都会导致更容易理解和更强大的网络。
2017-02-27 cs.CL cs.LG cs.NE
SHiPPO: Recurrent Memory with Transported Polynomial Projections
Kyoto University(京都大学);The University of Tokyo(东京大学)
介绍SHiPPO,一种传输投影记忆先验,将HiPPO系数记忆提升到移动通道框架。给出其在固定或实现的右传输路径下的特性,以及在选择性SSM执行中的相关推导和标准等,支持其作为基于机制的传输记忆先验。
2026-07-07 cs.LG
MART: Memory-Augmented Recurrent Transformer for Coherent Video Paragraph Captioning
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Tencent AI Lab(腾讯人工智能实验室);Microsoft Dynamics 365 AI(微软Dynamics 365人工智能部门)
为视频生成多句描述是最具挑战性的字幕任务之一,因为它不仅对视觉相关性而且对段落中句子之间基于话语的连贯性有很高的要求。为了实现这一目标,我们提出了一种新的方法,称为内存增强的循环Transformer(MART),它使用一个内存模块来增加的Transformer架构。记忆模块根据视频片段和句子历史生成高度概括的记忆状态,以便帮助更好地预测下一个句子(w.r.t.共指和重复方面),从而鼓励连贯的段落生成。在两个流行的数据集ActivityNet Captions和YouCookII上进行的大量实验、人工评估和定性分析表明,与基线方法相比,MART生成的段落标题更连贯,重复性更低,同时保持了与输入视频事件的相关性。所有代码都是开源的,网址是:https://github.com/jayleicn/recurrent-transformer
2020-05-11 cs.CL cs.CV cs.LG
On the Memory Mechanism of Tensor-Power Recurrent Models
University of Nottingham Ningbo China(宁波诺丁汉大学);University of Nottingham UK(英国诺丁汉大学);RIKEN-AIP(理化学研究所人工智能项目);BIGO PTE. LTD.(BIGO私人有限公司)
张量幂(TP)递归模型是一类非线性动力系统,其递归关系由p重(a.k.a.,度-p)张量积。尽管这种模型经常出现在高级递归神经网络(RNNs)中,但迄今为止,对其记忆特性的研究有限,而记忆特性是序列任务中的一个关键特性。在这项工作中,我们进行了深入的研究TP复发模型的记忆机制。理论上,我们证明了大的度p是实现长记忆效应的必要条件,但它会导致不稳定的动力学行为。从经验上讲,我们通过将度p从离散域扩展到可微域来解决这个问题,这样它就可以从各种数据集中有效地学习。综上所述,新模型有望以稳定的方式受益于长期记忆效应。我们的实验表明,与单细胞和seq 2seq架构中的各种高级RNN相比,所提出的模型具有竞争力的性能。
2021-03-02 cs.LG cs.SY eess.SY
Long Short-Term Memory Based Recurrent Neural Network Architectures for Large Vocabulary Speech Recognition
Google(谷歌)
长短期记忆(LSTM)是一种循环神经网络(RNN)架构,旨在解决传统RNN的消失和爆炸梯度问题。与前馈神经网络不同,RNN具有循环连接,这使得它们在序列建模方面非常强大。它们已成功地用于序列标记和序列预测任务,如手写识别,语言建模,声学帧的语音标记。然而,与深度神经网络相比,RNN在语音识别中的使用仅限于小规模任务中的电话识别。在本文中,我们提出了新的基于LSTM的RNN架构,它可以更有效地利用模型参数来训练用于大词汇量语音识别的声学模型。我们训练和比较LSTM,RNN和DNN模型在不同数量的参数和配置。我们表明,LSTM模型收敛速度很快,并为相对较小的模型提供了最先进的语音识别性能。
2014-02-05 cs.CL cs.LG cs.NE
MARCH: Scaling Recurrent Memory with Content-Routed State Anchors
Shanghai AI Laboratory(上海人工智能实验室);Tsinghua University(清华大学);Fudan University(复旦大学)
本文提出MARCH架构,通过内容路由状态锚点扩展循环记忆,在长序列上保持计算效率,经预训练后在多个长程任务中优于线性注意力变体,增强了循环长程记忆能力。
2026-08-14 cs.LG
Parameter Compression of Recurrent Neural Networks and Degradation of Short-term Memory
Qualcomm Technologies, Inc.(高通技术公司)
在大规模或资源受限的环境中(例如数据中心和移动设备)部署神经网络的显著计算成本已经刺激了对模型压缩的兴趣,其可以实现算术运算和存储内存的减少。已经提出了几种技术来减少或压缩前馈和卷积神经网络的参数,但很少有人了解参数压缩对循环神经网络(RNN)的影响。特别是,在何种程度上可以压缩的经常性参数和短期记忆性能的影响,是不是很好地理解。在本文中,我们研究了复杂性降低的效果,通过奇异值分解秩降低,对RNN和最小门控递归单元(MGRU)网络的几个任务。我们表明,相当大的秩减少是可能的压缩经常性的权重,即使没有微调。此外,我们提出了一个扰动模型的一般扰动,如压缩,对递归参数的影响。该模型进行了测试,对一个无声的记忆实验,阐明了短期记忆的表现。通过这种方式,我们证明了经常性参数的压缩效果取决于数据和任务中存在的时间相干性的程度。这项工作可以指导新环境或任务的实时RNN压缩,并为在低功耗设备(如助听器)中应用RNN压缩提供见解。
2017-02-24 cs.CV cs.LG cs.NE
Understanding LSTM -- a tutorial into Long Short-Term Memory Recurrent Neural Networks
Schmalkalden University of Applied Sciences(施马尔卡尔登应用科学大学);Singapore University of Technology and Design(新加坡科技设计大学)
长短期记忆循环神经网络(LSTM-RNN)是目前已知的最强大的动态分类器之一。网络本身和相关的学习算法都有相当好的文档记录,以了解它是如何工作的。本文将更深入地了解LSTM-RNN是如何发展的,以及为什么它们工作得如此出色,重点关注早期的突破性出版物。我们显著改进了文档,并修复了以前出版物中积累的一些错误和不一致。为了支持理解,我们也修改和统一了所使用的符号。
2019-09-12 cs.CL cs.LG cs.NE
Measuring and Controlling Solution Degeneracy across Task-Trained Recurrent Neural Networks
Harvard University(哈佛大学);Harvard Medical School(哈佛医学院);Kempner Institute(凯普纳研究所);EPFL(苏黎世联邦理工学院)
本研究开发了统一框架,量化和控制任务训练RNN中的解退化,揭示任务复杂性和网络规模对解退化的影响。
2025-11-20 cs.IT cs.LG cs.NE
Contextual Control without Memory Growth in a Context-Switching Task
SOBIN Institute LLC, Kawanishi, Hyogo, Japan(SOBIN研究所有限责任公司,日本兵库县川西市)
本文提出一种无需增加记忆维度的上下文控制方法,通过干预共享的递归潜在状态,在上下文切换任务中实现了有效的决策制定。
2026-04-03 cs.AI cs.IT cs.LG
Decision Trees That Remember: Gradient-Based Learning of Recurrent Decision Trees with Memory
University of Mannheim(曼海姆大学);Boehringer Ingelheim(勃林格殷格翰)
本文提出 ReMeDe Trees,一种带内部记忆机制的循环决策树架构,通过梯度下降学习硬性轴对齐决策规则,以解决传统决策树难以直接捕获序列数据中长期依赖的问题,并在合成基准上验证了其有效性。
2025-02-06 cs.LG
Recurrent Action Transformer with Memory
AXXX;MIRIAI
本文提出具有记忆的递归动作变换器(RATE),通过引入递归记忆机制提升离线强化学习中对长序列和内存密集型任务的处理能力。
2026-03-04 cs.AI cs.LG
Memory-Augmented Recurrent Neural Networks Can Learn Generalized Dyck Languages
Harvard John A. Paulson School of Engineering and Applied Sciences(哈佛大学约翰·A·保尔森工程与应用科学学院);MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
我们介绍了三个内存增强的循环神经网络(MARNN),并探讨了一系列简单的语言建模任务,其解决方案需要基于堆栈的机制,他们的能力。我们提供了神经网络识别广义Dyck语言的第一个演示,广义Dyck语言表达了具有层次结构的语言的核心。我们的内存增强架构很容易训练在一个端到端的方式,可以学习的Dyck语言超过多达六个括号对,除了两个确定性回文语言和字符串反转转换任务,通过模仿下推自动机。我们的实验强调了内存增强模型在简单RNN上的建模能力,同时也反映了我们对这些模型局限性的理解。
2019-11-08 cs.CL cs.LG cs.NE
EchoLSTM: A Self-Reflective Recurrent Network for Stabilizing Long-Range Memory
Independent Researcher(独立研究者)
针对循环神经网络在噪声序列中难以建模长程依赖的问题,提出基于输出条件门控的EchoLSTM模型,通过自反思机制增强记忆保留,在干扰任务上大幅超越LSTM并在ListOps上以更高参数效率媲美Transformer。
2025-11-03 cs.LG
Parallelizable memory recurrent units
Montefiore Institute, University of Liege(蒙费尔研究所,利耶日大学)
本文提出了一种结合非线性递归网络持久记忆能力和状态空间模型并行计算能力的新递归神经网络——记忆递归单元(MRUs),通过多稳态机制实现持久记忆,同时避免瞬态动态以提高效率,并展示了其在长时序依赖任务中的有效性。
2026-10-30 cs.LG