Encoding-based Memory Modules for Recurrent Neural Networks
University of Pisa(比萨大学);University of Padova(帕多瓦大学)
学习使用循环模型解决序列任务需要记住长序列并从中提取任务相关特征的能力。本文从循环神经网络的设计和训练的角度研究记忆子任务。我们提出了一个新的模型,线性记忆网络,它具有一个基于编码的记忆组件,内置一个线性自动编码器的序列。我们扩展的记忆组件与模块化的存储器,在不同的采样频率编码的隐藏状态序列。此外,我们还提供了一种专门的训练算法,该算法可以有效地对网络的隐藏激活进行编码。合成和真实世界的数据集上的实验结果表明,专门的训练算法,训练记忆组件总是提高最终的性能时,记忆的长序列是必要的,以解决问题。
2020-01-31 cs.LG cs.NE stat.ML
Interneurons accelerate learning dynamics in recurrent neural networks for statistical adaptation
Flatiron Institute(弗莱德哈钦森研究所);Harvard University(哈佛大学);New York University School of Medicine(纽约大学医学院)
本研究对比介导递归通信的中间神经元网络与直接递归连接网络,发现前者对初始化更鲁棒、收敛更快,揭示了中间神经元在快速统计适应中的计算作用,为递归网络的隐式加速提供了类比。
2023-08-24 cs.LG cs.NE q-bio.NC
Predictive State Recurrent Neural Networks
提出了一种新的动态系统滤波和预测模型--预测状态循环神经网络(PSRNNs)。PSRNN借鉴了循环神经网络(RNN)和预测状态表示(PSR)的见解,并继承了这两种模型的优点。像许多成功的RNN架构一样,PSRNN使用(可能是深度组合的)双线性传递函数来组合来自多个源的信息。我们表明,这样的双线性函数自然产生的状态更新贝叶斯滤波器,如PSR,其中的意见可以被视为门的信念状态。我们还表明,PSRNN可以有效地学习通过时间反向传播(BPTT)与来自统计一致的学习算法的PSR称为两阶段回归(2SR)的初始化相结合。最后,我们证明了PSRNN可以使用张量分解进行因子分解,减少模型大小,并提出与现有乘法架构(如LSTM)的有趣连接。我们将PSRNN应用于4个数据集,并表明我们在所有情况下都优于几种流行的替代方法来建模动态系统。
2017-06-18 stat.ML
Framing RNN as a kernel method: A neural ODE approach
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Google Research(谷歌研究院)
在将递归神经网络(RNN)解释为连续时间神经微分方程的基础上,我们证明了在适当的条件下,RNN的解可以被视为输入序列的特定特征集(称为签名)的线性函数。这种连接允许我们将RNN框架为合适的再生核希尔伯特空间中的核方法。因此,我们获得了理论保证的推广和稳定性的一大类经常性网络。我们的研究结果在模拟数据集上进行了说明。
2021-10-29 cs.LG stat.ML
Cortical microcircuits as gated-recurrent neural networks
大脑皮层回路呈现出复杂的循环结构,这些结构在不同的大脑区域之间非常相似。这种刻板的结构表明存在共同的计算原则。然而,这些原则在很大程度上仍然难以实现。受门控记忆网络(即长短期记忆网络(LSTM))的启发,我们引入了一种循环神经网络,其中信息通过减法抑制细胞(subLSTM)进行门控。我们提出了一个自然的映射subLSTM到已知的典型兴奋抑制皮层微电路。我们对序列图像分类和语言建模任务的经验评估表明,subLSTM单元可以实现与LSTM单元相似的性能。这些结果表明,皮层电路可以优化,以解决复杂的上下文问题,并提出了一个新的观点,他们的计算功能。总的来说,我们的工作为统一机器学习中使用的循环网络与其生物对应物迈出了一步。
2018-01-03 cs.NE q-bio.NC stat.ML
Noisy Recurrent Neural Networks
Nordita, KTH Royal Institute of Technology(北欧理论物理研究所,瑞典皇家理工学院);Stockholm University(斯德哥尔摩大学);University of Pittsburgh(匹兹堡大学);ICSI(国际计算机科学研究所);UC Berkeley(加州大学伯克利分校)
我们提供了一个通用框架,用于研究通过将噪声注入隐藏状态来训练的循环神经网络(RNN)。具体来说,我们认为RNN可以被视为由输入数据驱动的随机微分方程的离散化。这个框架使我们能够研究一般的噪声注入计划的隐式正则化效果,推导出一个近似的显式正则化在小噪声制度。我们发现,在合理的假设下,这种隐式正则化促进了更平坦的最小值;它偏向于具有更稳定动态的模型;并且,在分类任务中,它有利于具有更大分类边际的模型。得到了全局稳定的充分条件,突出了随机稳定的现象,其中噪声注入可以提高稳定性在训练过程中。我们的理论得到了实证结果的支持,这些结果表明,RNN对各种输入扰动具有更好的鲁棒性。
2021-12-01 cs.LG math.DS math.PR
Dynamic Mortality Risk Predictions in Pediatric Critical Care Using Recurrent Neural Networks
将患者的轨迹视为一个动态系统,开发了一个递归神经网络来学习一个主要三级护理中心的儿科重症监护室(PICU)中患者遇到的过程。从电子病历(EMR)中提取的数据,约12000名患者谁被接纳到PICU超过10年的一段时间内被利用。RNN模型摄取一系列测量结果,包括生理观察、实验室结果、给药和干预,并在用户指定的时间生成ICU死亡率的时间动态预测。RNN的ICU死亡率预测比两种临床使用的评分和静态机器学习算法的预测有显着改进。
2017-01-23 cs.NE math.DS q-bio.QM
Fast and Deep Graph Neural Networks
University of Pisa(比萨大学)
我们解决了构建深度图神经网络(GNN)的效率问题。该方法利用了将每个输入图表示为动态系统的固定点(通过递归神经网络实现)的想法,并利用了递归单元的深层架构组织。效率是通过许多方面获得的,包括使用小型和非常稀疏的网络,其中经常性单元的权重在本工作中引入的稳定性条件下未经训练。这可以被视为研究深度GNN架构的内在力量的一种方式,也可以为建立更复杂的完全训练模型提供见解。通过实验结果,我们表明,即使没有训练循环连接,小型深度GNN的架构也能够在图分类领域的一组重要任务上实现或提高最先进的性能。
2019-11-20 cs.LG math.DS stat.ML
A Basic Recurrent Neural Network Model
我们提出了一个基本循环神经网络(或bRNN)的模型,其中包括一个单独的线性项,具有稍微“稳定”的固定矩阵,以保证有界的解决方案和快速的动态响应。我们制定了一个状态空间的观点和适应约束优化拉格朗日乘子(CLM)技术和向量变分法(CoV)推导出(随机)梯度下降。在此过程中,避免了通常使用的循环链规则的重复应用,并识别与共态向后动力学方程的误差反向传播。我们断言,该bRNN可以成功地进行时间序列的回归跟踪。此外,“消失和爆炸”的梯度明确量化和解释,通过共态动力学和更新定律。此外,适应的CoV框架可以正确地和原则性地将新的损失函数集成在网络中的任何变量上并用于不同的目标,例如,用于对输出的监督学习和对内部(隐藏)状态的无监督学习。
2016-12-29 cs.NE stat.ML
Understanding Recurrent Neural Networks Using Nonequilibrium Response Theory
Nordita(诺迪塔理论物理研究所);KTH Royal Institute of Technology(KTH皇家理工学院);Stockholm University(斯德哥尔摩大学)
循环神经网络(RNN)是在机器学习中广泛用于分析序列数据的大脑启发模型。目前的工作是对RNN如何使用非平衡统计力学的响应理论来处理输入信号的更深入理解的贡献。对于一类由输入信号驱动的连续时间随机RNN(SRNN),我们推导出其输出的Volterra型级数表示。这种表示是可解释的,并且将输入信号从SRNN架构中分离出来。该系列的内核是某些递归定义的相关函数相对于未扰动的动态,完全确定的输出。利用这种表示及其对粗糙路径理论的影响,我们确定了一个通用的功能-响应功能,这原来是输入信号的张量积和自然支持基础的签名。特别是,我们表明,SRNN,只有在读出层中的权重优化和隐藏层中的权重保持固定,而不是优化,可以被视为内核机器上运行的再生核希尔伯特空间与响应功能。
2021-01-18 cond-mat.dis-nn cs.LG math.PR
Recurrent Convolution for Compact and Cost-Adjustable Neural Networks: An Empirical Study
Xidian University(西安电子科技大学)
递归卷积(RC)共享相同的卷积核,并将它们展开多个步骤,这最初是为了建模时空信号而提出的。我们认为RC可以被视为深度卷积神经网络的模型压缩策略。RC减少了跨层的冗余。然而,RC网络的性能是不令人满意的,如果我们直接展开相同的内核多个步骤。我们提出了一个简单而有效的变体,它改进了RC网络:RC模块的批量归一化层在不同的展开步骤中独立学习(不共享)。此外,我们验证了RC可以执行成本可调的推理,这是通过改变其展开步骤。我们学习了代价可调RC网络的双独立BN层,即当前单元和上游单元的展开步骤都独立。我们提供的见解,为什么所提出的方法成功地工作。在图像分类和图像去噪上的实验证明了该方法的有效性。
2019-02-26 cs.CV stat.ML
Emotional Video to Audio Transformation Using Deep Recurrent Neural Networks and a Neuro-Fuzzy System
School of Electronics Engineering, Kyungpook National University(庆北国立大学电子工程学院)
生成具有与输入视频的情感类似的情感的音乐是当今非常相关的问题。视频内容创作者和自动电影导演受益于保持他们的观众参与,这可以通过制作引发他们更强烈情感的新颖材料来促进。此外,目前需要更多的同情计算机来帮助人类应用,例如增强视觉和/或听力受损的人的感知能力。当前的方法在音乐生成步骤中忽略了视频的情感特征,仅考虑静态图像而不是视频,不能生成新颖的音乐,并且需要高水平的人力和技能。在这项研究中,我们提出了一种新的混合深度神经网络,它使用自适应神经模糊推理系统来预测视频的视觉特征和深度长短期记忆递归神经网络来生成具有类似情感暗示的相应音频信号。前者是能够适当地建模情感,由于其模糊属性,后者是能够建模数据的动态时间属性以及由于先前的隐藏状态信息的可用性。我们提出的方法的新颖性在于提取视觉情感特征,以便将它们转换为音频信号与相应的情感方面的用户。定量实验表明,林赛和DEAP数据集的平均绝对误差分别为0.217和0.255,并且在谱图中具有相似的全局特征。这表明我们的模型能够适当地执行视觉和音频特征之间的域转换。根据实验结果,我们的模型可以有效地生成与两个数据集中的观众产生类似情绪的场景相匹配的音频,并且我们的模型生成的音乐也更经常被选择。
2020-04-05 cs.CV cs.LG cs.SD
Predicting Auction Price of Vehicle License Plate with Deep Recurrent Neural Network
Department of Economics, The Chinese University of Hong Kong, Shatin, Hong Kong(香港中文大学经济系,沙田,香港)
本文提出将车辆车牌价格预测视为自然语言处理任务,通过构建深度循环神经网络来预测香港车牌拍卖价格,并展示了模型在解释价格变化和扩展为车牌搜索引擎方面的贡献。
2019-10-08 cs.CL cs.LG econ.GN
BlackOut: Speeding up Recurrent Neural Network Language Models With Very Large Vocabularies
Intel(英特尔);Univ. of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校)
我们提出了BlackOut,一种近似算法,可以有效地训练具有百万单词词汇的大规模循环神经网络语言模型(RNNLM)。停电的动机是使用歧视性损失,我们描述了一种新的采样策略,显着减少计算,同时提高稳定性,样本效率,收敛速度。理解BlackOut的一种方法是将其视为DropOut策略到输出层的扩展,其中我们使用区分性训练损失和加权采样方案。我们还建立了BlackOut,重要性采样和噪声对比估计(NCE)之间的密切联系。我们在最近发布的10亿字语言建模基准上的实验证明了BlackOut的可扩展性和准确性;我们的表现优于最先进的技术,并在该数据集上获得了最低的困惑分数。此外,与其他通常需要GPU或CPU集群的方法不同,我们证明了精心实现的BlackOut版本只需要1-10天的时间就可以在一台机器上训练一个RNNLM,它具有100万单词的词汇量和10亿单词的数十亿参数。虽然我们在RNNLM训练的上下文中描述了BlackOut,但它可以用于任何具有大型softmax输出层的网络。
2016-03-31 cs.CL cs.LG cs.NE
Long Short-Term Memory as a Dynamically Computed Element-wise Weighted Sum
University of Washington(华盛顿大学)
LSTM被引入来对抗简单RNN中的消失梯度,通过用门控加法递归连接来增强它们。我们提出了另一种观点来解释LSTM的成功:门本身是多功能的经常性模型,提供更多的代表性的权力比以前认识到的。我们通过将LSTM的门从嵌入式简单RNN中解耦来实现这一点,从而产生一类新的RNN,其中递归计算输入的上下文无关函数的元素加权和。对一系列问题的消融表明,在大多数情况下,门控机制本身的表现与LSTM一样好,这强烈表明门在实践中做的不仅仅是缓解消失的梯度。
2018-05-09 cs.AI cs.CL cs.LG