Eigenvalue Normalized Recurrent Neural Networks for Short Term Memory
University of Kentucky(肯塔基大学)
最近开发了具有正交或酉递归矩阵的循环神经网络(RNN)的几种变体,以减轻消失/爆炸梯度问题并对序列的长期依赖性进行建模。然而,由于递归矩阵的特征值在单位圆上,递归状态保留了所有的输入信息,这可能不必要地消耗模型容量。在本文中,我们通过提出一种架构来解决这个问题,该架构扩展了正交/酉RNN,其状态由具有单位圆盘中特征值的递归矩阵生成。任何输入都会随着时间的推移而消散,并被新的输入所取代,模拟短期记忆。一个梯度下降算法推导出学习这样的递归矩阵。由此产生的方法,称为特征值归一化RNN(ENRNN),在几个实验中显示出高度的竞争力。
2019-11-18 cs.LG stat.ML
Quaternion-Valued Recurrent Projection Neural Networks on Unit Quaternions
University of Campinas(坎皮纳斯大学)
超复值神经网络,包括四元数值神经网络,可以将多维数据视为单个实体。本文提出了四元数递归投影神经网络(QRPNNs)。简而言之,QRPNN是通过将非局部投影学习与四元数值递归相关神经网络(QRCNN)相结合来获得的。我们表明,QRPNN克服了QRCNN的串扰问题。因此,它们适合于实现联想记忆。此外,计算实验表明,QRPNN表现出更大的存储容量和噪声容忍度比相应的QRCNN。
2020-01-30 cs.LG cs.NE stat.ML
Understanding Feature Selection and Feature Memorization in Recurrent Neural Networks
Beihang University(北京航空航天大学);University of Ottawa(渥太华大学)
在本文中,我们提出了一个测试,称为标记1位(F1B)测试,研究循环神经网络在序列学习的内在能力。四个不同的经常性网络模型进行了研究,分析和实验使用此测试。我们的研究结果表明,在序列学习中,一般存在特征选择和特征记忆之间的冲突。这种冲突可以使用LSTM中的门控机制来解决,或者通过增加Vanilla RNN中的状态维度来解决。门控模型通过自适应地调整其状态更新方程来解决这种冲突,而Vanilla RNN通过分配不同的维度不同的任务来解决这种冲突。深入了解特征选择和记忆递归网络。
2019-03-03 cs.LG stat.ML
A comprehensive study of batch construction strategies for recurrent neural networks in MXNet
AppTek(AppTek 公司)
在这项工作中,我们比较了不同的小批量训练的循环神经网络批量建设方法。虽然像TensorFlow和MXNet这样的流行实现建议采用分桶方法来提高循环训练过程的并行化能力,但我们提出了一种简单的排序策略,以随机交替排序的方式排列训练序列。我们比较我们的方法序列桶以及其他各种批量建设策略的CHiME-4嘈杂的语音识别语料库。实验表明,我们的交替排序方法能够在训练时间和识别性能方面进行竞争,同时在概念上更容易实现。
2017-05-05 cs.LG stat.ML
The Recurrent Neural Tangent Kernel
Rice University(莱斯大学)
通过所谓的神经切线核(NTK)方法,对无限宽度限制下的深度神经网络(DNN)进行了研究,为学习、泛化和初始化的影响提供了新的见解。一个关键的DNN架构仍有待内核化,即循环神经网络(RNN)。在本文中,我们介绍和研究递归神经切线核(RNTK),它提供了新的见解过参数化RNN的行为。RNTK的一个关键特性应该使从业者受益匪浅,那就是它能够比较不同长度的输入。为此,我们描述了RNTK如何在不同的初始化参数和非线性选择下对不同的时间步长进行加权以形成其输出。一个合成的和56个真实世界的数据实验表明,RNTK提供了显着的性能增益超过其他内核,包括标准的NTK,在广泛的数据集。
2021-06-15 cs.LG stat.ML
Gated Graph Convolutional Recurrent Neural Networks
Univ. of Pennsylvania(宾夕法尼亚大学)
图过程模拟了许多重要的问题,如识别地震震中或预测天气。在本文中,我们提出了一个图卷积递归神经网络(GCRNN)架构专门针对这些问题。GCRNN使用卷积滤波器组来保持可训练参数的数量与图的大小和所考虑的时间序列无关。我们还提出了Gated GCRNN,GCRNN的时间门控变体,类似于LSTM。在使用合成和真实数据的实验中,与GNN和另一种图递归架构相比,GCRNN在使用相当少的参数的同时显着提高了性能。
2019-06-27 cs.LG stat.ML
Low-Cost Recurrent Neural Network Expected Performance Evaluation
Universidad de Málaga(马拉加大学);Massachusetts Institute of Technology(麻省理工学院)
递归神经网络是一种强大的工具,但它们对超参数配置非常敏感。此外,正确训练循环神经网络是一项艰巨的任务,因此选择适当的配置至关重要。为解决这一问题提出了各种战略。然而,由于所需的时间/资源,其中大多数仍然不切实际。在这项研究中,我们提出了一个低计算成本的模型来评估一个给定的架构的预期性能的基础上分布的随机样本的权重的错误。我们使用三个用例来实证验证我们的建议。结果表明,这是一个有前途的替代方案,以减少超参数优化的探索成本。
2019-03-11 cs.LG stat.ML
Tensorial Recurrent Neural Networks for Longitudinal Data Analysis
The University of Sydney(悉尼大学)
传统的循环神经网络假设向量化数据作为输入。然而,现代科学技术中的许多数据都是以特定的结构出现的,例如张量时间序列数据。为了将循环神经网络应用于这种类型的数据,矢量化过程是必要的,而这种矢量化导致空间或纵向维度的精确信息的丢失。此外,这样的矢量化数据不是用于学习纵向数据的表示的最佳解决方案。在本文中,我们提出了一种新的变形张量神经网络,直接采取张量时间序列数据作为输入。我们称这种新的变体为张量递归神经网络(TRNN)。所提出的TRNN是基于张量Tucker分解。
2017-08-01 cs.CV cs.LG stat.ML
Semi-Implicit Stochastic Recurrent Neural Networks
Texas A&M University(得克萨斯农工大学);University of Texas at Austin(得克萨斯大学奥斯汀分校)
具有复杂依赖结构的潜在随机变量的随机循环神经网络在建模序列数据方面比确定性深度模型更成功。然而,大多数现有的方法有有限的表达能力,由于高斯假设的潜变量。在本文中,我们提倡使用半隐式变分推理来学习隐式潜在表示,以进一步增加模型的灵活性。半隐式随机递归神经网络(SIS-RNN)的发展,以丰富推断模型后验,可能没有解析密度函数,只要独立的随机样本可以通过重新参数化生成。在真实世界数据集上进行的不同任务的大量实验表明,SIS-RNN优于现有方法。
2020-04-23 cs.LG stat.ML
Dynamic Cell Structure via Recursive-Recurrent Neural Networks
Weinberg College of Arts and Sciences, Northwestern University(西北大学温伯格文理学院);Northwestern University(西北大学)
在循环设置中,神经架构搜索的传统方法为所有数据样本和时间步长找到并固定通用模型。我们提出了一种新的算法,可以动态搜索的递归神经网络模型中的细胞的结构。基于递归和递归神经网络的组合,我们的算法能够为每个数据样本和时间步长构建定制的细胞结构,允许比现有模型更有效的架构搜索。在三个常见数据集上的实验表明,该算法发现了高性能的细胞结构,并在语言建模和情感分析方面取得了比GRU结构更好的预测精度。
2019-05-25 cs.LG cs.NE stat.ML
Designing recurrent neural networks by unfolding an l1-l1 minimization algorithm
Vrije Universiteit Brussel(布鲁塞尔自由大学);imec(比利时微电子研究中心)
我们提出了一种新的深度递归神经网络(RNN)结构,用于序列信号重构。我们的网络是通过展开近似梯度法的迭代来设计的,该方法解决了l1-l1最小化问题。因此,我们的网络通过设计利用信号具有稀疏表示,并且连续信号表示之间的差异也是稀疏的。我们在从压缩测量重建视频帧的任务中评估了所提出的模型,并表明它优于几种最先进的RNN模型。
2019-02-18 cs.LG stat.ML
MinimalRNN: Toward More Interpretable and Trainable Recurrent Neural Networks
Google(谷歌)
我们介绍了MinimalRNN,一种新的递归神经网络架构,其性能与结构简化的流行门控RNN相当。它在RNN中使用最少的更新,这不仅可以实现有效的学习和测试,更重要的是更好的可解释性和可训练性。我们证明,通过支持更严格的更新规则,MinimalRNN学习解开RNN状态。我们使用输入-输出雅可比矩阵进一步研究了不同RNN结构的学习动态,并表明MinimalRNN能够捕获比现有RNN架构更长的范围依赖关系。
2018-06-20 cs.LG stat.ML
Modeling Compositionality with Multiplicative Recurrent Neural Networks
Cornell University(康奈尔大学)
我们提出的乘法递归神经网络作为一个通用的模型组成的意义的语言,并评估它的细粒度的情感分析的任务。我们建立了一个连接到以前研究的矩阵空间模型的组合性,并表明它们是乘法递归网络的特殊情况。我们的实验表明,这些模型的性能比Elman型加性循环神经网络和优于矩阵空间模型的标准细粒度的情感分析语料库。此外,它们在最近出版的斯坦福情感树库上产生了与结构深度模型相当的结果,而不需要生成解析树。
2015-05-02 cs.CL cs.LG stat.ML
Particle Filter Recurrent Neural Networks
National University of Singapore(新加坡国立大学)
循环神经网络(RNN)在序列数据的预测方面取得了巨大的成功。为了处理高度可变和嘈杂的现实世界数据,我们引入了粒子滤波循环神经网络(PF-RNN),这是一种新的RNN家族,它明确地模拟其内部结构中的不确定性:虽然RNN依赖于一个长的,确定性的潜在状态向量,但PF-RNN保持了一个潜在的状态分布,近似为一组粒子。为了有效学习,我们提供了一个完全可微的粒子滤波算法,该算法根据贝叶斯规则更新PF-RNN潜在状态分布。实验表明,所提出的PF-RNN在合成机器人定位数据集和10个真实世界序列预测数据集上的文本分类,股票价格预测等方面优于相应的标准门控RNN。
2019-12-01 cs.LG stat.ML
Symplectic Recurrent Neural Networks
New York University(纽约大学);Facebook AI Research(脸书人工智能研究院);Tianjin University(天津大学)
我们提出辛循环神经网络(SRNN)作为学习算法,从观察到的轨迹捕捉物理系统的动态。SRNN通过神经网络对系统的哈密顿函数进行建模,并进一步利用辛积分、多步训练和初始状态优化来解决与哈密顿系统相关的具有挑战性的数值问题。我们表明,SRNN成功可靠的复杂和嘈杂的哈密顿系统。我们还展示了如何增强SRNN集成方案,以处理刚性动力系统,如弹跳台球。
2020-04-25 cs.LG stat.ML
Bayesian Sparsification of Recurrent Neural Networks
National Research University Higher School of Economics(国立研究大学高等经济学院);Kaspersky Lab(卡巴斯基实验室);Lomonosov Moscow State University(莫斯科国立大学);Yandex
循环神经网络在许多文本分析任务中显示出最先进的结果,但通常需要大量内存来存储其权重。最近提出的稀疏变分丢弃消除了前馈神经网络中的大部分权重,而没有显着的质量损失。我们应用这种技术来稀疏循环神经网络。为了解释经常性的细节,我们还依赖于RNN的二进制变分丢弃。我们在情感分析任务上报告了99.5%的稀疏度,而没有质量下降,在语言建模任务上报告了高达87%的稀疏度,精度略有下降。
2017-07-31 cs.CL cs.LG stat.ML
Recurrent Neural Networks (RNNs): A gentle Introduction and Overview
Eberhard-Karls-University Tübingen(图宾根埃伯哈德·卡尔斯大学)
“语言建模和生成文本”、“语音识别“、“生成图像描述”或“视频标记”领域的最先进解决方案一直使用循环神经网络作为其方法的基础。因此,如果我们想跟上这些领域最近或即将出版的出版物,了解基本概念至关重要。在这项工作中,我们给出了一个简短的概述在循环神经网络领域的一些最重要的概念,使读者能够很容易地理解的基本面,如但不限于“通过时间的反向传播”或“长短期记忆单位”,以及一些最近的进展,如“注意力机制“或“指针网络”。我们还提供了必要时进一步阅读更复杂主题的建议。
2019-11-23 cs.LG stat.ML
DizzyRNN: Reparameterizing Recurrent Neural Networks for Norm-Preserving Backpropagation
Cornell University(康奈尔大学)
消失和爆炸梯度问题是研究得很好的障碍,使得循环神经网络很难学习长期的时间依赖性。我们提出了一种标准循环神经网络的重新参数化,通过Givens旋转以可证明的范数保持方式更新线性变换。此外,我们使用绝对价值函数作为逐元素非线性,以保持整个网络上反向传播信号的范数。我们表明,这种重新参数化减少了参数的数量,并保持相同的算法复杂度作为一个标准的递归神经网络,同时优于标准的递归神经网络与正交初始化和长短期记忆网络的复制问题。
2016-12-13 cs.LG
A Study on Graph-Structured Recurrent Neural Networks and Sparsification with Application to Epidemic Forecasting
UC Irvine(加州大学尔湾分校);UCLA(加州大学洛杉矶分校)
我们研究了流行病预测的真实世界的健康数据的图形结构的递归神经网络(GSRNN)。我们在基准CDC数据集上实现了最先进的预测精度。为了提高模型效率,我们通过变换- $\ell_1$惩罚来稀疏网络权重,并在70%的网络权重为零的情况下保持相同的预测精度。
2019-02-13 cs.LG math.OC stat.ML
Approximating meta-heuristics with homotopic recurrent neural networks
Cortexica Vision Systems Ltd.(Cortexica视觉系统有限公司);Imperial College London(伦敦帝国理工学院)
许多组合优化问题构成非多项式(NP)硬优化问题,即,它们不能在多项式时间内解决。一个这样的问题是找到图上两个节点之间的最短路径。元启发式算法,如$A^{*}$与混合整数规划(MIP)的方法,经常采用这些问题。我们的工作表明,使用深度递归神经网络来近似由元启发式算法生成的解决方案是可能的。我们比较了基于强化学习(RL)和循环神经网络(RNN)的不同方法,以衡量各自的近似质量。我们在一个有超过300个节点的图上展示了递归神经网络解决方案的可行性,并认为序列到序列网络而不是其他递归网络提高了近似质量。此外,我们认为同伦延续-增加了达到极值的机会-进一步提高了由香草RNN生成的估计。
2017-09-07 cs.DM cs.LG stat.ML
Phenotyping of Clinical Time Series with LSTM Recurrent Neural Networks
UC San Diego(加州大学圣地亚哥分校);USC(南加州大学);Children’s Hospital LA(洛杉矶儿童医院)
我们提出了一种新的应用LSTM循环神经网络的多标签分类的诊断给定的可变长度的时间序列的临床测量。我们的方法在各种指标上都优于强基线。
2017-03-21 cs.LG
Lipschitz Recurrent Neural Networks
ICSI(国际计算机科学研究所);UC Berkeley(加州大学伯克利分校);Ben-Gurion University(本·古里安大学);Google Research(谷歌研究院)
将循环神经网络(RNNs)视为连续时间动力系统,我们提出了一个递归单元,它用两个部分来描述隐藏状态的演化:一个众所周知的线性分量加上一个Lipschitz非线性。这种特殊的函数形式便于使用非线性系统理论的工具对经常性单元的长期行为进行稳定性分析。反过来,这使得在实验之前就可以做出架构设计决策。给出了递归单元全局稳定的充分条件,为隐到隐矩阵的构造提供了一种新的方法。我们的实验表明,Lipschitz RNN可以在一系列基准任务上优于现有的递归单元,包括计算机视觉,语言建模和语音预测任务。最后,通过基于Hessian的分析,我们证明了与其他连续时间RNN相比,我们的Lipschitz递归单元在输入和参数扰动方面更具鲁棒性。
2021-04-24 cs.LG math.DS stat.ML
A fast noise filtering algorithm for time series prediction using recurrent neural networks
Stowers Institute for Medical Research(斯托尔斯医学研究所)
最近的研究表明,基于噪声输入的循环神经网络(RNNs)预测时间序列可以生成平滑的预期轨迹。我们研究了RNN的内部动力学,并建立了一组实现这种行为所需的条件。基于这种分析,我们提出了一种新的近似算法,并表明它显着加快了预测过程,而不损失的准确性。
2020-10-06 cs.LG math.DS stat.ML
Recurrent Neural Filters: Learning Independent Bayesian Filtering Steps for Time Series Prediction
Oxford-Man Institute of Quantitative Finance(牛津-曼氏定量金融学研究所)
尽管深度生成状态空间模型最近很受欢迎,但网络架构与贝叶斯过滤框架的推理步骤之间的比较很少-大多数模型同时用单个递归神经网络(RNN)近似状态转换和更新步骤。在本文中,我们介绍了递归神经滤波器(RNF),一种新的递归自动编码器架构,它学习由一系列编码器和解码器捕获的每个贝叶斯过滤步骤的不同表示。在三个真实世界的时间序列数据集上进行测试,我们证明了解耦表示学习不仅提高了一步预测的准确性,同时提供了现实的不确定性估计,而且还通过分离编码器阶段促进了多步预测。
2020-09-27 cs.LG eess.SP stat.ML
Imitation Learning with Recurrent Neural Networks
University of Maryland(马里兰大学)
我们提出了一个新的观点,统一了两个旨在解决序列预测问题的框架:学习搜索(L2S)和循环神经网络(RNN)。我们指出这两个框架的元素之间的等价性。通过补充一个框架与另一个框架相比所缺少的内容,我们引入了一个更先进的模仿学习框架,一方面,它增强了L2S的搜索空间概念,另一方面,增强了RNN训练过程,使其对高度相关示例的训练所产生的复合错误更具鲁棒性。
2016-07-18 cs.CL cs.LG stat.ML
Learning The Sequential Temporal Information with Recurrent Neural Networks
XRVision Research and Development center(XRVision研发中心)
递归神经网络是处理自然语言、声音、时间序列数据等序列数据的最有效和最有前途的人工神经网络算法之一。与传统的前馈网络不同,递归网络具有固有的反馈回路,允许存储时间上下文信息并将信息的状态传递给整个事件序列。这有助于在许多重要任务中实现最先进的性能,例如语言建模、股票市场预测、图像描述、语音识别、机器翻译和对象跟踪等,然而,训练完全连接的RNN和管理梯度流是一个复杂的过程。许多研究都是针对上述局限性进行的。本文旨在提供有关递归神经元的简要细节,它的变化和训练全递归神经网络的行程和技巧。这项审查工作是作为我们的IPO工作室软件模块“多目标跟踪”的一部分进行的。
2018-07-08 cs.CV cs.LG stat.ML
Restoration of Fragmentary Babylonian Texts Using Recurrent Neural Networks
Bar-Ilan University(巴伊兰大学);Davidson Institute of Science Education(戴维森科学教育研究所);Weizmann Institute of Science(魏茨曼科学研究所);Ariel University(阿里尔大学)
有关古代美索不达米亚历史和文化的主要信息来源是粘土楔形文字板。尽管是一种宝贵的资源,但许多平板电脑都是碎片化的,导致信息缺失。目前,这些缺失部分由专家手动完成。在这项工作中,我们调查的可能性,协助学者,甚至自动完成从阿契美尼德时期巴比伦古阿卡德文本的休息,通过使用循环神经网络建模的语言。
2020-03-04 cs.CL cs.LG stat.ML
Decoupling Hierarchical Recurrent Neural Networks With Locally Computable Losses
ETH Zürich(苏黎世联邦理工学院)
学习长期依赖性是循环神经网络(RNN)的一个关键的长期挑战。分层循环神经网络(HRNN)被认为是一种很有前途的方法,因为长期依赖性是通过层次结构上下的捷径来解决的。然而,截断反向传播时间(TBPTT)的内存要求仍然阻止在非常长的序列上训练它们。在本文中,我们通过经验证明,在(深度)HRNN中,从较高级别到较低级别的传播梯度可以被本地可计算的损失所取代,而不会损害网络的学习能力,在广泛的任务范围内。与标准TBPTT相比,通过局部损失的这种解耦在层次结构的深度上以指数因子降低了训练的存储器需求。
2019-10-11 cs.LG cs.NE stat.ML
Grounded Recurrent Neural Networks
CIMS, New York University(纽约大学库朗数学科学研究所);CSAIL & IMES, Massachusetts Institute of Technology(麻省理工学院计算机科学与人工智能实验室及医学工程与科学研究所)
在这项工作中,我们提出了接地递归神经网络(GRNN),这是一种用于多标签预测的递归神经网络架构,它明确地将标签与递归隐藏状态的特定维度联系起来(我们称这个过程为“接地”)。该方法特别适合从文本中提取大量概念。我们应用新模型来解决医疗保健中的一个重要问题,即理解临床文本中讨论的医学概念。使用来自重症监护病房的公开数据集,我们学会了从出院总结中标记患者的诊断和程序。我们的评估表明,在各种强大的基线上使用我们提出的架构具有明显的优势。
2017-05-23 cs.CL cs.LG cs.NE
Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling
Université de Montréal(蒙特利尔大学)
在本文中,我们比较了循环神经网络(RNN)中不同类型的递归单元。特别是,我们专注于实现门控机制的更复杂的单元,例如长短期记忆(LSTM)单元和最近提出的门控递归单元(GRU)。我们评估这些经常性单位的任务,复调音乐建模和语音信号建模。我们的实验表明,这些先进的经常性单位确实比更传统的经常性单位,如tanh单位。此外,我们发现GRU与LSTM相当。
2014-12-11 cs.LG cs.NE
Convolutional Mixture Density Recurrent Neural Network for Predicting User Location with WiFi Fingerprints
使用WiFi指纹预测智能手机用户活动是近年来室内定位的流行方法。然而,这样的高维时间序列预测问题可能非常棘手。为了解决这个问题,我们提出了一种新的深度学习模型,卷积混合密度循环神经网络(CMDRNN),它结合了卷积神经网络,递归神经网络和混合密度网络的优势。在我们的模型中,CNN子模型用于检测高维输入的特征,RNN子模型用于捕获时间依赖性,MDN子模型用于预测最终输出。为了验证该方法的有效性,我们在真实数据集上进行了实验,实验结果表明了该方法的有效性。
2019-11-21 cs.LG eess.SP stat.ML
Gated Feedback Recurrent Neural Networks
Université de Montréal(蒙特利尔大学)
在这项工作中,我们提出了一种新的递归神经网络(RNN)架构。所提出的RNN,门控反馈RNN(GF-RNN),扩展了现有的堆叠多个递归层的方法,允许和控制信号从上层递归层流向下层,每对层使用全局门控单元。基于先前的隐藏状态和当前输入,层之间交换的递归信号被自适应地选通。我们评估了所提出的GF-RNN与不同类型的递归单元,如tanh,长短期记忆和门控递归单元,在字符级语言建模和Python程序评估的任务。我们对不同RNN单元的经验评估表明,在这两项任务中,GF-RNN都优于构建深度堆叠RNN的传统方法。我们认为,之所以会出现这种改进,是因为GF-RNN可以通过学习门控这些交互,自适应地将不同的层分配给不同的时间尺度和层与层的交互(包括通常不存在于堆栈RNN中的自上而下的交互)。
2015-06-17 cs.LG cs.NE stat.ML
Interneurons accelerate learning dynamics in recurrent neural networks for statistical adaptation
Flatiron Institute(弗莱德哈钦森研究所);Harvard University(哈佛大学);New York University School of Medicine(纽约大学医学院)
本研究对比介导递归通信的中间神经元网络与直接递归连接网络,发现前者对初始化更鲁棒、收敛更快,揭示了中间神经元在快速统计适应中的计算作用,为递归网络的隐式加速提供了类比。
2023-08-24 cs.LG cs.NE q-bio.NC
Explicit construction of recurrent neural networks effectively approximating discrete dynamical systems
Graduate School of Economics, Hitotsubashi University(一桥大学大学院经济学研究科)
本文针对具有递归性的动力系统产生的有界离散时间序列,提出循环神经网络的显式构造方法,证明其能有效逼近对应的离散动力系统。
2024-09-28 cs.LG math.DS
Convolutional Recurrent Neural Networks for Bird Audio Detection
Tampere University of Technology(坦佩雷理工大学)
鸟类的声音具有独特的频谱结构,根据鸟类的种类和环境条件,可能会出现微小的频谱变化。在本文中,我们建议使用卷积循环神经网络在现实环境中进行自动鸟类音频检测。在所提出的方法中,卷积层提取高维的局部频移不变特征,而递归层捕获从短时间帧提取的特征之间的长期依赖关系。该方法在看不见的评估数据上获得了88.5%的ROC曲线下面积(AUC)得分,并在鸟类音频检测挑战赛中获得第二名。
2017-03-07 cs.LG cs.SD stat.ML
Universal Time-Uniform Trajectory Approximation for Random Dynamical Systems with Recurrent Neural Networks
循环神经网络的能力,以近似随机动力系统的轨迹,随机输入,非紧域,并在一个不确定的或无限的时间范围被认为是。主要结果表明,无限时间范围内的某些随机轨迹可以通过具有简单反馈结构的某类深度循环神经网络来近似为任何期望的精度,在时间上均匀。这里的配方与相关文献中关于这一主题,其中大部分是限制在紧凑的状态空间和有限的时间间隔。这里所要求的模型条件是自然的、温和的、易于检验的,证明也非常简单。
2022-11-15 cs.LG cs.NE math.DS
Implicit recurrent networks: A novel approach to stationary input processing with recurrent neural networks in deep learning
Friedrich-Alexander Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
大脑皮层在大脑中处理视觉、听觉和感觉数据,已知在其层内以及从高层到低层具有许多循环连接。但是,在使用神经网络的机器学习的情况下,通常假设严格的前馈架构适用于静态输入数据,例如图像,而递归网络主要用于处理顺序输入,例如语言。然而,不清楚静态输入数据的处理是否也受益于经常性连接。在这项工作中,我们引入并测试了一种新的循环神经网络的实现,该网络具有横向和反馈连接到深度学习中。这种对严格前馈结构的偏离阻止了使用标准误差反向传播算法来训练网络。因此,我们提供了一种算法,该算法在递归网络的隐式实现上实现反向传播算法,这与循环神经网络的最新实现不同。与当前的循环神经网络相比,我们的方法消除了由于许多迭代更新步骤而使用的长衍生物链,这使得学习的计算成本更低。事实证明,在单层隐式递归网络中存在递归层内连接可以大大提高神经网络的性能:单层隐式递归网络能够解决XOR问题,而具有单调递增激活函数的前馈网络则无法完成此任务。最后,我们证明了一个两层的隐式经常性架构导致更好的性能在回归任务的物理参数从阻尼摆的测量轨迹。
2020-10-20 cs.LG cs.NE
Scalable Polyhedral Verification of Recurrent Neural Networks
ETH Zürich(苏黎世联邦理工学院);VMWare Research(威睿研究部);UIUC(伊利诺伊大学厄巴纳-香槟分校);Hitachi Power Grids Research(日立电网研究院)
我们提出了一个可扩展的和精确的验证循环神经网络,称为证明基于两个新的想法:(i)一种方法来计算一组多面体抽象的非凸和非线性的经常性更新功能相结合的采样,优化和费马定理,和(ii)一个基于梯度下降的算法抽象细化的认证问题,结合多个抽象每个神经元的指导。使用Prover,我们提出了第一个证明循环神经网络的非平凡用例的研究,即语音分类。为了实现这一点,我们还为非线性语音预处理管道开发了自定义抽象。我们的评估表明,Prover成功地验证了计算机视觉,语音和运动传感器数据分类中的几个具有挑战性的经常性模型,超出了先前的工作。
2021-06-10 cs.LG cs.SD eess.AS
Reliable and Fast Recurrent Neural Network Architecture Optimization
German Aerospace Center (DLR)(德国航空航天中心);Universidad de Málaga(马拉加大学)
本文介绍了基于随机误差采样的神经进化(RESN),一种新的自动优化循环神经网络结构的方法。RESN结合了进化算法和无训练评估方法。结果表明,RESN实现了最先进的错误性能,同时减少了一半的计算时间。
2021-06-29 cs.LG cs.NE
Sequence Modeling using Gated Recurrent Neural Networks
Universite de Montreal(蒙特利尔大学)
在本文中,我们已经使用循环神经网络捕捉和建模人体运动数据,并产生运动预测的下一个即时的数据点在每个时间步。我们的RNN配备了最近提出的门控递归单元,在一些序列建模问题,如机器翻译和语音合成中显示出有前途的结果。我们证明了该模型能够捕获数据中的长期依赖关系并生成逼真的运动。
2015-01-01 cs.LG cs.NE
Neural Operator Learning for Long-Time Integration in Dynamical Systems with Recurrent Neural Networks
SINTEF Digital(辛特夫数字研究所);University of Oslo(奥斯陆大学);Brown University(布朗大学)
本文提出将神经算子与循环神经网络结合,以解决深度网络在动力系统长时间积分中的误差累积问题,并在Korteweg-de Vries方程上验证了该方法在插值和外推中的稳定性与精度提升。
2024-04-30 cs.LG
Hierarchical Multiscale Recurrent Neural Networks
Université de Montréal(蒙特利尔大学)
学习层次和时间表示一直是循环神经网络的长期挑战之一。多尺度循环神经网络被认为是解决这一问题的一种很有前途的方法,但一直缺乏经验证据表明,这种类型的模型可以通过发现序列的潜在层次结构来捕获时间依赖性。在本文中,我们提出了一种新型的多尺度方法,称为分层多尺度循环神经网络,它可以通过使用新型更新机制对不同时间尺度的时间依赖性进行编码来捕获序列中潜在的分层结构。我们展示了一些证据表明,我们提出的多尺度体系结构可以发现潜在的层次结构的序列,而不使用明确的边界信息。我们评估我们提出的模型字符级的语言建模和手写序列建模。
2017-03-09 cs.LG
The Wavefunction of Continuous-Time Recurrent Neural Networks
York University(约克大学)
本文探讨了连续时间递归神经网络(CTRNN)量子波函数的可能性。我们首先从一个描述连续时间递归神经网络经典动力学的二维动力学系统开始,然后推导出一个哈密顿量。在此之后,我们使用Weyl量化在Hilbert空间$\mathbb{H} = L^2(\mathbb{R})$上量化该哈密顿量。然后,我们解决了薛定谔方程,给我们的波函数在库默尔的合流超几何函数对应的神经网络结构。在无穷远处应用空间边界条件时,我们能够导出对神经网络的权重和超参数的条件/限制,这可能会对找到所述神经网络的最佳权重的性质提供见解。
2021-02-13 cs.LG math-ph math.DS
Stochastic Recurrent Neural Network for Multistep Time Series Forecasting
University College London(伦敦大学学院)
基于深度架构的时间序列预测近年来越来越受欢迎,因为它们能够对复杂的非线性时间动态进行建模。循环神经网络就是这样一种能够处理可变长度输入和输出的模型。在本文中,我们利用深度生成模型的最新进展和状态空间模型的概念,提出了一种用于多步时间序列预测的循环神经网络的随机自适应,该网络采用随机梯度变分贝叶斯进行训练。在我们的模型设计中,循环神经网络的过渡函数,它决定了隐藏状态的演变,是随机的,而不是确定性的,因为在一个定期的循环神经网络;这是通过将一个潜在的随机变量到过渡过程中,捕捉随机性的时间动态。我们的模型保留了循环神经网络的架构工作,所有相关信息都封装在其隐藏状态中,这种灵活性使我们的模型可以轻松集成到任何深层架构中进行顺序建模。我们在从金融到医疗保健的广泛数据集上测试了我们的模型;结果表明,随机循环神经网络始终优于其确定性对应网络。
2021-06-25 cs.AI cs.LG
A Gentle Tutorial of Recurrent Neural Network with Error Backpropagation
SUNY at Buffalo(纽约州立大学布法罗分校)
我们描述了递归神经网络(RNNs),它已经吸引了大量的关注顺序任务,如手写识别,语音识别和图像到文本。然而,与一般的前馈神经网络相比,RNN具有反馈回路,这使得理解反向传播步骤有点困难。因此,我们专注于基础知识,特别是误差反向传播来计算模型参数的梯度。此外,我们详细介绍了如何通过展开存储单元将误差反向传播算法应用于长短期记忆(LSTM)。
2018-01-14 cs.LG
Note on Equivalence Between Recurrent Neural Network Time Series Models and Variational Bayesian Models
我们观察到,标准的对数似然训练目标的循环神经网络(RNN)模型的时间序列数据是等价的变分贝叶斯训练目标,给出了适当的选择生成和推理模型。这种观点可能会激发对RNN和变分贝叶斯模型的扩展。我们提出了一个这样的扩展,其中多个粒子用于RNN的隐藏状态,允许不确定性或多模态的自然表示。
2016-06-18 cs.LG
Separation of Memory and Processing in Dual Recurrent Neural Networks
Escuela Politécnica Superior, Universidad Autónoma de Madrid(马德里自治大学高等理工学院)
我们探索了一种神经网络架构,该架构堆叠了一个递归层和一个前馈层,该前馈层也连接到输入,并将其与标准Elman和LSTM架构在准确性和可解释性方面进行了比较。当噪声被引入到递归单元的激活函数中时,这些神经元被迫进入二进制激活状态,这使得网络表现得更像有限自动机。所得到的模型更简单,更易于解释,对不同的样本问题,包括正则语言的识别,不同基的加法计算和算术表达式的生成,都有更高的精度。
2020-05-17 cs.FL cs.LG cs.NE
Murmur Detection Using Parallel Recurrent & Convolutional Neural Networks
TCS Research(塔塔咨询服务研究院)
在这篇文章中,我们提出了一种新的技术,在心音杂音的分类。我们引入了一种新的深度神经网络架构,使用基于双向长短期记忆(BiLSTM)和卷积神经网络(CNN)的递归神经网络(RNN)的并行组合来学习PCG波形中的Murmur的视觉和时间相关特性。一组声学特征被呈现给我们提出的深度神经网络,以区分Normal和Murmur类。使用5倍交叉验证在大数据集上对所提出的方法进行了评估,灵敏度和特异性分别为96 +-0.6%,100 +-0%,F1评分为98 +-0.3%。
2018-08-13 cs.LG cs.SD eess.AS
Sequential Short-Text Classification with Recurrent and Convolutional Neural Networks
MIT(麻省理工学院)
最近的方法基于人工神经网络(ANN)的短文本分类显示出可喜的成果。然而,许多短文本是按顺序出现的(例如,文档中的句子或对话中的话语),并且大多数现有的基于ANN的系统在对后续文本进行分类时不利用前面的短文本。在这项工作中,我们提出了一个基于递归神经网络和卷积神经网络的模型,它结合了前面的短文本。我们的模型在三个不同的对话行为预测数据集上实现了最先进的结果。
2016-03-12 cs.AI cs.CL cs.LG
NFT Appraisal Prediction: Utilizing Search Trends, Public Market Data, Linear Regression and Recurrent Neural Networks
University of Toronto(多伦多大学)
在本文中,我们研究了NFT估值与三个主要类别的各种特征之间的相关性:公开市场数据,NFT元数据和社会趋势数据。
2022-04-18 cs.LG q-fin.ST
Fixed-Point Performance Analysis of Recurrent Neural Networks
Seoul National University(首尔国立大学)
循环神经网络在许多应用中已经显示出优异的性能,然而它们在基于硬件或软件的实现中需要增加的复杂性。通过最小化权值和信号的字长,可以大大降低硬件复杂度。本文分析了使用基于再训练的量化方法的循环神经网络的定点性能。研究了RNN各层的量化敏感性,给出了在不牺牲性能的前提下,最小化权容量的整体定点优化结果。使用了一个语言模型和一个音素识别实例。
2016-09-27 cs.LG cs.NE
Rhythm, Chord and Melody Generation for Lead Sheets using Recurrent Neural Networks
Ghent University(根特大学);imec(比利时微电子研究中心)
由循环神经网络生成的音乐通常缺乏方向感和连贯性。因此,我们提出了一个两阶段的LSTM为基础的模型,铅表生成,其中的谐波和节奏的模板的歌曲产生的第一,之后,在第二阶段,一个序列的旋律音符产生的条件下,这些模板。主观听力测试表明,我们的方法优于基线,并增加了感知的音乐连贯性。
2020-02-21 cs.CL cs.LG cs.SD
Coordinate descent on the orthogonal group for recurrent neural network training
National Physical Laboratory(国家物理实验室);Mathematical Institute(数学研究所);University of Oxford(牛津大学);IIIT Delhi(德里印度理工学院)
我们建议使用正交群上的随机黎曼坐标下降来训练循环神经网络。该算法连续旋转递归矩阵的两列,这种操作可以有效地实现为与Givens矩阵相乘。在每次迭代中随机均匀选择坐标的情况下,我们证明了该算法在标准假设下对损失函数、步长和小批量噪声的收敛性。此外,我们数值证明了循环神经网络训练中的黎曼梯度具有近似稀疏的结构。利用这一观察结果,我们提出了一个更快的变种,所提出的算法依赖于高斯-索斯韦尔规则。在一个标准的循环神经网络训练问题上的实验证明了该算法的有效性。
2021-07-30 cs.LG math.OC
An Empirical Evaluation of Rule Extraction from Recurrent Neural Networks
McGill University(麦吉尔大学);Pennsylvania State University(宾夕法尼亚州立大学)
从黑盒模型中提取规则对于需要在实现之前进行模型验证的领域至关重要,例如信用评分和医疗诊断。虽然在一般的统计学习中已经是一个具有挑战性的问题,但当高度非线性的递归模型(如循环神经网络(RNN))适合数据时,难度甚至更大。在这里,我们研究的规则提取二阶循环神经网络训练识别富田文法。我们表明,产生式规则可以稳定地从训练的RNN中提取,并且在某些情况下,规则优于训练的RNN。
2018-11-14 cs.LG