Generating images with recurrent adversarial networks
Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所);University of Montreal(蒙特利尔大学);York University(约克大学)
Gatys et al.(2015)表明,优化像素以匹配卷积网络中的特征与参考图像特征,是渲染高视觉质量图像的一种方法。我们表明,展开这种基于梯度的优化产生了一个经常性的计算,通过增量添加到一个视觉“画布”上创建图像。我们提出了一个受这种观点启发的递归生成模型,并证明它可以使用对抗训练来训练,以生成非常好的图像样本。我们还提出了一种通过让这些网络的生成器和鉴别器相互竞争来定量比较对抗网络的方法。
2016-12-13 cs.CV cs.LG
LSTM recurrent neural network assisted aircraft stall prediction for enhanced situational awareness
Islamic University of Technology(伊斯兰技术大学);University of Alberta(阿尔伯塔大学);H2O.ai
自从人类开始使用动力飞行以来,已经发生了多起可归因于飞机失速的事件。大多数现代飞机都配备了先进的警告系统,以警告飞行员潜在的失速,以便飞行员采取必要的恢复措施。但是这些警告通常在飞机实际进入失速之前有一个很短的窗口,需要飞行员迅速采取行动来防止它。在本文中,我们提出了一种基于深度学习的方法来提前预测即将发生的失速,甚至在失速警告被触发之前。我们利用长短期记忆(LSTM)递归神经网络(RNN)的能力,提出了一种新的方法来预测潜在的失速从连续的飞行中的传感器数据。探索了三种不同的神经网络架构。神经网络模型,在26400秒的模拟器飞行数据的训练,能够预测潜在的失速与> 95%的准确性,约10秒前失速警告触发。这可以显著增强飞行员处理意外失速的准备,并将为传统的失速警告系统增加额外的安全层。
2020-12-09 cs.LG
Simultaneously forecasting global geomagnetic activity using Recurrent Networks
Georgia Institute of Technology(佐治亚理工学院);Pennsylvania State University(宾夕法尼亚州立大学)
社会使用的许多系统极易受到太阳耀斑和地磁暴等空间气象事件的影响,这些事件有可能造成灾难性损害。近年来,出现了许多作品,通过预测这些事件,通过一些代理,这些系统提供预警,但这些方法主要集中在一个特定的现象。我们提出了一个序列到序列的学习方法来预测全球空间天气条件的问题,在每小时的分辨率。这种方法改进了在这一领域的其他工作,同时预测地磁活动的几个关键代理提前6小时。我们证明了一个改进,目前已知的最好的预测地磁风暴,并改善了持久性基线提前几个小时。
2020-11-20 cs.LG
Regularizing and Optimizing LSTM Language Models
Salesforce Research(Salesforce 研究院)
递归神经网络(RNN),如长短期记忆网络(LSTM),作为许多序列学习任务的基本构建块,包括机器翻译、语言建模和问答。在本文中,我们考虑了单词级语言建模的具体问题,并研究了正则化和优化基于LSTM的模型的策略。我们提出了权重下降的LSTM,它在隐藏到隐藏权重上使用DropConnect作为循环正则化的一种形式。此外,我们介绍NT-ASGD,平均随机梯度方法的一个变体,其中平均触发器是使用非单调条件确定的,而不是由用户调整。使用这些和其他正则化策略,我们在两个数据集上实现了最先进的单词级困惑:Penn Treebank上的57.3和WikiText-2上的65.8。在探索神经缓存与我们提出的模型相结合的有效性时,我们在Penn Treebank上实现了更低的最先进的困惑度,为52.8,在WikiText-2上为52.0。
2017-08-07 cs.CL cs.LG cs.NE
Neuroevolution of Recurrent Architectures on Control Tasks
Montreal University Geriatric Institute(蒙特利尔大学老年医学研究所)
本文提出依据少量变异规则动态进化循环神经网络架构的大规模并行进化算法,在19个OpenAI Gym控制任务上以少几个数量级的参数达到或超过梯度方法性能。
2023-04-03 cs.LG cs.NE
KeystoneML: Optimizing Pipelines for Large-Scale Advanced Analytics
University of California, Berkeley(加州大学伯克利分校)
现代高级分析应用程序利用机器学习技术,并包含多个特定于域和通用处理的步骤,这些步骤具有很高的资源要求。我们提出了KeystoneML,一个系统,捕获和优化的端到端的大规模机器学习应用程序的高吞吐量训练在分布式环境中的高级别API。这种方法提供了比现有系统更高的易用性和更高的性能,用于大规模学习。我们证明了KeystoneML在几个领域使用真实世界数据集实现高质量统计准确性和可扩展训练方面的有效性。通过优化执行,KeystoneML在实际图像分类应用程序上的训练吞吐量是未优化执行的15倍。
2016-10-29 cs.DC cs.LG
A new recurrent neural network based predictive model for Faecal Calprotectin analysis: A retrospective study
University of Windsor(温莎大学);University of Oxford(牛津大学);University of Stirling(斯特林大学);Western General Hospital(西部综合医院)
粪便钙卫蛋白(FC)是肠道炎症的替代标志物,称为炎症性肠病(IBD),但不是癌症。在这项804例患者的回顾性研究中,开发了一种用于分析FC的增强型基准预测模型,该模型基于最先进的回声状态网络(ESN)、一种实现生物学合理架构的高级动态循环神经网络和一种监督学习机制。所提出的机器学习驱动的预测模型与传统的逻辑回归模型进行了基准测试,证明了统计上显著的性能改进。
2016-12-17 cs.LG
DeepAR: Probabilistic Forecasting with Autoregressive Recurrent Networks
Amazon Research(亚马逊研究院)
概率预测,即在给定时间序列的过去的情况下估计时间序列的未来的概率分布,是优化业务流程的关键使能器。例如,在零售业务中,预测需求对于在正确的时间在正确的地点提供正确的库存至关重要。在本文中,我们提出了DeepAR,这是一种基于大量相关时间序列训练自回归递归网络模型来生成准确概率预测的方法。我们展示了如何通过将深度学习技术应用于预测,人们可以克服广泛使用的经典方法所面临的许多挑战。我们通过对几个真实世界的预测数据集进行广泛的实证评估,与最先进的方法相比,准确性提高了约15%。
2019-02-22 cs.AI cs.LG stat.ML
Learning Stochastic Recurrent Networks
Technische Universität München(慕尼黑工业大学);Leibniz Universität Hannover(莱布尼茨汉诺威大学)
利用变分推断的进步,我们提出用潜变量增强递归神经网络,从而产生随机递归网络(STORN)。该模型i)可以用随机梯度方法训练,ii)允许在每个时间步的结构化和多模态条件,iii)具有边缘似然的可靠估计器,iv)是确定性递归神经网络的概括。我们评估的方法对四个复调音乐数据集和运动捕捉数据。
2015-03-05 cs.LG stat.ML
Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling
Université de Montréal(蒙特利尔大学)
在本文中,我们比较了循环神经网络(RNN)中不同类型的递归单元。特别是,我们专注于实现门控机制的更复杂的单元,例如长短期记忆(LSTM)单元和最近提出的门控递归单元(GRU)。我们评估这些经常性单位的任务,复调音乐建模和语音信号建模。我们的实验表明,这些先进的经常性单位确实比更传统的经常性单位,如tanh单位。此外,我们发现GRU与LSTM相当。
2014-12-11 cs.LG cs.NE
Predicting the spread of COVID-19 in Delhi, India using Deep Residual Recurrent Neural Networks
Louisiana Tech University(路易斯安那理工大学)
检测冠状病毒的传播将大大有助于减少人类和经济损失。不幸的是,用于COVID-19预测模型的现有流行病学模型太慢,无法详细捕捉COVID-19的发展。本研究使用偏微分方程来提高SEIRD模型方程所支配的COVID 19预测的处理速度和准确性。使用卷积神经网络和深度残差循环神经网络从使用偏微分方程模拟的数据中提取COVID 19的动态。DRRNN的准确性是使用均方误差来测量的。DRRNN COVID-19预测模型已被证明具有准确的COVID-19预测。此外,我们得出结论,DR-RNN可以显著提高实时的COVID-19预测中支持决策的能力。
2021-10-09 cs.LG
Recurrent Graph Neural Network Algorithm for Unsupervised Network Community Detection
Center For Urban Science+Progress, New York University(纽约大学城市科学与进步中心)
网络社区发现通常依赖于优化划分质量函数,如模块化。这种优化似乎是一个复杂的问题,传统上依赖于离散算法。虽然该问题可以重新表述为连续优化,但直接应用标准优化方法在克服众多局部极值方面的效率有限。然而,深度学习的兴起及其在图形中的应用提供了新的机会。虽然图神经网络已被用于网络上的监督和无监督学习,但尚未探索其在模块化优化中的应用。本文提出了一种新的变体的递归图神经网络算法的无监督网络社区发现,通过模块优化。将新算法的性能与一种流行的快速Louvain算法和作者最近提出的一种效率更高但速度更慢的Combo算法进行了比较。该方法还作为一个概念验证的更广泛的应用程序的经常性图神经网络无监督网络优化。
2021-03-03 cs.LG cs.SI physics.soc-ph
Reviving and Improving Recurrent Back-Propagation
University of Toronto(多伦多大学);Uber ATG Toronto(优步先进技术集团多伦多);Vector Institute(向量研究所);Rice University(莱斯大学);Baylor College of Medicine(贝勒医学院);Canadian Institute for Advanced Research(加拿大高等研究院)
在本文中,我们重新审视了递归反向传播(RBP)算法,讨论了它适用的条件以及如何在深度神经网络中满足这些条件。我们证明了RBP可能是不稳定的,并提出了两个变体的基础上共轭梯度的正规方程(CG-RBP)和Neumann系列(Neumann-RBP)。我们进一步研究了Neumann-RBP和时间反向传播(BPTT)及其截断版本(TBPTT)之间的关系。我们的Neumann-RBP具有与TBPTT相同的时间复杂度,但只需要恒定的内存,而TBPTT的内存成本与截断步骤的数量线性缩放。我们研究了所有RBP变体以及BPTT和TBPTT在三个不同的应用领域:连续Hopfield网络的联想记忆,引文网络中使用图神经网络的文档分类和全连接网络的超参数优化。所有的实验表明,RBP,特别是Neumann-RBP变体,是高效和有效的优化收敛递归神经网络。代码发布于:\url{https://github.com/lrjconan/RBP}。
2019-11-06 cs.LG stat.ML
Uncertainty-Aware Deep Attention Recurrent Neural Network for Heterogeneous Time Series Imputation
University College London(伦敦大学学院)
提出DEARI模型,通过自注意力机制、残差组件和自监督度量学习构建深度循环网络填补异构多元时间序列缺失值,并利用贝叶斯边缘化策略估计不确定性,在真实数据集上超越SOTA。
2024-01-04 cs.AI cs.LG
Regularizing Recurrent Networks - On Injected Noise and Norm-based Methods
Technische Universität München(慕尼黑工业大学)
在过去的几十年里,并行处理的进步导致了多层感知器(MLP)应用和深度学习的激增。递归神经网络(RNN)通过提供一种处理序列数据的方法,为前馈MLP提供了额外的表示能力。然而,RNN很难使用传统的误差反向传播方法进行训练,因为很难将许多时间步长上的输入相关联。来自MLP领域的正则化方法,如dropout和噪声权重训练,在简单的RNN上没有得到充分的应用和测试。此外,已经提出了解决方案来改善RNN的收敛性,但不足以改善其长期依赖性记忆能力。在这项研究中,我们的目标是实证评估复调音乐数据集上RNN的记忆和泛化能力。这些模型使用注入噪声、随机丢弃、基于范数的正则化器进行训练,并与初始化良好的普通RNN和快速丢弃等高级正则化方法进行比较。我们得出结论,有证据表明,噪声训练并不能提高性能,这是我们之前在RNN优化方面的一些工作所证明的。
2014-10-21 cs.LG stat.ML
Syntactically Informed Text Compression with Recurrent Neural Networks
Texas A&M University(德克萨斯A&M大学)
我们提出了一个独立的系统,用于构建自然语言模型,用于文本压缩。我们的系统通过利用句法分析的最新进展- Google的SyntaxNet -来增强字符级循环神经网络,从而改进了以前基于神经网络的模型。RNN在建模序列数据(如文本)方面表现出色,因为它们的架构允许对长期上下文信息进行建模。
2016-08-26 cs.CL cs.IT cs.LG
An advanced spatio-temporal convolutional recurrent neural network for storm surge predictions
University of Notre Dame(圣母大学)
在这篇研究论文中,我们研究了人工神经网络模型的能力,以模拟风暴潮的风暴路径/大小/强度的历史的基础上,利用数据库的合成风暴模拟。传统上,采用计算流体动力学求解器来数值求解偏微分方程的风暴潮控制方程,并且通常模拟成本非常高。本研究提出了一个神经网络模型,可以预测风暴潮,由数据库的合成风暴模拟通知。该模型可以作为非常昂贵的CFD求解器的快速且经济的仿真器。神经网络模型使用用于驱动CFD求解器的风暴路径参数进行训练,并且模型的输出是在感兴趣的空间域内跨多个节点的预测风暴潮的时间序列演变。一旦模型经过训练,就可以根据新的风暴路径输入进行进一步的预测。所开发的神经网络模型是一个时间序列模型,一个长短期记忆,一个变种的递归神经网络,其中丰富了卷积神经网络。采用卷积神经网络来捕捉数据的空间相关性。因此,数据的时间和空间相关性通过上述模型的组合,即ConvLSTM模型来捕获。由于该问题是一个序列到序列的时间序列问题,因此设计了一个编码器-解码器ConvLSTM模型。在模型训练过程中还采用了其他一些技术来丰富模型的性能。结果表明,所提出的卷积循环神经网络优于高斯过程实现检查合成风暴数据库。
2022-04-18 cs.AI cs.CE cs.LG
Traffic signal control optimization under severe incident conditions using Genetic Algorithm
DATA61 | CSIRO(联邦科学与工业研究组织数据61所);University of Technology Sydney(悉尼科技大学)
交通控制优化是一个具有挑战性的任务,在世界上的各种交通中心和大多数的方法只集中在正常(经常性)的交通条件下应用自适应方法。但是,当严重事故发生时,优化控制计划仍然是一个很难解决的问题,特别是如果大量的车道或整个交叉口受到影响。本文旨在解决这一问题,并提出了一种新的方法来优化信号交叉口的交通信号配时,在非重现性交通事件。该方法依赖于部署遗传算法(GA)考虑的阶段持续时间作为决策变量和目标函数,以最小化的总旅行时间在网络中。首先,我们开发了遗传算法的信号测试床网络在经常性的交通条件下,与微调的交叉,变异,适应度计算的算法的目的,并获得最佳相位持续时间。其次,我们应用之前在影响网络中交通流量的严重事件下发现的最佳信号配时,但没有任何进一步的优化。最后,我们进一步应用GA优化事件条件下,我们的方法提高了近40.76%的总行程时间。
2019-06-11 cs.LG cs.SY eess.SY
Imitation Learning with Recurrent Neural Networks
University of Maryland(马里兰大学)
我们提出了一个新的观点,统一了两个旨在解决序列预测问题的框架:学习搜索(L2S)和循环神经网络(RNN)。我们指出这两个框架的元素之间的等价性。通过补充一个框架与另一个框架相比所缺少的内容,我们引入了一个更先进的模仿学习框架,一方面,它增强了L2S的搜索空间概念,另一方面,增强了RNN训练过程,使其对高度相关示例的训练所产生的复合错误更具鲁棒性。
2016-07-18 cs.CL cs.LG stat.ML
Petrophysical Property Estimation from Seismic Data Using Recurrent Neural Networks
Georgia Institute of Technology(佐治亚理工学院)
储层表征包括从测井资料和地震资料中估计岩石物理性质。由于地下的非线性和非均匀性,估计这些属性是一项具有挑战性的任务。已经进行了各种尝试来使用机器学习技术(诸如前馈神经网络和支持向量回归(SVR))来估计岩石物理性质。机器学习的最新进展表明,循环神经网络(RNN)在建模复杂的序列数据(如视频和语音信号)方面取得了可喜的成果。在这项工作中,我们提出了一个算法的属性估计从地震资料使用循环神经网络。与前馈神经网络相比,所提出的工作流程在使用地震资料估计密度和P波阻抗方面的应用显示出有希望的结果。
2019-02-01 cs.LG physics.geo-ph
Recurrent Neural Networks (RNNs): A gentle Introduction and Overview
Eberhard-Karls-University Tübingen(图宾根埃伯哈德·卡尔斯大学)
“语言建模和生成文本”、“语音识别“、“生成图像描述”或“视频标记”领域的最先进解决方案一直使用循环神经网络作为其方法的基础。因此,如果我们想跟上这些领域最近或即将出版的出版物,了解基本概念至关重要。在这项工作中,我们给出了一个简短的概述在循环神经网络领域的一些最重要的概念,使读者能够很容易地理解的基本面,如但不限于“通过时间的反向传播”或“长短期记忆单位”,以及一些最近的进展,如“注意力机制“或“指针网络”。我们还提供了必要时进一步阅读更复杂主题的建议。
2019-11-23 cs.LG stat.ML
Optimizing Stock Option Forecasting with the Assembly of Machine Learning Models and Improved Trading Strategies
University of Washington(华盛顿大学);University of Calgary(卡尔加里大学)
本文介绍了应用机器学习模型、改进的交易策略和拟可逆性方法优化股票期权预测和交易结果的关键方面。介绍了“拟可逆卷积神经网络在期权预测中的应用”研究的后续项目的研究成果。首先,该项目包括递归神经网络(RNN)和长短期记忆(LSTM)网络的应用,以提供一种预测股票期权趋势的新方法。此外,它还通过评估将多个ML模型组合在一起以改善预测结果和决策的实验方法来检查ML模型的依赖性。最后,给出了两种改进的交易策略和模拟投资结果。应用离散时间随机过程分析的二项资产定价模型和投资组合套期保值,提出了最优的投资预期。这些结果可以用于现实生活中的交易策略,以优化基于历史数据的股票期权投资结果。
2022-11-29 cs.LG q-fin.CP
One-Shot Pruning of Recurrent Neural Networks by Jacobian Spectrum Evaluation
University of Toronto(多伦多大学);Vector Institute(向量研究所)
稀疏神经网络文献中的最新进展使得仅用少量数据就可以修剪许多大型前馈和卷积网络。然而,这些相同的技术往往动摇时,应用于恢复稀疏递归网络的问题。这些故障是定量的:当使用最近的技术修剪时,RNN通常获得比在简单随机修剪方案下更差的性能。失败也是定性的:修剪的LSTM或GRU网络中的活动权重的分布往往集中在特定的神经元“与”门中,而不是很好地分散在整个架构中。我们试图纠正定量和定性问题与经常性网络修剪引入一个新的经常性修剪目标来自经常性雅可比矩阵的频谱。我们的目标是数据高效(只需要64个数据点来修剪网络),易于实现,并产生95%的稀疏GRU,显着改善现有的基线。我们评估顺序MNIST,十亿字,和Wikitext。
2019-11-30 cs.LG stat.ML
Scalable Bayesian Learning of Recurrent Neural Networks for Language Modeling
Duke University(杜克大学)
循环神经网络(RNN)在语言建模方面表现出了良好的性能。然而,使用时间反向传播的RNN的传统训练经常遭受过拟合。其中一个原因是随机优化(用于大型训练集)不能提供模型不确定性的良好估计。本文利用随机梯度马尔可夫链蒙特卡罗(也适用于大型训练集)的最新进展来学习RNN中的权重不确定性。它产生了一个原则性的贝叶斯学习算法,在训练过程中添加梯度噪声(增强对模型参数空间的探索),并在测试时对模型进行平均。在各种RNN模型和广泛的应用程序上进行的大量实验表明,所提出的方法优于随机优化。
2017-04-24 cs.CL cs.LG
Stochastic Recurrent Neural Network for Multistep Time Series Forecasting
University College London(伦敦大学学院)
基于深度架构的时间序列预测近年来越来越受欢迎,因为它们能够对复杂的非线性时间动态进行建模。循环神经网络就是这样一种能够处理可变长度输入和输出的模型。在本文中,我们利用深度生成模型的最新进展和状态空间模型的概念,提出了一种用于多步时间序列预测的循环神经网络的随机自适应,该网络采用随机梯度变分贝叶斯进行训练。在我们的模型设计中,循环神经网络的过渡函数,它决定了隐藏状态的演变,是随机的,而不是确定性的,因为在一个定期的循环神经网络;这是通过将一个潜在的随机变量到过渡过程中,捕捉随机性的时间动态。我们的模型保留了循环神经网络的架构工作,所有相关信息都封装在其隐藏状态中,这种灵活性使我们的模型可以轻松集成到任何深层架构中进行顺序建模。我们在从金融到医疗保健的广泛数据集上测试了我们的模型;结果表明,随机循环神经网络始终优于其确定性对应网络。
2021-06-25 cs.AI cs.LG
Learning to Adaptively Scale Recurrent Neural Networks
University of Central Florida(中佛罗里达大学);Huawei Cloud(华为云)
递归神经网络(RNN)研究的最新进展已经证明了利用多尺度结构学习时间序列的时间表示的优越性。目前,大多数多尺度RNN使用固定的尺度,这不符合序列之间的动态时间模式的性质。在本文中,我们提出了自适应缩放循环神经网络(ASRNN),一个简单而有效的方法来处理这个问题。ASRNN不使用预定义的尺度,而是能够根据不同的时间上下文学习和调整尺度,使它们在建模多尺度模式时更加灵活。与其他多尺度RNN相比,ASRNN具有动态缩放能力,结构简单,易于与各种RNN单元集成。多个序列建模任务的实验表明,ASRNN可以有效地适应不同的序列上下文的尺度,并产生更好的性能比基线没有动态缩放能力。
2019-02-15 cs.LG stat.ML
BCI decoder performance comparison of an LSTM recurrent neural network and a Kalman filter in retrospective simulation
Brown University(布朗大学);Harvard Medical School(哈佛医学院)
使用线性卡尔曼解码器的皮质内脑机接口(iBCI)使瘫痪患者能够控制计算机光标,在虚拟键盘上连续点击打字,浏览互联网和使用熟悉的平板电脑应用程序。然而,需要进一步的进步来提供接近健全性能的支持iBCI的光标控制。最近的证据表明,非线性递归神经网络(RNN)可以在非人类灵长类动物(NHP)中提供更高性能的iBCI光标控制,我们使用经过多天多电极记录训练的长短期记忆(LSTM)RNN评估了人类运动皮层信号的预期光标速度解码。通过对来自三名BrainGate iBCI试验参与者的先前记录的皮质内信号进行模拟,我们展示了一种RNN,与卡尔曼解码器相比,它可以在基于高速光标的目标选择任务以及具有挑战性的小目标高精度任务中大幅增加每秒比特数。这些结果表明,应用于人类皮质内信号的RNN解码可以在连续的2-D光标控制中实现实质性的性能进步,并激励实时RNN实现用于四肢瘫痪个体的在线评估。
2018-12-24 cs.HC cs.LG
Deep auscultation: Predicting respiratory anomalies and diseases via recurrent neural networks
University of Calabria(卡拉布里亚大学)
呼吸道疾病是全世界严重疾病和死亡的最常见原因之一。预防和早期诊断对于限制甚至扭转这类疾病扩散的趋势至关重要。在这方面,用于分析呼吸听诊声音的先进计算工具的开发可以成为检测疾病相关异常或疾病本身的游戏规则改变者。在这项工作中,我们提出了一个新的学习框架呼吸听诊声音数据。我们的方法结合了最先进的特征提取技术和先进的深度神经网络架构。值得注意的是,据我们所知,我们是第一个建立基于递归神经网络的学习框架的模型,以支持临床医生在异常声音或病理类别的水平上检测呼吸系统疾病。在ICBHI基准数据集上获得的结果表明,我们的方法在异常驱动和病理驱动的预测任务上都优于竞争方法,从而推进了呼吸系统疾病分析的最新发展。
2019-07-11 cs.LG cs.SD eess.AS
Optimizing Non-decomposable Measures with Deep Networks
University of Oxford(牛津大学);IIT Kanpur(印度理工学院坎普尔分校);Qatar Computing Research Institute(卡塔尔计算研究所);Istituto di Scienza e Tecnologia dell’Informazione(意大利信息科学与技术研究所)
我们提出了一类能够直接训练深度神经网络的算法,这些算法涉及大量特定于任务的性能指标,例如结构化和不可分解的F度量和库尔贝克-莱布勒散度。这与通常使用平方或交叉熵损失函数(可分解)来训练神经网络的标准深度学习技术不同。我们证明了直接使用特定于任务的损失函数进行训练可以在问题和数据集之间产生更快,更稳定的收敛。我们提出的算法和实现有几个新的功能,包括(i)收敛到一阶固定点,尽管优化复杂的目标函数;(ii)使用更少的训练样本,以实现所需的收敛水平,(iii)大幅减少训练时间,以及(iv)我们的实现无缝集成到现有的符号梯度框架。我们在各种深度架构上实现了我们的技术,包括多层感知器和递归神经网络,并表明在各种基准和真实数据集上,我们的算法优于传统的深度网络训练方法,以及最近的一些神经网络特定任务训练方法。
2018-01-31 cs.LG stat.ML
Exploring the Naturalness of Buggy Code with Recurrent Neural Networks
University of Virginia(弗吉尼亚大学)
统计语言模型是自然语言处理中的一种强有力的工具。最近,它们已被用于其他顺序数据,如源代码。(Ray例如,2015)示出了可以训练n-gram源代码语言模式,并且使用它来通过经由关于语言模型的熵确定“不自然”行来预测代码中的错误行。在这项工作中,我们建议使用一个更先进的语言建模技术,长短期记忆循环神经网络,建模源代码和分类错误行的基础上熵。我们表明,我们的方法在使用AUC的错误线分类任务中略优于n-gram模型。
2018-03-21 cs.CL cs.LG cs.SE
Physics Guided Recurrent Neural Networks For Modeling Dynamical Systems: Application to Monitoring Water Temperature And Quality In Lakes
University of Minnesota(明尼苏达大学);United States Geologic Survey(美国地质调查局);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
在本文中,我们介绍了一种新的框架,用于将基于物理的模型和循环神经网络中的科学知识相结合,以推进许多动力系统中的科学发现。我们将首先描述在学习混合物理数据模型时使用基于物理的模型的输出。然后,我们进一步将物理知识纳入现实世界的动力系统中,作为训练循环神经网络的额外约束。我们将应用这种方法对湖泊温度和质量进行建模,其中我们考虑到沿深度维度和时间维度的物理约束。通过使用科学知识来指导构建和学习数据驱动模型,我们证明该方法可以实现更好的预测精度以及结果的科学一致性。
2018-10-05 cs.LG stat.ML
Noisy Parallel Approximate Decoding for Conditional Recurrent Language Model
New York University(纽约大学)
条件递归语言建模的最新进展主要集中在网络架构(例如,注意力机制),学习算法(例如,调度采样和序列级训练)和新颖的应用(例如,图像/视频描述生成、语音识别等)另一方面,我们注意到解码算法/策略还没有被研究得那么多,并且使用贪婪或束搜索已经成为标准。在本文中,我们提出了一种新的解码策略,其动机是早期的观察,即深度神经网络的非线性隐藏层拉伸数据流形。该策略在不增加通信开销的情况下具有良好的并行性,同时改进了现有的译码算法。我们用基于注意力的神经机器翻译对En->Cz翻译任务进行了广泛的评估。
2016-05-12 cs.CL cs.LG stat.ML
Compact recurrent neural networks for acoustic event detection on low-energy low-complexity platforms
ICT-irst Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会ICT-irst研究所);Manipal Academy of Higher Education(马尼帕尔高等教育学院)
户外声学事件检测是一个令人兴奋的研究领域,但由于需要复杂的算法和深度学习技术,通常需要许多计算,内存和能源资源,因此面临挑战。这一挑战阻碍了物联网的实施,因为物联网需要有效利用资源。然而,当前的嵌入式技术和微控制器已经在不影响能源效率的情况下提高了它们的能力。本文通过在物联网资源受限的嵌入式平台上优化深度学习技术,解决了边缘声音事件检测的应用。贡献是双重的:首先,提出了一个两阶段的学生-教师方法,使最先进的神经网络的声音事件检测适合当前的微控制器;其次,我们测试我们的方法在ARM Cortex M4上,特别是专注于与8位量化的问题。我们的嵌入式实现可以在Urbansound 8 k上实现68%的识别准确率,与最先进的性能相差不远,每秒音频流的推理时间为125 ms,仅34.3 kB RAM的功耗为5.5 mW。
2020-01-29 cs.LG cs.SD eess.AS
Sequence Generation using Deep Recurrent Networks and Embeddings: A study case in music
Universidad EAFIT(EAFIT大学);Ecopetrol(哥伦比亚石油公司)
序列的自动生成在过去几年中一直是一个高度探索的领域。特别地,由于机器学习和具有内在记忆机制的神经网络(诸如递归神经网络)的最新进展,自然语言处理和自动音乐合成已经变得重要。本文评价了不同类型的记忆机制(存储单元),并分析了它们在音乐创作领域的表现。所提出的方法考虑了音乐理论的概念,如换位,并使用数据转换(嵌入),以引入语义和提高质量的生成的旋律。一组定量指标,提出了自动评估所提出的架构的性能,测量的音调的音乐作品。
2020-12-02 cs.LG cs.SD eess.AS
Continuous Gesture Recognition from sEMG Sensor Data with Recurrent Neural Networks and Adversarial Domain Adaptation
JetBrains Research(JetBrains研究院);University of York(约克大学);National Research University Higher School of Economics(国家研究型高等经济学院)
近年来,假肢的运动控制取得了很大的进展。新的传感器和控制技术增强了假肢的功能和实用性,使其能够在有限的范围内进行复杂的运动,如抓握。迄今为止,最成功的结果是通过应用循环神经网络(RNN)实现的。然而,在假手领域,迄今为止的实验仅限于非移动手腕,这大大降低了这种假肢的功能。在本文中,第一次,我们提出了移动和非移动手腕的手势识别的实证结果。此外,我们证明了具有简单递归单元(SRU)的循环神经网络在手势识别准确性方面优于常规RNN,这些数据是通过臂带从手臂肌肉(通过表面肌电图或sEMG)感知电磁信号获得的。最后,我们表明,将领域自适应技术添加到RNN的连续手势识别中,可以提高受试者之间的传输能力,其中在一个人的数据上训练的肢体控制器用于另一个人。
2020-12-16 cs.LG eess.SP
Optimal Gradient Checkpointing for Sparse and Recurrent Architectures using Off-Chip Memory
Peter Grünberg Institut(彼得·格林贝格研究所);FZ Jülich(于利希研究中心);RWTH Aachen(亚琛工业大学);ESI Algiers(阿尔及尔电子与信息技术学院)
针对稀疏RNN和SNN,提出双重检查点梯度策略,利用IPU分布式内存,减少重计算开销,实现超10倍序列长度或4倍网络规模的训练,仅微小时间开销。
2024-12-16 cs.AR cs.LG cs.NE
Recurrent Neural Networks for Dynamic VWAP Execution: Adaptive Trading Strategies with Temporal Kolmogorov-Arnold Networks
DRM, Université Paris Dauphine - PSL(巴黎多芬大学 - 巴黎文理研究大学 DRM 机构)
本文提出基于循环神经网络和时间Kolmogorov-Arnold网络的动态VWAP执行框架,实时适应市场变化,在五个加密货币市场实现10-15%的执行性能提升。
2025-02-25 cs.LG q-fin.ST
DiffRNN: Differential Verification of Recurrent Neural Networks
University of Southern California(南加州大学)
诸如长短期记忆(LSTM)网络的循环神经网络(RNN)在诸如图像处理、数据分类、语音识别的各种应用中以及作为自治系统中的控制器已经变得流行。在实际环境中,通常需要在资源受限的平台(如移动电话或嵌入式设备)上部署此类RNN。由于这些组件的内存占用和能耗成为瓶颈,因此有兴趣使用一系列启发式技术来压缩和优化这些网络。然而,这些技术不能保证优化网络的安全性,例如,对抗对抗性输入,或者优化网络和原始网络的等价性。为了解决这个问题,我们提出了RNN,RNN的第一个差分验证方法,以证明两个结构相似的神经网络的等价性。基于ReLU的前馈神经网络的差分验证的现有工作不适用于RNN,其中无法避免非线性激活函数,如Sigmoid和Tanh。RNN还带来了独特的挑战,例如处理顺序输入,复杂的反馈结构以及门和状态之间的相互作用。在RNN中,我们通过用线性约束非线性激活函数,然后求解约束优化问题来计算高维空间中非线性表面上的紧密边界框来克服这些挑战。然后使用dReal SMT求解器证明这些边界框的合理性。我们在各种基准测试中证明了我们的技术的实际有效性,并表明RNN优于POPQORN等最先进的RNN验证工具。
2020-07-20 cs.LG stat.ML
Adaptive Neural Quantum States: A Recurrent Neural Network Perspective
Perimeter Institute for Theoretical Physics(理论物理研究所);Artificial Intelligence and Cyber Futures Institute(人工智能与网络未来研究所);Department of Applied Mathematics(应用数学系);University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
本文提出面向 RNN 型神经量子态的自适应训练方案,通过小模型初始化大模型来降低计算成本、稳定训练并提升变分基态计算质量。
2025-07-24 cond-mat.dis-nn cond-mat.str-el cs.LG
IRNN: Innovation-driven Recurrent Neural Network for Time-Series Data Modeling and Prediction
The Department of Automation, Tsinghua University(自动化系,清华大学);Beijing National Research Center for Information Science and Technology, Tsinghua University(北京信息科学与技术国家研究中心,清华大学)
本文提出创新驱动循环神经网络IRNN,将卡尔曼滤波中的创新概念引入RNN,以过去预测误差作为额外输入更新隐藏状态,并设计IU-BPTT训练算法,在不显著增加训练成本的情况下显著提升时间序列预测精度。
2025-05-09 cs.AI cs.LG
Variational inference of latent state sequences using Recurrent Networks
最近的进展,在估计深有向图形模型和经常性网络,让我们有助于消除一个盲点领域的概率建模的时间序列。所提出的方法i)可以推断具有非线性转换的分布式潜在状态空间轨迹,ii)由于使用随机目标和快速近似推理,可以扩展到大数据集,iii)能够设计丰富的排放模型,iv)自然会导致结构化输出。两种不同的路径引入潜在状态序列,导致变分递归自动编码器(VRAE)和变分一步预测器(VOSP)。使用独立的维纳过程作为潜在状态序列的先验是一个可行的折衷之间的有效计算的库尔贝克-莱布勒散度从变分近似的后,并保持合理的信念的动态。我们经验验证我们的方法,获得接近或优于最先进的结果。我们还显示了去噪和缺失值填补的定性结果。
2014-09-30 cs.LG stat.ML
Accelerating Recurrent Neural Networks for Gravitational Wave Experiments
California Institute of Technology(加州理工学院);European Organization for Nuclear Research (CERN)(欧洲核子研究组织(CERN));Imperial College London(帝国理工学院)
本文提出了一种新的可重构架构,用于减少用于探测引力波的循环神经网络(RNN)的延迟。引力干涉仪,如LIGO探测器,捕捉宇宙事件,如黑洞合并,发生在未知的时间和不同的持续时间,产生时间序列数据。我们开发了一种新的架构,能够加速RNN推理,用于分析LIGO探测器的时间序列数据。该架构基于优化多层LSTM(长短期记忆)网络中的初始间隔(II),通过为每层确定适当的重用因子。设计了一个可定制的模板,用于这种架构,它可以生成低延迟的FPGA设计,使用高层次的综合工具,有效地利用资源。基于两个LSTM模型对所提出的方法进行了评估,目标是ZYNQ 7045 FPGA和U250 FPGA。实验结果表明,平衡的II,DSP的数量可以减少到42%,而实现相同的II。与其他基于FPGA的LSTM设计相比,我们的设计可以实现约4.92至12.4倍的延迟。
2021-06-26 cs.AR cs.LG physics.ins-det
Multiresolution Recurrent Neural Networks: An Application to Dialogue Response Generation
University of Montreal(蒙特利尔大学);IBM Research(IBM研究院)
我们引入了多分辨率递归神经网络,它扩展了序列到序列框架,将自然语言生成建模为两个并行的离散随机过程:一个高级粗令牌序列和一个自然语言令牌序列。有很多方法来估计或学习的高层次的粗令牌,但我们认为,一个简单的提取过程是足以捕捉丰富的高层次的话语语义。这样的过程允许通过最大化两个序列的精确联合对数似然来训练多分辨率递归神经网络。与标准的对数似然目标w.r.t.自然语言标记(单词困惑),优化联合对数似然模型偏向于建模高级抽象。我们将所提出的模型应用到两个具有挑战性的领域中的对话响应生成任务:Ubuntu技术支持域和Twitter对话。在Ubuntu上,该模型的性能大大优于竞争方法,根据自动评估指标和人工评估研究,都获得了最先进的结果。在Twitter上,该模型似乎根据自动评估指标生成更相关和更主题的响应。最后,我们的实验表明,该模型更善于克服自然语言的稀疏性,能够更好地捕捉长期结构。
2016-06-14 cs.AI cs.CL cs.LG
Tuning the burn-in phase in training recurrent neural networks improves their performance
Leibniz University Hannover(莱比锡大学汉诺威分校)
本文通过调节循环神经网络训练中的预热阶段,显著提高了其在时间序列任务中的性能,减少了预测误差超过60%。
2026-02-11 cs.LG cs.SY eess.SY
Approximating Real-Time Recurrent Learning with Random Kronecker Factors
ETH Zürich(苏黎世联邦理工学院)
尽管递归神经网络取得了令人印象深刻的进步,但序列数据仍然需要更好的建模。实时递归学习算法RTRL(实时的【形】Recurrent Learning algorithm)解决了截断偏差问题,但由于其计算量大,无法实现实时递归学习,因此在实际应用中,TBPTT(Truncated backpropagation through time)算法存在截断偏差,严重限制了其学习长期依赖关系的能力。无偏在线递归优化算法(UORO)以较小的运行时间和内存开销近似RTRL,但其缺点是获得噪声梯度,这也限制了其实用性。在本文中,我们提出了Kronecker因子RTRL(KF-RTRL)算法,该算法使用Kronecker乘积分解来近似一大类RNN的梯度。我们表明,KF-RTRL是一个无偏的和记忆有效的在线学习算法。我们的理论分析表明,在合理的假设下,我们的算法引入的噪声不仅是稳定的,随着时间的推移,而且渐近远小于一个的UORO算法。我们也证实了这些理论结果的实验。此外,我们的经验表明,KF-RTRL算法捕获长期的依赖关系,几乎匹配TBPTT在现实世界中的任务的性能训练循环公路网络上的合成字符串记忆任务和Penn TreeBank任务,分别。这些结果表明,RTRL为基础的方法可能是一个有前途的未来替代TBPTT。
2018-12-05 cs.LG stat.ML
Sparse Persistent RNNs: Squeezing Large Recurrent Networks On-Chip
NVIDIA(英伟达公司)
递归神经网络(RNN)是解决基于序列的问题的强大工具,但其效率和执行时间取决于网络的大小。在最近通过模型修剪和将工作映射到GPU来简化这些网络的工作之后,我们为稀疏RNN设计了一个有效的实现。我们研究了几个优化和权衡:Lamport时间戳,宽内存负载和银行感知的权重布局。通过这些优化,对于大小为2304的隐藏层,批量大小为4,密度为30%的下一个最佳算法,我们实现了超过6倍的加速。此外,我们的技术允许超过5倍大小的模型适合GPU,加速2倍,使更大的网络,以帮助推进最先进的。我们在附录中对NMT和语音识别任务进行案例研究,将其循环层加速高达3倍。
2018-04-26 cs.DC cs.LG cs.NE
The Impact of Extraneous Variables on the Performance of Recurrent Neural Network Models in Clinical Tasks
Children’s Hospital Los Angeles(洛杉矶儿童医院)
电子病历(EMR)是患者信息的丰富来源,包括反映生理体征和管理治疗的测量结果。确定哪些变量对预测临床结果有用可能具有挑战性。深度神经网络等高级算法被设计用于处理包含测量形式变量的高维输入,从而绕过单独的特征选择或工程步骤。我们通过在输入向量中包含从理论和经验分布中随机抽取的外部变量,研究了外部输入变量对循环神经网络(RNN)预测性能的影响。使用不同输入向量(EMR变量; EMR和外来变量;仅外来变量)的RNN模型被训练来预测三种临床结局:ICU死亡率,72小时ICU再入院和30天无ICU天数。测量到的RNN的预测性能与EMR变量的额外变量的退化是可以忽略不计的。
2019-04-01 cs.LG stat.ML
On Computability, Learnability and Extractability of Finite State Machines from Recurrent Neural Networks
Université de Nantes(南特大学)
这项工作旨在阐明有限状态机(FSM)和循环神经网络(RNN)之间的联系。在这篇硕士论文中,研究的连接是三方面的:从循环神经网络中提取有限状态机,可学习性方面和计算连接。对于前者,探讨了长期存在的RNN隐藏状态空间在训练识别正则语言时的聚类假设,并通过深度学习泛化理论的最新进展提供了对该假设的新见解。至于可学习性,主动学习框架的扩展,更好地适合于用有限状态机逼近RNN的问题,提出了更好地形式化的问题的RNN逼近有限状态机的目的。在这个框架中的两个可能的pronons进行了理论分析。在可计算性方面,给出了训练为语言模型的RNN与不同类型的加权有限状态机之间的距离和等价性问题的新的计算结果。
2020-09-10 cs.AI cs.FL cs.LG
Continual Learning for Recurrent Neural Networks: an Empirical Evaluation
University of Pisa(比萨大学);Scuola Normale Superiore(比萨高等师范学校)
在整个模型生命周期内持续学习是部署机器学习解决方案对数据分布漂移鲁棒性的基础。使用循环神经网络的持续学习(CL)的进步可以为大量输入数据不稳定的应用铺平道路,如自然语言处理和机器人技术。然而,关于这一主题的现有工作仍然是零散的,其方法是针对具体应用的,其评估是基于异构的学习协议和数据集。在本文中,我们组织的文献CL顺序数据处理提供了一个分类的贡献和审查的基准。我们基于现有数据集提出了两个新的CL基准,其中包含顺序数据,其特征类似于现实世界的应用程序。我们还提供了一个广泛的经验评估CL和循环神经网络类增量的情况下,通过测试他们的能力,以减轻遗忘与一些不同的策略,这不是特定的顺序数据处理。我们的研究结果突出了序列长度所起的关键作用和CL场景的明确规范的重要性。
2021-08-02 cs.AI cs.LG
Designing a Recurrent Neural Network to Learn a Motion Planner for High-Dimensional Inputs
University of California, Berkeley(加州大学伯克利分校)
机器学习在自动驾驶行业的使用推动了最近的一些进步。特别是,在感知和预测堆栈中使用大型深度学习模型已经证明是非常成功的,但仍然缺乏关于在规划堆栈中使用机器学习的重要文献。规划堆栈的当前技术水平通常依赖于快速约束优化或基于规则的方法。这两种技术都未能解决大量的基本问题,这些问题将允许车辆更类似于人类驾驶员的操作。在本文中,我们试图设计一个基本的深度学习系统来解决这个问题。此外,本文的主要目标是展示机器学习在自动驾驶汽车(AV)规划堆栈中的潜在用途,并为正在进行的和未来的研究提供基线工作。
2022-05-10 cs.LG cs.RO
A Critical Review of Recurrent Neural Networks for Sequence Learning
无数的学习任务需要处理连续的数据。图像描述、语音合成和音乐生成都需要模型产生序列输出。在其他领域,如时间序列预测、视频分析和音乐信息检索,模型必须从序列输入中学习。交互式任务,如翻译自然语言、参与对话和控制机器人,通常需要这两种能力。循环神经网络(RNN)是一种连接主义模型,它通过节点网络中的循环来捕获序列的动态。与标准前馈神经网络不同,递归网络保留了一个状态,可以表示来自任意长上下文窗口的信息。虽然循环神经网络传统上难以训练,并且通常包含数百万个参数,但网络架构,优化技术和并行计算的最新进展使其能够成功地进行大规模学习。近年来,基于长短期记忆(LSTM)和双向(BRNN)架构的系统在图像描述、语言翻译和手写识别等各种任务上都表现出了突破性的性能。在本调查中,我们回顾并综合了过去三十年来首次产生并实践这些强大的学习模型的研究。在适当的情况下,我们调和相互冲突的符号和术语。我们的目标是提供一个自我包含的解释的国家的艺术与历史的角度来看,并参考初级研究。
2015-10-17 cs.LG cs.NE
Deep Recurrent Electricity Theft Detection in AMI Networks with Random Tuning of Hyper-parameters
Tennessee Tech. University(田纳西理工大学);Texas A&M University at Qatar(德州农工大学卡塔尔分校)
现代智能电网依靠先进的计量基础设施(AMI)网络进行监控和计费。然而,这种方法会遭受电力盗窃网络攻击。与现有的基于浅层、静态和客户特定的电力盗窃检测器的研究不同,本文提出了一种基于广义深度递归神经网络(RNN)的电力盗窃检测器,可以有效地阻止这些网络攻击。该模型利用客户用电量的时间序列特性,实现了一个门控递归单元(GRU)-RNN,从而提高了检测性能。此外,所提出的基于RNN的检测器在其学习阶段采用随机搜索分析,以适当地微调其超参数。使用来自200个客户的107,200个能源消耗日的公开真实数据进行了广泛的测试研究,以调查探测器的性能。仿真结果表明,所提出的检测器相比,国家的最先进的电力盗窃检测器的优越性能。
2018-09-06 cs.CR cs.LG stat.ML
Joint Blind Room Acoustic Characterization From Speech And Music Signals Using Convolutional Recurrent Neural Networks
Logitech Europe S.A.(罗技欧洲股份公司)
声学环境表征为声音再现创新、智能E Qing、语音增强、助听器和取证打开了大门。混响时间、清晰度和直达混响比是已经被定义为描述混响环境的声学参数。它们与语音清晰度和声音质量密切相关。如ISO 3382标准中所解释的,它们可以从称为房间脉冲响应(RIR)的房间测量中得出。然而,测量RIR需要特定的设备和播放侵入性声音。最近的音频与机器学习的结合表明,人们可以使用语音或音乐信号来盲估计这些参数。我们遵循这些进展,并提出了一个强大的端到端的方法来实现盲联合声学参数估计使用语音和/或音乐信号。我们的研究结果表明,卷积循环神经网络在这项任务中表现最好,并且在训练中包含音乐也有助于改善语音推理。
2020-10-21 cs.LG cs.SD eess.AS
Applying recent advances in Visual Question Answering to Record Linkage
多模态记录链接是匹配来自多个源的代表同一实体的多模态记录的过程。这一领域尚未在研究中探索,我们提出了两个基于深度学习架构的解决方案,这些解决方案受到视觉问答领域最近工作的启发。我们提出的神经网络使用两个不同的融合模块,递归神经网络+卷积神经网络融合模块和堆叠注意力网络融合模块,共同结合的视觉和文本数据的记录。这些融合模型的输出是计算记录相似性的连体神经网络的输入。使用来自Avito重复广告检测数据集的数据,我们训练了这些解决方案,并从实验中得出结论,递归神经网络+卷积神经网络融合模块优于使用手工特征的简单模型。我们还发现,递归神经网络+卷积神经网络融合模块分类相似的不相似的广告更频繁,如果他们的平均描述大于40字。我们得出结论,这是因为较长的广告具有不同的分布,而较短的广告在数据集中更普遍。最后,我们还得出结论,需要对堆叠注意力网络进行进一步的研究,进一步探索视觉数据对融合模块性能的影响。
2020-07-12 cs.AI cs.DB cs.LG