Neuroevolution of a Recurrent Neural Network for Spatial and Working Memory in a Simulated Robotic Environment
University of California, Irvine(加州大学欧文分校);George Mason University(乔治梅森大学);University of California, San Diego(加州大学圣迭戈分校)
从老鼠到人类的动物都可以展示出认知地图的能力。我们在一个生物学上合理的循环神经网络(RNN)中使用进化算法来复制大鼠在三重T迷宫中的空间和工作记忆任务中观察到的行为和神经活动。大鼠在Webots机器人模拟器中进行模拟,并使用视觉,距离和加速度传感器来导航虚拟迷宫。在从感官输入到RNN、RNN内以及从RNN到机器人电机的权重不断变化之后,Webots智能体成功地导航空间,在超时之前以最小的重复到达所有四个奖励臂。我们目前的研究结果表明,RNN动力学是性能的关键,并且性能不依赖于任何一种感觉类型,这表明RNN中的神经元正在执行混合选择性和联合编码。此外,RNN活动类似于在海马中观察到的空间信息和依赖于记忆的编码。总的来说,进化后的RNN表现出导航技能、空间记忆和工作记忆。我们的方法演示了进化RNN中的动态活动如何捕获有趣和复杂的认知行为,并可用于为机器人应用创建RNN控制器。
2021-02-25 cs.NE cs.RO
Neuroevolution Results in Emergence of Short-Term Memory for Goal-Directed Behavior
National Research Center “Kurchatov Institute”(国家研究中心“库尔恰托夫研究所”);Kurchatov NBIC-Centre(库尔恰托夫NBIC中心)
动物在具有多重竞争目标的环境中表现出适应性。理解这种目标导向行为背后的机制仍然是神经科学和适应系统研究的挑战。为了解决这个问题,我们开发了一个多目标随机环境中的自适应行为的进化模型。提出的神经进化算法基于神经元的复制作为代理循环神经网络开发的基本机制。仿真结果表明,在进化过程中,代理获得的能力,存储的短期记忆,因此,使用它的行为策略与替代行动。我们发现,进化发现了两种短期记忆机制。第一种机制是感觉信号和持续的内部神经活动的整合,导致专门从事替代行动的细胞群的出现。第二个机制是缓慢的神经动力学过程,这使得编码先前的行为选择成为可能。
2012-04-14 cs.AI cs.NE nlin.AO
Reliable and Fast Recurrent Neural Network Architecture Optimization
German Aerospace Center (DLR)(德国航空航天中心);Universidad de Málaga(马拉加大学)
本文介绍了基于随机误差采样的神经进化(RESN),一种新的自动优化循环神经网络结构的方法。RESN结合了进化算法和无训练评估方法。结果表明,RESN实现了最先进的错误性能,同时减少了一半的计算时间。
2021-06-29 cs.LG cs.NE
Optimizing Long Short-Term Memory Recurrent Neural Networks Using Ant Colony Optimization to Predict Turbine Engine Vibration
University of North Dakota(北达科他大学)
这篇文章扩展了已经完成的研究,以开发一种能够使用长短期记忆(LSTM)神经元预测飞机发动机振动的递归神经网络(RNN)。LSTM RNN可以为发动机振动的分析计算提供更通用和更强大的预测方法,因为分析计算必须基于特定的经验发动机参数迭代求解,使得这种方法无法在多个发动机中推广。在最初的工作中,提出、评估和比较了多种LSTM RNN架构。这项研究通过使用基于蚁群优化(ACO)的有前途的神经进化方法来开发和增强网络的LSTM细胞结构,从而提高了以前工作中提出的最有效的LSTM网络设计的性能。已经开发了ACO神经进化算法的并行化版本,并将进化的LSTM RNN与以前使用的固定拓扑进行了比较。进化后的网络是在一个大型的飞行数据记录数据库上训练的,该数据库是从一家航空公司获得的,该航空公司的航班遭受了过度振动。结果是在高性能计算(HPC)集群上使用MPI(消息传递接口)获得的,在4天内使用168个核心进化了1000个不同的LSTM单元结构。新进化的LSTM单元显示出1.35%的改进,在预测未来10秒的过度发动机振动时,预测误差从5.51%降低到4.17%,同时将权重从21,170大幅减少到11,810。
2017-10-10 cs.AI cs.NE
Random Error Sampling-based Recurrent Neural Network Architecture Optimization
Universidad de Málaga(马拉加大学);Massachusetts Institute of Technology(麻省理工学院)
递归神经网络擅长解决预测问题。然而,找到一个适合问题的网络是相当困难的,因为它们的性能受到其架构配置的强烈影响。自动架构优化方法有助于找到最合适的设计,但由于其高计算成本,它们没有被广泛采用。在这项工作中,我们介绍了基于随机误差采样的神经进化(RESN),一种进化算法,使用平均绝对误差随机采样,一种无需训练的方法来预测人工神经网络的预期性能,以优化网络的体系结构。我们经验验证我们的建议,三个预测问题,并比较我们的技术,以训练为基础的架构优化技术和神经进化方法。我们的研究结果表明,我们可以实现最先进的错误性能,我们减少了一半的时间需要执行优化。
2021-03-15 cs.LG cs.NE
Hybrid Recurrent Models Support Emergent Descriptions for Hierarchical Planning and Control
School of Engineering and Informatics, University of Sussex(萨塞克斯大学工程与信息学院);VERSES AI Research Lab(VERSES AI研究实验室)
提出一种基于rSLDS的层次模型算法,结合主动推断与离散MDP,通过时间抽象亚目标和信息论探索,在稀疏连续山地车任务中实现快速系统识别与非平凡规划。
2024-08-20 cs.AI cs.SY eess.SY
Generative Adversarial Neuroevolution for Control Behaviour Imitation
Montreal University Geriatric Institute(蒙特利尔大学老年医学研究所)
提出协同进化对抗生成框架,利用深度神经进化在8项OpenAI Gym控制任务上模仿预训练智能体,精英演员达到相近分数并贴合其轨迹。
2023-04-03 cs.LG cs.NE
Low Rank Factorizations are Indirect Encodings for Deep Neuroevolution
本文提出低秩分解神经进化方法,通过搜索小规模低秩因子空间来强制网络权重结构,在语言建模和视觉强化学习任务中表现优异,并证明有害分解突变能显著减少运行时间。
2025-04-03 cs.NE
ONE-NAS: An Online NeuroEvolution based Neural Architecture Search for Time Series Forecasting
Rochester Institute of Technology(罗切斯特理工学院)
时间序列预测(TSF)是数据科学中最重要的任务之一,因为准确的时间序列(TS)预测可以推动和推进包括金融、交通、医疗保健和电力系统在内的各种领域。然而,TSF的机器学习(ML)模型的实际应用受到影响,因为预训练的模型能够学习和适应不可预测的模式,因为以前看不见的数据在更长的时间尺度上到达。为了解决这个问题,必须定期保留或重新设计模型,这需要大量的人力和计算资源。这项工作提出了基于在线神经进化的神经结构搜索(ONE-NAS)算法,据作者所知,这是第一个能够在在线环境中自动设计和训练新的递归神经网络(RNN)的神经结构搜索算法。在没有任何预训练的情况下,ONE-NAS利用RNN的种群,这些种群不断更新新的网络结构和权重,以响应新的多元输入数据。ONE-NAS在真实世界的大规模多变量风力涡轮机数据以及单变量道琼斯工业平均指数(DJIA)数据集上进行了测试,并显示优于传统的统计时间序列预测,包括朴素,移动平均和指数平滑方法,以及最先进的在线ARIMA策略。
2022-02-27 cs.LG cs.NE
Differential Variable Speed Limits Control for Freeway Recurrent Bottlenecks via Deep Reinforcement learning
Beijing Institute of Technology(北京理工大学);Southeast University(东南大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
可变车速限制(VSL)控制是一种灵活的方式来改善交通状况,提高安全性和减少排放。利用强化学习技术进行VSL控制是一个新兴的趋势,最近的研究已经显示出有希望的结果。目前,深度学习正在使强化学习能够为以前难以解决的问题开发自主控制代理。提出了一种更有效的深度强化学习(DRL)模型用于差分可变限速(DVSL)控制,该模型可以在车道之间施加动态和不同的限速。建议的DRL模型使用一种新的行动者-评论家架构,可以学习大量的离散速度限制在一个连续的动作空间。采用不同的奖励信号,如总行程时间、瓶颈速度、紧急制动和车辆排放等对DVSL控制器进行训练,并对这些奖励信号进行比较。我们测试建议DRL基于DVSL控制器上模拟高速公路经常性瓶颈。结果表明,该方法可以有效地改善柴油机的效率、安全性和排放。我们还显示了一些有趣的发现,通过可视化的DRL模型产生的控制策略。
2018-10-25 cs.AI cs.LG stat.ML
Neuroevolution of Self-Interpretable Agents
Google Brain(谷歌大脑);Google Japan(谷歌日本)
不注意视盲是一种心理现象,导致一个人错过的东西在平原视线。这是感知中选择性注意力的结果,它让我们保持专注于世界的重要部分,而不会从无关的细节中分心。出于选择性注意,我们研究的属性,人工代理感知世界通过镜头的自我注意力瓶颈。通过限制仅访问一小部分视觉输入,我们表明他们的策略可以在像素空间中直接解释。我们发现神经进化是训练基于视觉的强化学习(RL)任务的自我注意力架构的理想选择,使我们能够整合可以包括对我们的代理有用的离散,不可微操作的模块。我们认为,自我注意力具有类似的属性作为间接编码,在这个意义上,大型隐式权重矩阵是从少量的关键查询参数生成的,从而使我们的代理解决具有挑战性的基于视觉的任务与至少1000倍的参数比现有的方法。由于我们的代理只关注关键任务的视觉提示,因此它们能够推广到任务无关元素被修改而传统方法失败的环境。我们的结果和源代码的视频可在https://attentionagent.github.io/上获得
2020-04-02 cs.CV cs.LG cs.NE
Forecast Accuracy Is Not Trading Profit: Evolving Small Recurrent Networks for Stock Return Prediction
Union County Magnet High School(联合县磁石高中);Kean University(基恩大学)
本研究比较多种预测模型,发现神经进化搜索的小型循环网络在预测准确率和交易净收益上均最优,且计算成本极低,表明预测误差与交易利润并非直接对应。
2026-10-07 cs.CE cs.LG cs.NE
Efficient recurrent architectures through activity sparsity and sparse back-propagation through time
Institute for Neural Computation, Ruhr University Bochum(波鸿鲁尔大学神经计算研究所);Royal Holloway, University of London(伦敦大学皇家霍洛威学院);Faculty of Electrical and Computer Engineering, Technische Universität Dresden(德累斯顿工业大学电气与计算机工程学院)
递归神经网络(RNN)非常适合解决资源受限系统中的序列任务,因为它们的表达能力和低计算要求。然而,仍然需要弥合RNN在效率和性能方面的能力与实际应用需求之间的差距。在每个时间步将所有神经元的激活传播到每个连接的神经元所产生的存储器和计算需求,以及激活的顺序依赖性,导致训练和使用RNN的效率低下。我们提出了一种受生物神经元动力学启发的解决方案,使RNN单元之间的通信变得稀疏和离散。这使得具有时间反向传播(BPTT)的反向传递在计算上也是稀疏和高效的。我们的模型基于门控递归单元(GRU),将其扩展为发出离散事件的单元,用于由阈值触发的通信,以便在没有事件的情况下没有信息被传达给其他单元。我们从理论上证明了单元之间的通信,以及向前和向后传递所需的计算,与网络中的事件数量成比例。我们的模型在不影响任务性能的情况下实现了效率,与现实世界任务(包括语言建模)中最先进的递归网络模型相比,表现出了竞争力。动态活动稀疏机制也使我们的模型非常适合新的节能神经形态硬件。代码可在https://github.com/KhaleelKhan/EvNN/上获得。
2023-03-09 cs.AI cs.LG cs.NE
Generating Sequences With Recurrent Neural Networks
University of Toronto(多伦多大学)
本文展示了如何使用长短期记忆循环神经网络来生成具有长程结构的复杂序列,只需一次预测一个数据点即可。该方法被证明为文本(其中的数据是离散的)和在线手写(其中的数据是实值的)。然后,通过允许网络根据文本序列进行预测,将其扩展到手写合成。由此产生的系统是能够产生高度逼真的草书手写在各种各样的风格。
2014-06-05 cs.CL cs.NE
Online Evolutionary Neural Architecture Search for Multivariate Non-Stationary Time Series Forecasting
Rochester Institute of Technology(罗切斯特理工学院)
时间序列预测(TSF)是数据科学中最重要的任务之一,因为准确的时间序列(TS)预测模型在包括金融、交通、医疗保健和电力系统在内的各种领域中发挥着重要作用。机器学习(ML)的实际应用通常涉及在收集的历史数据上(预)训练模型,然后将它们应用于看不见的数据点。然而,在现实世界的应用中,时间序列数据流通常是非平稳的,随着时间的推移,训练的ML模型通常会面临数据或概念漂移的问题。为了解决这个问题,模型必须定期重新训练或重新设计,这需要大量的人力和计算资源。此外,历史数据甚至可能不存在以用于重新训练或重新设计模型。因此,非常希望以在线方式设计和训练模型。这项工作提出了基于在线神经进化的神经结构搜索(ONE-NAS)算法,这是一种新的神经结构搜索方法,能够自动设计和动态训练递归神经网络(RNN)的在线预测任务。在没有任何预训练的情况下,ONE-NAS利用RNN群体,这些RNN群体不断更新新的网络结构和权重,以响应新的多元输入数据。ONE-NAS在真实世界的大规模多变量风力涡轮机数据以及单变量道琼斯工业平均指数(DJIA)数据集上进行了测试。结果表明,ONE-NAS优于传统的统计时间序列预测方法,包括在线线性回归,固定长短期记忆(LSTM)和在线训练的门控递归单元(GRU)模型,以及最先进的在线ARIMA策略。
2023-02-20 cs.LG cs.NE
Pixel Recurrent Neural Networks
Google DeepMind(谷歌DeepMind)
对自然图像的分布建模是无监督学习中的一个标志性问题。这项任务需要一个图像模型,是在一次表达,易处理和可扩展的。我们提出了一个深度神经网络,它可以沿着两个空间维度顺序预测图像中的像素。我们的方法对原始像素值的离散概率进行建模,并对图像中的完整依赖集进行编码。架构新颖性包括快速二维递归层和深度递归网络中剩余连接的有效使用。我们在自然图像上实现了比以前的最新技术水平要好得多的对数似然分数。我们的主要结果还提供了不同ImageNet数据集的基准。从模型生成的样本看起来清晰,多样和全球一致。
2016-08-19 cs.CV cs.LG cs.NE
Waves and symbols in neuromorphic hardware: from analog signal processing to digital computing on the same computational substrate
受皮层微电路启发,提出用循环脉冲神经网络在同一神经形态基底上实现模拟信号处理与数字计算的无缝切换,并通过硬件实验验证其稳健性。
2025-02-27 cs.NE
Episodic Memory Theory for the Mechanistic Interpretation of Recurrent Neural Networks
Manning College of Information and Computer Sciences(曼宁信息与计算机科学学院);University of Massachusetts(马萨诸塞大学);Department of Mathematics and Statistics(数学与统计系)
该研究提出用于解释RNN机理的情景记忆理论,通过设计变量绑定任务验证RNN会收敛到对应回路,并提出特权基算法提升RNN可解释性,为理解RNN机制和衔接人工神经网络与神经记忆模型提供了新路径。
2023-10-03 cs.AI cs.LG cs.NE
Discrete Event, Continuous Time RNNs
University of Colorado(科罗拉多大学);Imagen Technologies
我们研究了用于事件序列处理的递归神经网络架构。事件序列,其特征在于离散的观察与连续值的发生时间,是具有挑战性的,由于潜在的广泛的动态范围的相关时间尺度以及时间尺度之间的相互作用。我们描述了四种形式的归纳偏见,应该有利于事件序列的架构:时间的局部性,位置和规模的同质性,规模的相互依赖性。我们扩展了流行的门控递归单元(GRU)架构,通过内在的时间动态将这些偏见,获得一个连续时间GRU。CT-GRU通过将GRU的门解释为选择存储器的时间尺度而产生,并且CT-GRU通过合并多个存储器的时间尺度并执行用于信息存储和检索的时间尺度的上下文相关选择来概括GRU。事件时间戳驱动CT-GRU的衰减动力学,而它们充当GRU的通用附加输入。尽管这两个模型考虑时间的方式非常不同,但它们在我们检查的11个数据集上的表现基本相同。我们令人惊讶的结果表明GRU和LSTM架构在处理连续时间方面的鲁棒性,以及将连续动态纳入神经架构的潜力。
2017-10-11 cs.LG cs.NE
DelRec: learning delays in recurrent spiking neural networks
CNRS UMR 5549(法国国家科学研究中心);Université de Toulouse(图卢兹大学);IPAL, CNRS IRL 2955(法国国家科学研究中心新加坡联合实验室)
DelRec是首个通过代理梯度学习联合优化循环脉冲神经网络的循环延迟与突触权重的方法,在混沌时间序列预测等任务上性能优于基线,还可降低网络内存占用与能耗,适用于生物电路建模和神经形态计算。
2026-09-01 cs.NE
Information Bottleneck in Control Tasks with Recurrent Spiking Neural Networks
神经系统将来自环境的连续信息以离散尖峰的形式编码,然后解码这些信息以产生平滑的运动动作。了解尖峰信号如何整合、表示和处理信息以产生行为是神经科学中最大的挑战之一。信息论有潜力帮助我们应对这一挑战。对解决静态输入-输出任务的深度和前馈人工神经网络的信息分析导致了\emph{Information Bottleneck}原理的提出,该原理指出,更深层编码关于输入的更多相关但最少的信息。对具有周期性、尖峰脉冲和执行控制任务的网络的这种分析相对较少。在这里,我们提出了一个经常性的脉冲神经网络,演变为执行经典的极点平衡任务的互信息分析的结果。我们的研究结果表明,这些网络偏离\emph{Information Bottleneck}原则规定的前馈网络。
2017-06-06 cs.IT cs.NE math.IT
Multiresolution Recurrent Neural Networks: An Application to Dialogue Response Generation
University of Montreal(蒙特利尔大学);IBM Research(IBM研究院)
我们引入了多分辨率递归神经网络,它扩展了序列到序列框架,将自然语言生成建模为两个并行的离散随机过程:一个高级粗令牌序列和一个自然语言令牌序列。有很多方法来估计或学习的高层次的粗令牌,但我们认为,一个简单的提取过程是足以捕捉丰富的高层次的话语语义。这样的过程允许通过最大化两个序列的精确联合对数似然来训练多分辨率递归神经网络。与标准的对数似然目标w.r.t.自然语言标记(单词困惑),优化联合对数似然模型偏向于建模高级抽象。我们将所提出的模型应用到两个具有挑战性的领域中的对话响应生成任务:Ubuntu技术支持域和Twitter对话。在Ubuntu上,该模型的性能大大优于竞争方法,根据自动评估指标和人工评估研究,都获得了最先进的结果。在Twitter上,该模型似乎根据自动评估指标生成更相关和更主题的响应。最后,我们的实验表明,该模型更善于克服自然语言的稀疏性,能够更好地捕捉长期结构。
2016-06-14 cs.AI cs.CL cs.LG
Sequence Transduction with Recurrent Neural Networks
University of Toronto(多伦多大学)
许多机器学习任务可以表示为输入序列到输出序列的转换--或\emph{transduction} --:语音识别,机器翻译,蛋白质二级结构预测和文本到语音,仅举几例。序列转换中的一个关键挑战是学习以一种对序列失真(如收缩、拉伸和平移)不变的方式来表示输入和输出序列。循环神经网络(RNN)是一种强大的序列学习架构,已被证明能够学习这种表示。然而,RNN传统上需要输入和输出序列之间的预定义对齐来执行转导。这是一个严重的限制,因为\emph{finding}的比对是许多序列转导问题中最困难的方面。实际上,即使是确定输出序列的长度也常常具有挑战性。本文介绍了一个端到端的概率序列转换系统,完全基于RNN,原则上能够将任何输入序列转换为任何有限的离散输出序列。音素识别的实验结果提供的TIMIT语音语料库。
2012-11-14 cs.LG cs.NE stat.ML
How Robust are Deep Neural Networks?
卷积和递归的深度神经网络在计算机视觉、强化学习和其他相关领域的机器学习系统中已经取得了成功。然而,这种神经网络的鲁棒性很少得到评价,特别是在获得高分类精度之后。在本文中,我们评估了三个经常性的神经网络对微小扰动的鲁棒性,在三个广泛使用的数据集上,认为高精度并不总是意味着稳定和鲁棒(有界扰动,对抗攻击等)。系统特别地,对离散递归网络的谱进行归一化,使其谱有界(使用幂法、Rayleigh商等)。产生稳定的,尽管高度非鲁棒的神经网络。此外,使用$ε$ -伪谱,我们表明,训练的递归网络,说使用基于梯度的方法,往往会导致非正规矩阵,可能会或可能不会对角化。因此,开放的问题在于构建的方法,优化不仅为准确性,但也为稳定性和鲁棒性的基础神经网络,一个标准,是不同于其他的。
2018-04-30 cs.NE math.DS stat.ML
Soliton-like Waves in a Two-Dimensional Recurrent Spiking Neural Network with Weighted Spike-Timing-Dependent Plasticity
本文构建了一个最小生物合理的脉冲神经元模型,通过加权STDP和归一化机制,在二维递归网络中自发产生稳定传播的耗散孤子波,其碰撞湮灭特性可用于编码相对相位和频率。
2026-06-23 cs.NE q-bio.NC
Coarse scale representation of spiking neural networks: backpropagation through spikes and application to neuromorphic hardware
Argonne National Laboratory(阿贡国家实验室)
在这项工作中,我们探讨了经常性的代表性泄漏整合和消防神经元的时间尺度等于他们的绝对不应期。我们的粗时间尺度近似获得使用的概率分布函数的尖峰到达,均匀分布在这个时间间隔。这导致了一种离散表示,它表现出与连续模型相同的动态特性,从而通过递归实现实现了高效的大规模模拟和反向传播。我们使用这种方法直接在Pytorch中探索深度脉冲神经网络的训练,包括卷积、全对全连接和最大池层。我们发现,递归模型在训练过程中仅使用4长的尖峰序列就可以获得很高的分类精度。我们还观察到一个很好的转移回泄漏集成和火灾神经元的连续实现。最后,我们将这种方法应用于一些标准控制问题,作为使用神经形态芯片探索强化学习的第一步。
2020-07-13 cs.ET cs.LG cs.NE