Experiential Robot Learning with Accelerated Neuroevolution
University of Virginia(弗吉尼亚大学)
基于导数的优化技术,如随机梯度下降,在训练深度神经网络方面取得了广泛的成功。然而,它具有诸如端到端网络可区分性的约束。作为替代,我们提出了加速神经进化算法。新算法是针对物理机器人学习任务的经验机器人学习方法。我们首先在玩游戏Flappy Bird的模拟任务上测试我们的算法,然后在静态对象中心任务中对物理NAO机器人进行测试。代理成功地导航给定的任务,在一个相对较低的代数。基于我们的研究结果,我们建议在更复杂的任务中使用该算法。
2018-08-16 cs.NE cs.RO
VINE: An Open Source Interactive Data Visualization Tool for Neuroevolution
Uber AI Labs(优步人工智能实验室)
深度神经进化的最新进展表明,进化算法(如演化策略(ES)和遗传算法(GA))可以扩展到训练深度神经网络,以解决困难的强化学习(RL)问题。然而,在如此高的维度上分析和解释神经进化的潜在过程仍然是一个挑战。为了应对这一挑战,本文提出了一种名为VINE(Visual Inspector for NeuroEvolution)的交互式数据可视化工具,旨在帮助神经进化研究人员和最终用户更好地理解和探索这一系列算法。VINE与广泛的神经进化算法(包括ES和GA)无缝配合,并通过对几代进化代理的行为特征进行交互式可视化来解决观察学习过程底层动态的困难。随着神经进化扩展到具有数百万或更多连接的神经网络,像VINE这样的可视化工具提供了对进化潜在动力学的新见解,对于激发新的创新和应用变得越来越有价值和重要。
2018-05-03 cs.AI cs.NE
Neuroevolution in Deep Neural Networks: Current Trends and Future Challenges
Maynooth University(梅努斯大学)
各种方法已经应用于人工深度神经网络(DNN)的架构配置和学习或训练。对于大多数问题和应用,这些方法在DNN的成功或失败中起着至关重要的作用。进化算法(EA)作为DNN自动优化和训练的计算可行方法正在获得动力。神经进化是一个术语,它描述了使用EA自动配置和训练DNN的过程。虽然文献中存在许多作品,但目前还没有全面的调查专门关注在DNN中使用神经进化方法的优势和局限性。长期缺乏这样的调查可能会导致一个脱节和碎片化的领域,阻止DNN研究人员在自己的研究中采用神经进化方法,从而失去在现实世界的深度学习问题中提高性能和更广泛应用的机会。本文提出了一个全面的调查,讨论和评估的国家的最先进的作品使用EA的架构配置和培训的DNN。基于这项调查,本文强调了神经进化中最相关的当前问题和挑战,并确定了多个有前途的未来研究方向。
2020-06-09 cs.CV cs.LG cs.NE
The Case for a Mixed-Initiative Collaborative Neuroevolution Approach
很明显,目前使用算法创建人工神经网络的尝试在创建大型网络和/或复杂行为方面取得了好坏参半的成功。这并不出乎意料,因为创造人工大脑本质上是一个设计问题。人类设计的独创性在大多数领域的大多数任务中仍然超过计算设计,包括建筑,游戏设计和创作文学小说。这让我们不禁要问,在设计人工大脑时,哪种方法是将人类和机器的设计能力结合起来的最佳方法。这两种方法都有各自的优点和缺点;例如,人类手动指定数千个神经元的速度太慢了,更不用说进入人类大脑的数十亿个神经元了,但另一方面,他们可以依赖于大量的常识理解和设计知识库,这些知识库可以帮助他们在设计空间中执行比算法更好的引导搜索。因此,在本文中,我们认为一个混合的主动合作的在线大脑建设的方法,并提出了第一个成果,实现这一目标。
2014-08-05 cs.NE
TensorNEAT: A GPU-accelerated Library for NeuroEvolution of Augmenting Topologies
本文提出GPU加速库TensorNEAT,通过张量化和JAX并行执行显著提升NEAT算法的计算效率,在Brax机器人控制环境中实现高达500倍加速。
2025-04-11 cs.NE
Evolving Neural Controllers for Xpilot-AI Racing Using Neuroevolution of Augmenting Topologies
本文利用 NEAT 算法在 Xpilot-AI 竞速模式中进化神经网络控制器,实现单圈时间最高提升 32%,并发展出类人的过弯与速度调节策略,验证了该平台作为 AI 控制器进化测试床的有效性。
2025-07-17 cs.NE
Tensorized NeuroEvolution of Augmenting Topologies for GPU Acceleration
针对NEAT算法计算效率低、可扩展性受限的问题,提出张量化方法并开发基于JAX的TensorNEAT库,实现种群级并行计算,在机器人控制任务中最高达500倍加速。
2024-04-11 cs.NE
NeuroLGP-SM: A Surrogate-assisted Neuroevolution Approach using Linear Genetic Programming
Maynooth University(梅努斯大学);Sema(赛马公司)
本文提出NeuroLGP-SM方法,结合线性遗传编程表示与Kriging偏最小二乘代理模型,在保证DNN精度的同时将神经进化计算需求降低25%,并通过96次独立运行验证其优于含修复机制的基线方法。
2024-03-28 cs.AI cs.NE
Can Transfer Neuroevolution Tractably Solve Your Differential Equations?
本文介绍了求解微分方程的神经进化算法。通过优化一个深度神经网络,其损失函数由微分方程的残差项定义,得到了该解。最近的研究集中在通过随机梯度下降(SGD)变体来学习这种物理信息神经网络,但由于优化挑战,它们面临着获得准确解的困难。在解微分方程的背景下,我们面临的问题是找到网络的全局最优参数,而不是关注样本外泛化。SGD沿着单一梯度方向搜索,容易陷入局部最优,因此它可能不是这里的最佳方法。相比之下,神经进化对不同的解决方案进行并行探索,目标是绕过局部最优解。它可以通过更好的优化神经网络找到更准确的解决方案。然而,神经进化可能是缓慢的,在实践中提出了易处理性问题。考虑到这一点,本文提出了一种新的和计算效率高的转移神经进化算法。我们的方法是能够利用相关的经验先验知识解决一个新的问题时,与适应,以防止负迁移的风险。该算法应用于各种微分方程的经验证明,转移神经进化确实可以实现更好的精度和更快的收敛速度比SGD。因此,实验结果确立了转移神经进化作为一个值得注意的方法来解决微分方程,一个从来没有被研究过。我们的工作扩展了现有算法的资源,用于优化物理信息神经网络。
2021-05-05 cs.NE physics.comp-ph
Neuroevolution Results in Emergence of Short-Term Memory for Goal-Directed Behavior
National Research Center “Kurchatov Institute”(国家研究中心“库尔恰托夫研究所”);Kurchatov NBIC-Centre(库尔恰托夫NBIC中心)
动物在具有多重竞争目标的环境中表现出适应性。理解这种目标导向行为背后的机制仍然是神经科学和适应系统研究的挑战。为了解决这个问题,我们开发了一个多目标随机环境中的自适应行为的进化模型。提出的神经进化算法基于神经元的复制作为代理循环神经网络开发的基本机制。仿真结果表明,在进化过程中,代理获得的能力,存储的短期记忆,因此,使用它的行为策略与替代行动。我们发现,进化发现了两种短期记忆机制。第一种机制是感觉信号和持续的内部神经活动的整合,导致专门从事替代行动的细胞群的出现。第二个机制是缓慢的神经动力学过程,这使得编码先前的行为选择成为可能。
2012-04-14 cs.AI cs.NE nlin.AO
Populating cellular metamaterials on the extrema of attainable elasticity through neuroevolution
本文将多目标弹性能探索建模为多目标优化问题,利用CPPN编码单元胞几何并通过改进的NEAT神经进化算法生成Pareto前沿超材料,揭示弹性能组合的经验边界。
2025-03-13 cs.CE cs.NE
NeuroLGP-SM: Scalable Surrogate-Assisted Neuroevolution for Deep Neural Networks
Maynooth University(梅努斯大学);Lero(莱尔研究中心);Hamilton Institute(汉密尔顿研究所)
针对神经进化计算成本高的问题,提出结合表型距离向量与KPLS的NeuroLGP-SM代理模型,可高效估计DNN适应度,性能优于12种对比方法且能效提升25%,适用于大型DNN配置优化。
2024-09-16 cs.AI cs.NE
Reuse of Neural Modules for General Video Game Playing
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
知识转移的一般方法介绍了一个代理控制的神经网络适应它如何重用现有的网络,因为它在一个新的领域学习。为新领域训练的网络可以通过选择性地通过先前学习的神经结构来路由激活,从而提高其性能,而不管它是如何学习的或为了什么学习的。这种方法的神经进化实现与应用程序的高维顺序决策域。这种方法比以前用于强化学习的神经传递方法更通用。它是领域不可知的,不需要事先假设任务相关性或映射的性质。该方法在随机版本的街机学习环境中进行了分析,表明它提高了一些更复杂的Atari 2600游戏的性能,并且可以根据游戏动态的高级特性预测转移的成功。
2015-12-04 cs.AI cs.NE
Neuroevolution of Neural Network Architectures Using CoDeepNEAT and Keras
Institute of Informatics(信息学研究所);Federal University of Rio Grande do Sul(南里奥格兰德联邦大学)
机器学习是计算机科学和统计学中的一个巨大的研究领域,致力于通过算法执行计算任务,这些算法不需要明确的指令,而是依赖于从数据样本中学习模式来自动推理。机器学习项目中涉及的大部分工作是定义解决给定问题的最佳算法类型。神经网络-尤其是深度神经网络-是该领域的主要解决方案类型。然而,网络本身可以根据为它们所做的架构选择产生非常不同的结果。为给定问题找到最佳网络拓扑和配置是一项挑战,由于需要考虑大量参数,因此需要领域知识和测试工作。这项工作的目的是提出一个适应性的实现一个完善的进化技术从神经进化领域,管理自动化的拓扑结构和超参数选择的任务。它使用一个流行的和可访问的机器学习框架- Keras -作为后端,展示结果和对原始算法的修改建议。该实现可在GitHub(https://github.com/sbcblab/Keras-CoDeepNEAT)上获得,其中包含文档和示例,以重现为此工作执行的实验。
2020-02-11 cs.CV cs.LG cs.NE
Challenging the Security of Logic Locking Schemes in the Era of Deep Learning: A Neuroevolutionary Approach
RWTH Aachen University(亚琛工业大学)
逻辑锁定是在整个集成电路设计和制造流程中保护硬件设计完整性的重要技术。然而,近年来,各种去混淆攻击的引入彻底挑战了锁定方案的安全性。与大多数研究分支一样,深度学习也被引入逻辑锁定领域。因此,在本文中,我们提出了快照:一种新的攻击逻辑锁定,是第一种利用人工神经网络直接预测一个关键位值从锁定合成门级网表,而不使用黄金参考。因此,与现有工作相比,该攻击使用了更简单但更灵活的学习模型。两种不同的方法进行评估。第一种方法是基于一个简单的前馈全连接神经网络。第二种方法利用遗传算法来进化更复杂的专门用于给定任务的卷积神经网络架构。攻击流程提供了一个通用的和可定制的框架,用于使用机器学习技术攻击锁定方案。我们针对两种实际攻击场景对SnapShot进行了广泛的评估,包括参考基准电路以及经过硅验证的RISC-V核心模块。评估结果表明,SnapShot在选定的攻击场景中实现了82.60%的平均关键预测准确率,与最先进的技术相比,性能显著提高了10.49个百分点。此外,SnapShot在所有评估基准上都优于现有技术。结果表明,常见的逻辑锁方案的安全基础是建立在可疑的假设。评估的结论提供了对设计未来逻辑锁定方案的挑战的见解,这些方案能够抵御机器学习攻击。
2020-11-30 cs.CR cs.LG cs.NE
Neuroevolving Electronic Dynamical Networks
Vivum AI(维吾姆人工智能公司);Indiana University(印第安纳大学)
针对神经进化中CTRNNs适应度评估耗时的问题,提出利用FPGA的动态部分重配置与可编程逻辑实现超并行评估,将神经进化过程加速数个数量级,验证了其作为神经进化动态神经网络平台的潜力。
2024-04-17 cs.AI cs.AR cs.NE
RankNEAT: Outperforming Stochastic Gradient Search in Preference Learning Tasks
University of Malta(马耳他大学)
随机梯度下降(SGD)是一种用于训练神经网络的高级优化方法,特别是用于学习客观定义的标签,如图像对象和事件。当一个神经网络面对的是主观定义的标签时--比如人类的演示或注释--SGD可能很难探索由人类固有的偏见和主观性造成的欺骗性和噪声损失。虽然神经网络通常通过偏好学习算法来训练,以消除这种数据噪声,但实际上的训练方法依赖于梯度下降。出于缺乏实证研究的影响,进化搜索的偏好学习者的培训,我们介绍了RankNEAT算法,学习排名通过神经进化的增强拓扑结构。我们测试的假设,RankNEAT优于传统的基于梯度的偏好学习的情感计算域,特别是预测注释的玩家唤醒从三个不同的游戏的游戏画面。在大多数实验中,RankNEAT与基于梯度的偏好学习器(RankNet)相比具有更好的性能,因为其架构优化能力可以作为一种有效的特征选择机制,从而消除过拟合。结果表明,RankNEAT是一个可行的和高效的进化选择偏好学习。
2022-04-14 cs.AI cs.HC cs.NE
Evolving Neural Networks through a Reverse Encoding Tree
BGI-Shenzhen(深圳华大基因研究院);Georgia Institute of Technology(佐治亚理工学院);Oxford Immune Algorithmics(牛津免疫算法公司);Karolinska Institute(卡罗林斯卡学院);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
NeuroEvolution是最具竞争力的进化学习框架之一,用于设计用于特定任务的新型神经网络,如逻辑电路设计和数字游戏。然而,基准方法的应用,如增强拓扑的神经进化(NEAT)仍然是一个挑战,在其计算成本和搜索时间效率低下。本文提出了一种结合拓扑边编码的方法,称为反向编码树(RET),以有效地进化可扩展神经网络。使用RET,两种类型的方法- NEAT与二进制搜索编码(Bi-NEAT)和NEAT与黄金分割搜索编码(GS-NEAT)-已被设计用于解决基准连续学习环境中的问题,如逻辑门,Cartpole和Lunar Lander,并以经典NEAT和FS-NEAT为基线进行测试。此外,我们进行了鲁棒性测试,以评估所提出的NEAT算法的弹性。结果表明,提出的两种策略提供了更好的性能,其特征在于:(1)在有限数量的时间步长内获得更高的累积奖励;(2)在目标环境中使用更少的事件来解决问题;(3)在噪声扰动下保持自适应鲁棒性,在所有测试案例中均优于基线。我们的分析还表明,在动态环境中,RET扩展潜在的未来研究方向。代码可从https://github.com/HaolingZHANG/ReverseEncodingTree获得。
2020-03-31 cs.AI cs.LG cs.NE
Playing Against the Board: Rolling Horizon Evolutionary Algorithms Against Pandemic
Institute of Digital Games, University of Malta(马耳他大学数字游戏研究所)
竞技棋盘游戏为人工智能提供了丰富多样的测试平台。本文认为,协同棋盘游戏对人工智能提出了不同的挑战,因为它必须平衡短期风险缓解与长期获胜策略。合作棋盘游戏要求所有玩家协调他们不同的力量或集中他们的资源,以克服棋盘和随机规则带来的不断升级的挑战。本文以协同棋盘游戏Pandemic为例,提出了一种滚动时域进化算法。大流行病博弈状态的变化是随机的,但这种变化是可预测的,这种复杂的变化方式需要许多专门设计的前向模型、决策的宏观行动表示以及进化算法的遗传操作的修复函数。探索乐观与悲观的游戏状态评估,不同的突变率和事件视野的算法的变体进行了比较,对基线层次的政策代理。结果表明,通过短期推出的渐进方法可以更好地解释董事会可能引入的未来危险,并防范它们。结果突出了协作棋盘游戏对人工智能构成的挑战类型,特别是在处理多玩家协作交互方面。
2021-03-28 cs.AI cs.MA cs.NE