Lamarckian Platform: Pushing the Boundaries of Evolutionary Reinforcement Learning towards Asynchronous Commercial Games
Southern University of Science and Technology（南方科技大学）；NetEase Games AI Lab（网易游戏人工智能实验室）
尽管将演化计算集成到强化学习中取得了新的进展，但缺乏一个高性能的平台来赋予可组合性和大规模并行性，这给异步商业游戏的研究和应用带来了不小的困难。在这里，我们介绍Lamarkian-一个开源平台，支持可扩展到分布式计算资源的进化强化学习。为了提高训练速度和数据效率，Lamarckian采用了优化的通信方法和异步进化强化学习工作流程。为了满足商业游戏和各种方法对异步接口的需求，拉马克为异步马尔可夫决策过程定制了一个接口，并设计了一个模块解耦的面向对象的软件体系结构。与最先进的RLlib相比，我们在多达6000个CPU内核的基准测试中实证证明了Lamarckian的独特优势：i）在Google足球游戏上运行PPO时，采样效率和训练速度都提高了一倍; ii）在Pong游戏上运行PBT+PPO时，训练速度提高了13倍。此外，我们还提出了两个用例：i）拉马克如何应用于生成行为多样化的游戏AI; ii）拉马克如何应用于异步商业游戏的游戏平衡测试。
2022-09-21 cs.AI cs.LG cs.NE
Algorithm Discovery With LLMs: Evolutionary Search Meets Reinforcement Learning
EPFL（苏黎世联邦理工学院）；Apple（苹果公司）
提出通过强化学习微调持续优化大语言模型，结合进化搜索加速发现更优算法，在组合优化任务上验证有效性。
2025-08-04 cs.AI cs.LG cs.NE
Qualitative Differences Between Evolutionary Strategies and Reinforcement Learning Methods for Control of Autonomous Agents
Institute of Cognitive Science and Technologies, National Research Council（国家研究委员会认知科学与技术研究所）
在本文中，我们分析了进化策略和强化学习算法之间的质的差异，重点是两个流行的最先进的算法：OpenAI-ES进化策略和最近端策略优化（PPO）强化学习算法-这两个家庭的最相似的方法。我们分析了这些方法在以下方面的不同：（i）一般功效，（ii）应对稀疏奖励的能力，（iii）发现最小解决方案的倾向/能力，（iv）对奖励塑造的依赖，以及（v）应对环境条件变化的能力。分析的性能和表现出的行为策略的代理培训与基准问题的两种方法，使我们能够证明在以前的研究中没有发现的定性差异，以确定这两种方法的相对弱点，并提出改善这些弱点的方法。我们表明，奖励函数的特性具有很强的影响，不仅对于OpenAI-ES和PPO，而且对于其他强化学习算法，这些特性都有很大的不同，从而证明了优化奖励函数特性对所使用算法的重要性。
2022-05-16 cs.AI cs.LG cs.NE
LERO: LLM-driven Evolutionary framework with Hybrid Rewards and Enhanced Observation for Multi-Agent Reinforcement Learning
Qiyuan Lab（启元实验室）
LERO框架结合LLM与进化优化，通过混合奖励和增强观测解决多智能体强化学习中的信用分配与部分可观测性问题，在MPE中提升任务性能和训练效率。
2025-03-25 cs.AI cs.LG cs.MA
Evolutionary Strategy Guided Reinforcement Learning via MultiBuffer Communication
University of Galway（戈尔韦大学）
本文提出一种结合进化策略与TD3的进化强化学习模型，通过多缓冲区通信机制避免低质量轨迹污染回放缓冲区，在MuJoCo任务上超越CEM-RL。
2023-06-20 cs.AI cs.NE
Comparing Deep Reinforcement Learning and Evolutionary Methods in Continuous Control
University of Alberta（阿尔伯塔大学）
强化学习和进化策略是解决复杂控制问题的两种主要方法。两者都是强有力的竞争者，都有自己的奉献者社区。近年来，这两个小组都非常积极地在各自的领域中开发新的进展，并设计出尖端技术来解决复杂的连续控制任务。在这里，在深度强化学习的背景下，我们制定了并行版本的近端策略优化方法和深度确定性策略梯度方法。此外，我们对两个阵营中最先进的技术进行了彻底的比较，包括连续控制;进化方法和深度强化学习方法。结果表明，没有持续的赢家。
2018-03-07 cs.AI cs.LG
Bridging Evolutionary Algorithms and Reinforcement Learning: A Comprehensive Survey on Hybrid Algorithms
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院）；Montreal Institute of Learning Algorithms (MILA)（蒙特利尔学习算法研究所）；Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系）
本文全面综述了进化强化学习（ERL）领域，将进化算法（EA）与强化学习（RL）融合，系统总结了三种主要研究方向：EA辅助RL优化、RL辅助EA优化以及EA与RL协同优化，并分析了各分支解决的问题及未来挑战。
2026-05-24 cs.AI cs.LG cs.NE
A Reinforcement Learning Perspective on the Optimal Control of Mutation Probabilities for the (1+1) Evolutionary Algorithm: First Results on the OneMax Problem
ISAE-SUPAERO, Université de Toulouse（高等航空航天学院，图卢兹大学）；ENAC, Université de Toulouse（国立民用航空学院，图卢兹大学）
我们研究如何强化学习可以用来优化控制进化算法中的参数。我们在OneMax函数上控制（1+1）进化算法的变异概率。该问题被建模为马尔可夫决策过程，并通过已知的转移概率与值迭代求解。然后通过Q-Learning（一种强化学习算法）求解，其中不需要精确的转移概率。这种方法还允许将以前的专家或经验知识纳入学习。它开辟了新的视角，正式和计算，优化的参数控制问题。
2019-05-09 cs.AI cs.NE
Mathematical Models and Reinforcement Learning based Evolutionary Algorithm Framework for Satellite Scheduling Problem
National University of Defense Technology（国防科技大学）
对于复杂的组合优化问题，模型和算法是解决方案的核心。许多类型的卫星任务规划问题的复杂性是NP难的，并对解决方案提出了很高的要求。介绍了两类卫星调度问题模型，提出了一种基于强化学习的进化算法框架。
2023-02-01 cs.AI cs.NE math.OC
Solving Deep Reinforcement Learning Tasks with Evolution Strategies and Linear Policy Networks
Leiden University（莱顿大学）；Leiden Institute of Advanced Computer Science (LIACS)（莱顿高级计算机科学研究所（LIACS））
本研究对比了进化策略与基于梯度的深度强化学习方法，发现进化策略在训练线性策略网络时表现出更高的样本效率和鲁棒性，甚至在某些复杂任务和Atari游戏中超越传统深度强化学习算法。
2024-07-24 cs.AI cs.LG
The Evolution theory of Learning: From Natural Selection to Reinforcement Learning
本文探讨进化与强化学习两个领域的关联，指出二者联系比此前认知的更紧密，提出强化学习原理可助力理解进化及反馈在进化系统中的作用。
2023-06-16 cs.LG cs.NE nlin.AO
Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning
Intel Labs（英特尔实验室）；Intel Israel（英特尔以色列）；Technion（以色列理工学院）
对于深度神经网络加速器来说，内存移动既消耗能量又会限制计算。因此，张量到存储层次结构的最佳映射对性能至关重要。随着神经网络复杂性的增加，需要自动化的内存映射来代替人工的启发式方法;然而，神经网络计算图的搜索空间以前非常大。我们介绍了进化图强化学习（EGRL），一种为大搜索空间设计的方法，它结合了图神经网络，强化学习和进化搜索。一组快速的、无状态的策略引导进化搜索以提高其样本效率。我们直接在英特尔NNP-I芯片上对我们的方法进行训练和验证，以进行推理。EGRL在BERT、ResNet-101和ResNet-50上的性能优于策略梯度、进化搜索和动态规划基线。我们还实现了28-78\%的速度相比，本机NNP-I编译器在所有三个工作负载。
2020-10-15 cs.AI cs.LG
Evolutionary Discovery of Reinforcement Learning Algorithms via Large Language Models
Machine Perception and Interaction Lab, Örebro University（厄勒布鲁大学机器感知与交互实验室）
本文提出一种基于进化算法发现强化学习算法的方法，通过搜索可执行的更新规则来发现新的算法，并通过超参数优化提升性能，实验表明其在多个基准上表现优异。
2026-03-30 cs.AI cs.LG
Utilizing Evolution Strategies to Train Transformers in Reinforcement Learning
Faculty of Mathematics and Physics, Charles University（数学与物理系，查理大学）；Institute of Computer Science, Czech Academy of Sciences（计算机科学研究所，捷克科学院）
本研究探索进化策略训练强化学习中Transformer架构策略智能体的能力，采用OpenAI高并行化进化策略在MuJoCo Humanoid和Atari环境训练Decision Transformer，验证了该黑盒方法可训练复杂大模型并取得优异性能。
2025-07-30 cs.LG cs.NE
Deep Reinforcement Learning Versus Evolution Strategies: A Comparative Survey
Delft University of Technology（代尔夫特理工大学）；VU Amsterdam（阿姆斯特丹自由大学）
深度强化学习（DRL）和演化策略（ES）在许多顺序决策问题中已经超越了人类控制，但仍然存在许多开放的挑战。为了深入了解DRL与ES的优势和劣势，分析了它们各自的能力和局限性。在介绍了它们的基本概念和算法之后，在可扩展性、探索性、适应动态环境和多智能体学习等关键方面进行了比较。然后，混合算法的好处，结合DRL和ES的概念突出。最后，有一个关于他们如何在现实世界中的应用程序进行比较的指示，他们支持的应用程序集的文献调查提供。
2021-09-28 cs.AI cs.LG
Effects of Different Optimization Formulations in Evolutionary Reinforcement Learning on Diverse Behavior Generation
Osaka Prefecture University（大阪府立大学）
为给定的任务生成各种策略是具有挑战性的。然而，它已经被证明为主要的学习过程带来了许多资产，例如改进的行为探索。随着人们对演化计算和强化学习中解的异质性的兴趣的增长，出现了许多有前途的方法。为了更好地理解人们如何引导多个策略朝向不同的策略并从多样性中受益，我们需要进一步分析奖励信号调制和其他进化机制对所获得的行为的影响。为此，本文考虑了现有的进化强化学习框架，该框架利用多目标优化作为一种方法来获得成功的行为相关的任务，以及完成主要目标的政策。Atari游戏上的实验强调，不考虑目标的优化公式同样无法产生多样性，甚至输出在解决手头问题方面表现较差的代理，无论获得的行为如何。
2022-01-27 cs.AI cs.NE
Optimizing thermodynamic trajectories using evolutionary and gradient-based reinforcement learning
University of Ottawa（渥太华大学）；National Research Council of Canada（加拿大国家研究委员会）；University of Ontario Institute of Technology（安大略理工大学）；University of Victoria（维多利亚大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）；Molecular Foundry, Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室分子铸造厂）
使用模型热机，我们表明，基于神经网络的强化学习可以识别最大效率的热力学轨迹。我们考虑梯度和无梯度强化学习。我们使用进化学习算法来进化神经网络的种群，服从一个指令，以最大限度地提高由一组基本热力学过程组成的轨迹的效率;由此产生的网络学习进行最有效的卡诺，斯特林或奥托循环。当给定一个额外的不可逆过程时，这个进化方案学习了一个以前未知的热力学循环。基于递归的强化学习能够学习斯特林循环，而进化方法实现最佳卡诺循环。我们的研究结果表明，如何强化学习策略开发的游戏可以应用于解决物理问题的条件下，路径广泛的顺序参数。
2021-11-22 cond-mat.stat-mech cs.LG cs.NE
MODRL/D-EL: Multiobjective Deep Reinforcement Learning with Evolutionary Learning for Multiobjective Optimization
Sun Yat-sen University（中山大学）；Guangdong University of Finance and Economics（广东财经大学）
基于学习的算法求解组合优化问题近年来引起了学术界的广泛关注。虽然大多数现有的作品只考虑单目标问题与简单的约束，许多现实世界的问题有多目标的角度和包含丰富的约束条件。针对带时间窗的多目标车辆路径问题（MO-VRPTW），提出了一种多目标深度强化学习与进化学习算法相结合的方法。在该算法中，分解策略被应用到生成一组注意力模型的子问题。全面的上下文信息的引入，以进一步加强注意力模型。进化学习也被用来微调模型的参数。在MO-VRPTW实例上的实验结果证明了该算法相对于其他基于学习和迭代的方法的优越性。
2021-07-16 cs.AI cs.NE
Evolutionary Warm-Starts for Reinforcement Learning in Industrial Continuous Control
Inst. for Neural Computation Ruhr University Bochum Bochum, Germany
本文研究了进化策略如何支持工业连续控制中的强化学习，通过工业分拣基准的连续控制适应，利用CMA-ES生成高质量演示以预热RL代理，提升稳定性和性能，并提供强参考性能。
2026-03-23 cs.LG cs.NE
Supplementing Gradient-Based Reinforcement Learning with Simple Evolutionary Ideas
TCS Research（塔塔咨询服务公司研究院）；IIT Bombay（印度理工学院孟买分校）
提出一种结合进化算子与共享经验缓冲区的强化学习算法，通过稀疏进化探索补充梯度训练，样本高效且对超参数鲁棒，并发现仅共享记忆的多智能体训练即优于标准基线。
2023-05-10 cs.AI cs.NE
Evolutionary Reinforcement Learning via Cooperative Coevolution
Southern University of Science and Technology（南方科技大学）；Research Institute of Trustworthy Autonomous System（可信自主系统研究院）；Lingnan University（岭南大学）
本文提出协同协同进化强化学习算法CoERL，通过自适应分解策略优化问题并利用部分梯度更新策略，提升高维神经网络优化效率，在六个运动控制基准上优于七种先进算法。
2024-08-01 cs.AI cs.NE
Evolutionary reinforcement learning of dynamical large deviations
Molecular Foundry, Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室分子铸造厂）；Division of Chemistry and Chemical Engineering, California Institute of Technology（加州理工学院化学与化学工程学部）；University of Ottawa（渥太华大学）；National Research Council of Canada（加拿大国家研究委员会）
我们展示了如何使用进化强化学习来计算动态大偏差的可能性。一个代理，一个随机模型，传播一个连续时间的蒙特卡罗轨迹，并收到一定的路径扩展量的值为条件的奖励。进化逐渐产生更适合的代理，最终允许计算一个特定模型和路径扩展量的大偏差率函数。对于具有小状态空间的模型，进化过程直接作用于速率，而对于具有大状态空间的模型，该过程作用于将模型的速率参数化的神经网络的权重。这种方法展示了如何在机器学习中广泛使用的框架内考虑路径扩展物理问题。
2020-02-21 cond-mat.stat-mech cs.LG cs.NE
Multi-Agent Reinforcement Learning as a Computational Tool for Language Evolution Research: Historical Context and Future Challenges
Flowers team, Inria（花团队（Flowers team），法国国家信息与自动化研究所（Inria））；Ensta ParisTech（巴黎高等电子与机械工程学院（Ensta ParisTech））；Inria（法国国家信息与自动化研究所（Inria））；France（法国（注：根据上下文推断为作者所属国家，非机构））
由于多智能体强化学习（MARL）的最新进展，智能体群体中紧急通信的计算模型目前在机器学习社区中引起了人们的兴趣。然而，目前的贡献仍然与早期的理论和计算文献相对脱节，这些文献旨在理解语言如何从前语言物质中出现。本文的目标是定位最近的MARL的语言进化研究的历史背景下的贡献，以及提取从这个理论和计算背景的一些挑战，为未来的研究。
2020-10-27 cs.CL cs.LG cs.MA
Neural Architecture Evolution in Deep Reinforcement Learning for Continuous Control
University of Freiburg（弗莱堡大学）；German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ））；Bosch Center for Artificial Intelligence（博世人工智能中心）
目前的深度强化学习算法仍然严重依赖手工制作的神经网络架构。我们提出了一种新的方法来自动找到连续控制任务的强拓扑结构，同时只增加了一个小的开销在环境中的相互作用。为了实现这一点，我们结合神经进化技术与离线训练，并提出了一种新的架构变异算子。五个连续控制基准的实验表明，所提出的演员-评论家神经进化算法往往优于强演员-评论家基线，并能够自动找到拓扑结构的采样效率的方式，否则将不得不找到昂贵的架构搜索。
2020-02-27 cs.LG cs.NE stat.ML
Diverse Behavior Is What Game AI Needs: Generating Varied Human-Like Playing Styles Using Evolutionary Multi-Objective Deep Reinforcement Learning
这篇论文已经被撤回了
2020-04-16 cs.LG stat.ML
Proximal Distilled Evolutionary Reinforcement Learning
University of Cambridge（剑桥大学）
由于与深度神经网络（DNN）的集成，强化学习（RL）在许多复杂环境中取得了令人印象深刻的性能。与此同时，通常被视为RL竞争方法的遗传算法（GA）在扩展到解决具有挑战性的任务所需的DNN方面取得的成功有限。与这种二分法相反，在物理世界中，进化和学习是不断相互作用的互补过程。最近提出的进化强化学习（ERL）框架已经证明了这两种方法相结合时，双方的利益。然而，ERL并没有完全解决GA的可扩展性问题。在本文中，我们证明了这个问题的根源在于DNN的简单遗传编码和传统生物启发的变异算子的使用的不幸组合。当应用于这些编码时，标准运算符是破坏性的，并导致网络获得的特性的灾难性遗忘。我们提出了一种新的算法称为近端蒸馏进化强化学习（PDERL），其特点是进化和学习之间的层次集成。PDERL的主要创新是使用基于学习的变异算子来补偿遗传表示的简单性。与传统的运营商，我们的建议满足功能要求的变化运营商时，直接编码的DNN。我们在OpenAI健身房的五个机器人运动设置中评估PDERL。在所有测试环境中，我们的方法都优于ERL以及两种最先进的RL算法PPO和TD3。
2020-07-07 cs.LG cs.NE stat.ML
Evolutionarily-Curated Curriculum Learning for Deep Reinforcement Learning Agents
Imbellus（Imbellus（伊姆贝卢斯公司））
在本文中，我们提出了一个新的训练循环的深度强化学习代理与进化生成器。进化过程内容生成已经在之前的游戏地图和关卡的创建中使用。我们的系统集成了一个进化地图生成器来构建一个训练课程，该课程经过进化，可以在最先进的双重决斗深度Q网络架构中最大限度地减少损失，并具有优先级重放。我们提出了一个案例研究中，我们证明了我们的新方法的有效性与一个离散的，大的动作空间，我们称为攻击者和防守者的游戏。我们的研究结果表明，与在地图的无向采样上训练的网络相比，在地图的进化策划课程（定向采样）上训练既加快了训练，又提高了泛化能力。
2019-01-16 cs.AI
Evolution of Societies via Reinforcement Learning
Yann Bouteiller, Karthik Soma, Giovanni Beltrame（未知）
本文提出一种可并行的方法，实现了在演化规模下模拟多智能体强化学习群体，并在经典博弈中成功模拟了20万异构智能体的演化，揭示了不同学习策略对社会演化的影响。
2025-04-27 cs.GT cs.LG cs.MA
A Globally Convergent Evolutionary Strategy for Stochastic Constrained Optimization with Applications to Reinforcement Learning
Polytechnique Montréal（蒙特利尔综合理工学院）；University of Basel（巴塞尔大学）；Johannes Kepler University Linz（林茨约翰·开普勒大学）
进化策略最近被证明可以在强化学习中实现复杂优化问题的性能竞争水平。在这样的问题中，人们经常需要优化一个受一组约束的目标函数，包括例如对策略熵的约束，或者限制代理可访问的可能的动作或状态集。然而，文献中缺乏优化随机约束问题的进化策略的收敛保证。在这项工作中，我们解决这个问题，通过设计一种新的优化算法，有足够的减少机制，确保收敛，这是只基于估计的功能。我们证明了该算法对两种类型的实验的适用性：i）最大化奖励的控制任务和ii）最大化奖励受一组不可放松的约束。
2022-02-21 cs.LG cs.NE math.OC
Never Stop Learning: The Effectiveness of Fine-Tuning in Robotic Reinforcement Learning
Google Research, Robotics at Google Team（谷歌研究院，谷歌机器人团队）；University of Southern California（南加州大学）；University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
机器人学习系统的一个伟大承诺是，它们将能够从错误中学习，并不断适应不断变化的环境。尽管有这种潜力，但今天的大多数机器人学习系统都是作为固定策略部署的，并且在部署后没有进行调整。我们能否有效地将先前学习的行为适应现实世界中的新环境、对象和感知？在本文中，我们提出了一种方法和经验证据走向机器人学习框架，促进持续适应。特别是，我们演示了如何通过离线强化学习进行微调，使基于视觉的机器人操作策略适应新的变化，包括背景、物体形状和外观、照明条件和机器人形态的变化。此外，这种自适应使用的数据不到从头开始学习任务所需数据的0.2%。我们发现，我们调整预训练策略的方法在微调过程中会带来显著的性能提升，并且通过RL进行预训练是必不可少的：从头开始训练或从监督的ImageNet特征中进行调整都是不成功的。我们还发现，这些积极的结果在有限的持续学习环境中也是成立的，在这种环境中，我们使用一系列新任务的数据反复微调单一的政策谱系。我们的实证结论得到了模拟操作任务实验的一致支持，并通过对580，000次抓取预训练的真实机器人抓取系统进行52次独特的微调实验。
2020-07-31 cs.CV cs.LG cs.RO
Evolutionary Dispersal of Ecological Species via Multi-Agent Deep Reinforcement Learning
Natural Science Research Institute, KAIST（韩国科学技术院自然科学研究院）；Korea University（高丽大学）
本研究将SDD类型奖励引入基于DQN的MARL框架，模拟单物种与捕食者—猎物互动，以揭示异质环境中的进化扩散策略并验证传统数学模型。
2024-10-24 cs.LG math.DS q-bio.PE
Reinforcement Learning for Control of Evolutionary and Ecological Processes
Mathematical Medicine Group, Stanford University（斯坦福大学数学医学组）；Department of Neurosurgery, Stanford Medical School（斯坦福医学院神经外科部门）；Physician-Scientist Training Program, Stanford Medical School（斯坦福医学院医师-科学家培训计划）；Maternal & Child Health Research Institute, Stanford University School of Medicine（斯坦福大学医学院母婴健康研究所）；Stanford Cancer Institute, Stanford University School of Medicine（斯坦福大学医学院癌症研究所）
针对现有方法难以处理含生态、生理因素的进化控制问题，研究提出将二者建模为计算的进化博弈公式，结合强化学习取得细胞种群进化控制的首创成果，证明复杂度界并建立AI与生物学新联系。
2025-05-17 cs.AI cs.SY eess.SY
EvoTreeNAD: Genealogy-Guided Evolution for LLM-Driven Neural Architecture Discovery
McWilliams School of Biomedical Informatics（麦克威廉姆斯生物医学信息学院）；University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心）
EvoTreeNAD提出谱系引导进化算法，无需种子或搜索空间，通过前百分位选择与智能体协作，发现超越基线的神经架构，在CIFAR和MedMNIST上表现优异。
2026-09-25 cs.LG cs.NE
An Evolutionary Algorithm for Error-Driven Learning via Reinforcement
Chinese Academy of Sciences（中国科学院）；University of Southampton（南安普顿大学）
虽然不同的学习系统被协调以提供复杂的行为，但人们对这是如何发生的知之甚少。本文描述了一个理论框架，该框架指定了如何通过简单的强化来获得可能被认为需要错误驱动学习的复杂行为。该框架包括对（人工）神经网络进化机制的具体假设，以生成允许网络仅使用有关其性能质量的信息来学习大规模复杂问题的拓扑结构。该框架的实际和理论意义进行了讨论，是可能的生物类似物的方法。
2015-03-26 cs.AI cs.NE
Adaptive Parameter Selection in Evolutionary Algorithms by Reinforcement Learning with Dynamic Discretization of Parameter Range
用于进化算法的在线参数控制器在进化算法运行期间调整参数值。最近Karafotias等人提出了一种新的基于强化学习的参数控制器。然而，在运行期间执行自适应离散化可以提高进化算法的效率。Aleti等人提出了另一种具有自适应离散化的有效控制器。本文提出了一种基于自适应离散化强化学习的参数控制器。所提出的控制器与现有的参数调整方法进行了比较几个测试问题，使用不同的配置的进化算法。对于测试问题，我们考虑四个连续函数，即球函数，Rosenbrock函数，Levi函数和Rastrigin函数。结果表明，新的控制器优于其他控制器上考虑的大多数测试问题。
2016-03-22 cs.NE
Enabling surrogate-assisted evolutionary reinforcement learning via policy embedding
进化强化学习（ERL）是将进化算法（EAs）应用于深度神经网络（DNN）策略的权值参数优化，被广泛认为是传统强化学习方法的替代方法。然而，迭代生成的人口的评估通常需要大量的计算时间，可以是昂贵的，这可能会潜在地限制ERL的适用性。代理算法常被用来减轻进化分析中的计算负担。然而，在ERL中，每个策略通常代表DNN的数百万个权重参数。这种策略的高维表示给在ERL中应用代理以加快训练带来了很大的挑战。本文提出了一个PE-SAERL框架，首次通过策略嵌入（PE）实现代理辅助的进化强化学习。在5款Atari游戏上的实验结果表明，该方法比现有的4种算法具有更高的效率。在测试游戏中，训练过程比没有代理人和PE的训练过程加快了7倍。
2023-01-31 cs.NE
Evolutionary Reinforcement Learning: A Systematic Review and Future Directions
本文系统综述了进化强化学习（EvoRL）的技术背景、核心挑战与开放问题，并提出面向自适应、泛化与可解释性的未来研究方向。
2024-02-20 cs.NE
Challenges in High-dimensional Reinforcement Learning with Evolution Strategies
演化策略（ES）最近在训练深度神经网络方面变得流行，特别是在强化学习任务（一种特殊形式的控制器设计）上。与连续直接搜索中的经典问题相比，深度网络提出了非常高维的优化问题，具有数千甚至数百万个变量。此外，许多控制问题会产生一个随机适应度函数。考虑到应用的相关性，我们研究了演化策略对高维随机问题的适用性。我们的研究结果提供了见解，现代ES的算法机制是有价值的一类问题，他们揭示了原则的方法的局限性。他们是符合我们的理论理解ESs.We相结合的ES，提供降低内部算法成本与不确定性处理技术产生有前途的方法，这类问题。
2018-07-01 cs.NE
