Evolutionary Strategy Guided Reinforcement Learning via MultiBuffer Communication
University of Galway（戈尔韦大学）
本文提出一种结合进化策略与TD3的进化强化学习模型，通过多缓冲区通信机制避免低质量轨迹污染回放缓冲区，在MuJoCo任务上超越CEM-RL。
2023-06-20 cs.AI cs.NE
EvoRL: A GPU-accelerated Framework for Evolutionary Reinforcement Learning
本文提出首个GPU加速的端到端进化强化学习框架EvoRL，通过向量化与编译实现分层并行，支持大规模种群高效训练，并提供多种RL、进化算法及混合范式实现，以促进EvoRL研究。
2025-07-19 cs.NE
Recruitment-imitation Mechanism for Evolutionary Reinforcement Learning
Jilin University（吉林大学）
强化学习、进化算法和模仿学习是处理连续控制任务的三种主要方法。强化学习样本效率高，但对超参数设置敏感，需要有效探索;进化算法稳定，但样本效率低;模仿学习样本效率高，但需要专家数据指导。在本文中，我们提出了招募模仿机制（RIM）的进化强化学习，一个可扩展的框架，结合了上述三种方法的优点。该框架的核心是一个双行动者和单批评强化学习代理。该代理可以从进化算法的群体中招募高适应度的演员，这指示自己从经验重放缓冲区中学习。同时，进化种群中的低适应度行为体可以模仿强化学习Agent的行为模式，提高其自适应能力。该框架中的强化学习器和模仿学习器可以用任何非策略的行动者-批评者强化学习器或数据驱动的模仿学习器来代替。我们在Mujoco中对RIM进行了一系列连续控制任务的基准测试。实验结果表明，RIM优于以前的进化或强化学习方法。RIM组件的性能明显优于以前的进化强化学习算法的组件，使用软更新的招聘使强化学习代理学习速度比使用硬更新。
2019-12-13 cs.AI cs.LG cs.NE
A Reinforcement Learning Perspective on the Optimal Control of Mutation Probabilities for the (1+1) Evolutionary Algorithm: First Results on the OneMax Problem
ISAE-SUPAERO, Université de Toulouse（高等航空航天学院，图卢兹大学）；ENAC, Université de Toulouse（国立民用航空学院，图卢兹大学）
我们研究如何强化学习可以用来优化控制进化算法中的参数。我们在OneMax函数上控制（1+1）进化算法的变异概率。该问题被建模为马尔可夫决策过程，并通过已知的转移概率与值迭代求解。然后通过Q-Learning（一种强化学习算法）求解，其中不需要精确的转移概率。这种方法还允许将以前的专家或经验知识纳入学习。它开辟了新的视角，正式和计算，优化的参数控制问题。
2019-05-09 cs.AI cs.NE
Evolutionary Algorithms for Reinforcement Learning
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）；Naval Research Laboratory（美国海军研究实验室）；George Mason University（乔治梅森大学）
有两种不同的方法来解决强化学习问题，即在价值函数空间中搜索和在策略空间中搜索。时间差分方法和进化算法是这些方法的众所周知的例子。Kaelbling，Littman和Moore最近提供了一个翔实的调查时间差异的方法。这篇文章的重点是应用进化算法的强化学习问题，强调替代政策表示，信用分配方法，和特定问题的遗传算子。强化学习的进化方法的优点和缺点，以及代表性的应用调查。
2011-06-01 cs.AI cs.LG cs.NE
Mathematical Models and Reinforcement Learning based Evolutionary Algorithm Framework for Satellite Scheduling Problem
National University of Defense Technology（国防科技大学）
对于复杂的组合优化问题，模型和算法是解决方案的核心。许多类型的卫星任务规划问题的复杂性是NP难的，并对解决方案提出了很高的要求。介绍了两类卫星调度问题模型，提出了一种基于强化学习的进化算法框架。
2023-02-01 cs.AI cs.NE math.OC
Exploring Novel Quality Diversity Methods For Generalization in Reinforcement Learning
强化学习领域在成就方面很强，在重复应用方面很弱;一台电脑在玩围棋时达到了超人的水平，但在玩井字游戏时仍然很糟糕。本文探讨了训练网络的方法是否提高了网络的泛化能力。具体来说，我们探讨核心质量多样性算法，比较两个最近的算法，并提出了一个新的算法来处理现有方法的缺点。虽然这些方法的结果是远远低于预期的性能，我们的工作提出了重要的点选择质量多样性的行为准则，差分和进化训练方法的相互作用，以及离线强化学习和随机学习在进化搜索中的作用。
2023-03-26 cs.NE
Reducing Idleness in Financial Cloud Services via Multi-objective Evolutionary Reinforcement Learning based Load Balancer
本文针对金融服务中减少保留少量连接的空闲服务器的需求，将其建模为双目标在线负载均衡问题，提出基于神经网络的可扩展策略与进化多目标训练框架优化权重，使空闲率较传统方案降低超130%且原负载均衡目标略有改善。
2023-11-23 cs.NE
Effects of Different Optimization Formulations in Evolutionary Reinforcement Learning on Diverse Behavior Generation
Osaka Prefecture University（大阪府立大学）
为给定的任务生成各种策略是具有挑战性的。然而，它已经被证明为主要的学习过程带来了许多资产，例如改进的行为探索。随着人们对演化计算和强化学习中解的异质性的兴趣的增长，出现了许多有前途的方法。为了更好地理解人们如何引导多个策略朝向不同的策略并从多样性中受益，我们需要进一步分析奖励信号调制和其他进化机制对所获得的行为的影响。为此，本文考虑了现有的进化强化学习框架，该框架利用多目标优化作为一种方法来获得成功的行为相关的任务，以及完成主要目标的政策。Atari游戏上的实验强调，不考虑目标的优化公式同样无法产生多样性，甚至输出在解决手头问题方面表现较差的代理，无论获得的行为如何。
2022-01-27 cs.AI cs.NE
An Evolutionary Algorithm for Error-Driven Learning via Reinforcement
Chinese Academy of Sciences（中国科学院）；University of Southampton（南安普顿大学）
虽然不同的学习系统被协调以提供复杂的行为，但人们对这是如何发生的知之甚少。本文描述了一个理论框架，该框架指定了如何通过简单的强化来获得可能被认为需要错误驱动学习的复杂行为。该框架包括对（人工）神经网络进化机制的具体假设，以生成允许网络仅使用有关其性能质量的信息来学习大规模复杂问题的拓扑结构。该框架的实际和理论意义进行了讨论，是可能的生物类似物的方法。
2015-03-26 cs.AI cs.NE
MODRL/D-EL: Multiobjective Deep Reinforcement Learning with Evolutionary Learning for Multiobjective Optimization
Sun Yat-sen University（中山大学）；Guangdong University of Finance and Economics（广东财经大学）
基于学习的算法求解组合优化问题近年来引起了学术界的广泛关注。虽然大多数现有的作品只考虑单目标问题与简单的约束，许多现实世界的问题有多目标的角度和包含丰富的约束条件。针对带时间窗的多目标车辆路径问题（MO-VRPTW），提出了一种多目标深度强化学习与进化学习算法相结合的方法。在该算法中，分解策略被应用到生成一组注意力模型的子问题。全面的上下文信息的引入，以进一步加强注意力模型。进化学习也被用来微调模型的参数。在MO-VRPTW实例上的实验结果证明了该算法相对于其他基于学习和迭代的方法的优越性。
2021-07-16 cs.AI cs.NE
Supplementing Gradient-Based Reinforcement Learning with Simple Evolutionary Ideas
TCS Research（塔塔咨询服务公司研究院）；IIT Bombay（印度理工学院孟买分校）
提出一种结合进化算子与共享经验缓冲区的强化学习算法，通过稀疏进化探索补充梯度训练，样本高效且对超参数鲁棒，并发现仅共享记忆的多智能体训练即优于标准基线。
2023-05-10 cs.AI cs.NE
Evolutionary Reinforcement Learning for Interpretable Decision-Making in Supply Chain Management
本研究针对工业4.0下供应链管理因AI黑箱特性难以采用先进优化技术的问题，首次将可解释人工智能与仿真优化结合，生成决策树形式的可解释策略，在虚构和真实问题上性能优于或媲美传统算法，打破了可解释性与效率的权衡认知。
2025-04-16 cs.NE
EVO-RL: Evolutionary-Driven Reinforcement Learning
RWTH Aachen University（亚琛工业大学）；University Hospital RWTH Aachen（亚琛工业大学附属医院）；Trier University of Applied Sciences（特里尔应用科学大学）；University of Trento（特伦托大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
在这项工作中，我们提出了一种新的演化计算驱动的强化学习方法。我们的算法被称为进化驱动的强化学习（evo-RL），它将强化学习算法嵌入到进化周期中，在进化周期中，我们可以清楚地区分纯粹的可进化（本能）行为与纯粹的可学习行为。此外，我们认为这种区别是由进化过程决定的，从而使evo-RL能够适应不同的环境。此外，evo-RL有助于在无奖励状态的环境中学习，这使得它更适合于不完整信息的现实世界问题。为了表明evo-RL导致最先进的性能，我们提出了不同的最先进的强化学习算法在evo-RL中运行时的性能，并将其与独立执行这些相同算法的情况进行比较。结果表明，嵌入在我们的evo-RL方法中的强化学习算法在OpenAI Gym控制问题上的性能明显优于相同RL算法的独立版本，其中无奖励状态受到相同计算预算的约束。
2020-07-10 cs.AI cs.LG cs.NE
Aerial Reliable Collaborative Communications for Terrestrial Mobile Users via Evolutionary Multi-Objective Deep Reinforcement Learning
本文针对无人机辅助地面移动用户通信中能量与功率受限问题，提出基于虚拟天线阵列的协作波束成形方法，并设计融合进化学习与LSTM的多目标深度强化学习算法，在最大化传输速率的同时最小化飞行能耗，仿真验证了其多样性与鲁棒性。
2025-02-09 cs.NE
Optimizing thermodynamic trajectories using evolutionary and gradient-based reinforcement learning
University of Ottawa（渥太华大学）；National Research Council of Canada（加拿大国家研究委员会）；University of Ontario Institute of Technology（安大略理工大学）；University of Victoria（维多利亚大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）；Molecular Foundry, Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室分子铸造厂）
使用模型热机，我们表明，基于神经网络的强化学习可以识别最大效率的热力学轨迹。我们考虑梯度和无梯度强化学习。我们使用进化学习算法来进化神经网络的种群，服从一个指令，以最大限度地提高由一组基本热力学过程组成的轨迹的效率;由此产生的网络学习进行最有效的卡诺，斯特林或奥托循环。当给定一个额外的不可逆过程时，这个进化方案学习了一个以前未知的热力学循环。基于递归的强化学习能够学习斯特林循环，而进化方法实现最佳卡诺循环。我们的研究结果表明，如何强化学习策略开发的游戏可以应用于解决物理问题的条件下，路径广泛的顺序参数。
2021-11-22 cond-mat.stat-mech cs.LG cs.NE
Algorithm Discovery With LLMs: Evolutionary Search Meets Reinforcement Learning
EPFL（苏黎世联邦理工学院）；Apple（苹果公司）
提出通过强化学习微调持续优化大语言模型，结合进化搜索加速发现更优算法，在组合优化任务上验证有效性。
2025-08-04 cs.AI cs.LG cs.NE
Evolutionary Reinforcement Learning via Cooperative Coevolution
Southern University of Science and Technology（南方科技大学）；Research Institute of Trustworthy Autonomous System（可信自主系统研究院）；Lingnan University（岭南大学）
本文提出协同协同进化强化学习算法CoERL，通过自适应分解策略优化问题并利用部分梯度更新策略，提升高维神经网络优化效率，在六个运动控制基准上优于七种先进算法。
2024-08-01 cs.AI cs.NE
Evolutionary Warm-Starts for Reinforcement Learning in Industrial Continuous Control
Inst. for Neural Computation Ruhr University Bochum Bochum, Germany
本文研究了进化策略如何支持工业连续控制中的强化学习，通过工业分拣基准的连续控制适应，利用CMA-ES生成高质量演示以预热RL代理，提升稳定性和性能，并提供强参考性能。
2026-03-23 cs.LG cs.NE
R2 Indicator and Deep Reinforcement Learning Enhanced Adaptive Multi-Objective Evolutionary Algorithm
Ulster University（阿尔斯特大学）；University of Bath（巴斯大学）；Auburn University（奥本大学）
针对优化算法选择难题，提出融合R2指标与双深度Q网络强化学习的多目标进化算法R2-RLMOEA，在CEC09基准测试中性能显著优于其他6种同类算法。
2024-04-17 cs.AI cs.NE
Lamarckian Platform: Pushing the Boundaries of Evolutionary Reinforcement Learning towards Asynchronous Commercial Games
Southern University of Science and Technology（南方科技大学）；NetEase Games AI Lab（网易游戏人工智能实验室）
尽管将演化计算集成到强化学习中取得了新的进展，但缺乏一个高性能的平台来赋予可组合性和大规模并行性，这给异步商业游戏的研究和应用带来了不小的困难。在这里，我们介绍Lamarkian-一个开源平台，支持可扩展到分布式计算资源的进化强化学习。为了提高训练速度和数据效率，Lamarckian采用了优化的通信方法和异步进化强化学习工作流程。为了满足商业游戏和各种方法对异步接口的需求，拉马克为异步马尔可夫决策过程定制了一个接口，并设计了一个模块解耦的面向对象的软件体系结构。与最先进的RLlib相比，我们在多达6000个CPU内核的基准测试中实证证明了Lamarckian的独特优势：i）在Google足球游戏上运行PPO时，采样效率和训练速度都提高了一倍; ii）在Pong游戏上运行PBT+PPO时，训练速度提高了13倍。此外，我们还提出了两个用例：i）拉马克如何应用于生成行为多样化的游戏AI; ii）拉马克如何应用于异步商业游戏的游戏平衡测试。
2022-09-21 cs.AI cs.LG cs.NE
Qualitative Differences Between Evolutionary Strategies and Reinforcement Learning Methods for Control of Autonomous Agents
Institute of Cognitive Science and Technologies, National Research Council（国家研究委员会认知科学与技术研究所）
在本文中，我们分析了进化策略和强化学习算法之间的质的差异，重点是两个流行的最先进的算法：OpenAI-ES进化策略和最近端策略优化（PPO）强化学习算法-这两个家庭的最相似的方法。我们分析了这些方法在以下方面的不同：（i）一般功效，（ii）应对稀疏奖励的能力，（iii）发现最小解决方案的倾向/能力，（iv）对奖励塑造的依赖，以及（v）应对环境条件变化的能力。分析的性能和表现出的行为策略的代理培训与基准问题的两种方法，使我们能够证明在以前的研究中没有发现的定性差异，以确定这两种方法的相对弱点，并提出改善这些弱点的方法。我们表明，奖励函数的特性具有很强的影响，不仅对于OpenAI-ES和PPO，而且对于其他强化学习算法，这些特性都有很大的不同，从而证明了优化奖励函数特性对所使用算法的重要性。
2022-05-16 cs.AI cs.LG cs.NE
Evolutionary reinforcement learning of dynamical large deviations
Molecular Foundry, Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室分子铸造厂）；Division of Chemistry and Chemical Engineering, California Institute of Technology（加州理工学院化学与化学工程学部）；University of Ottawa（渥太华大学）；National Research Council of Canada（加拿大国家研究委员会）
我们展示了如何使用进化强化学习来计算动态大偏差的可能性。一个代理，一个随机模型，传播一个连续时间的蒙特卡罗轨迹，并收到一定的路径扩展量的值为条件的奖励。进化逐渐产生更适合的代理，最终允许计算一个特定模型和路径扩展量的大偏差率函数。对于具有小状态空间的模型，进化过程直接作用于速率，而对于具有大状态空间的模型，该过程作用于将模型的速率参数化的神经网络的权重。这种方法展示了如何在机器学习中广泛使用的框架内考虑路径扩展物理问题。
2020-02-21 cond-mat.stat-mech cs.LG cs.NE
Bridging Evolutionary Algorithms and Reinforcement Learning: A Comprehensive Survey on Hybrid Algorithms
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院）；Montreal Institute of Learning Algorithms (MILA)（蒙特利尔学习算法研究所）；Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系）
本文全面综述了进化强化学习（ERL）领域，将进化算法（EA）与强化学习（RL）融合，系统总结了三种主要研究方向：EA辅助RL优化、RL辅助EA优化以及EA与RL协同优化，并分析了各分支解决的问题及未来挑战。
2026-05-24 cs.AI cs.LG cs.NE
A reinforcement learning guided hybrid evolutionary algorithm for the latency location routing problem
针对延迟位置路由问题，提出一种强化学习引导的混合进化算法，结合多样性增强交叉与强化学习引导邻域下降，在76个实例中改进了51个最优解，显著超越现有方法。
2024-03-21 cs.DM cs.NE
Evolutionary Reinforcement Learning via Cooperative Coevolutionary Negatively Correlated Search
Southern University of Science and Technology（南方科技大学）
本文提出NCS友好的协同协同进化框架，以扩展负相关搜索并保留其并行探索行为，在10个Atari游戏上以少50%计算时间显著优于三种最先进深度强化学习方法。
2020-09-08 cs.LG cs.NE
A Globally Convergent Evolutionary Strategy for Stochastic Constrained Optimization with Applications to Reinforcement Learning
Polytechnique Montréal（蒙特利尔综合理工学院）；University of Basel（巴塞尔大学）；Johannes Kepler University Linz（林茨约翰·开普勒大学）
进化策略最近被证明可以在强化学习中实现复杂优化问题的性能竞争水平。在这样的问题中，人们经常需要优化一个受一组约束的目标函数，包括例如对策略熵的约束，或者限制代理可访问的可能的动作或状态集。然而，文献中缺乏优化随机约束问题的进化策略的收敛保证。在这项工作中，我们解决这个问题，通过设计一种新的优化算法，有足够的减少机制，确保收敛，这是只基于估计的功能。我们证明了该算法对两种类型的实验的适用性：i）最大化奖励的控制任务和ii）最大化奖励受一组不可放松的约束。
2022-02-21 cs.LG cs.NE math.OC
Reinforcement Learning Informed Evolutionary Search for Autonomous Systems Testing
Polytechnique Montréal（蒙特利尔理工学院）
本文提出RIGAA方法，通过强化学习智能体引导进化搜索的初始种群生成，提升自主系统测试效率，并在迷宫生成和车道保持测试中验证了其收敛速度与测试套件质量均优于现有方法。
2023-08-24 cs.NE cs.RO
Deep Reinforcement Learning-Assisted Automated Operator Portfolio for Constrained Multi-objective Optimization
School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）
本文提出基于深度强化学习的自动操作符组合方法，通过学习操作符分配方案提升约束多目标优化算法性能，实验表明其在33个基准问题上表现更优且更稳定。
2026-03-17 cs.NE
Behavior-based Neuroevolutionary Training in Reinforcement Learning
TH Köln（科隆应用技术大学）；Vrije Universitat Amsterdam（阿姆斯特丹自由大学）
除了在解决经典优化问题方面无可争议的成功之外，神经进化和基于种群的算法已经成为标准强化学习方法的替代方案。然而，进化方法通常缺乏标准的基于值的方法的样本效率，标准的基于值的方法利用收集的状态和值经验。如果考虑对具有显著资源成本的现实问题进行强化学习，则样本效率至关重要。因此，增强进化算法的经验利用方法是期望的，并承诺有价值的见解。本文提出了一种结合拓扑变化神经进化优化和基于值的强化学习的混合算法。我们说明了如何可以使用的政策的行为来创建距离和损失函数，这得益于存储的经验和计算的状态值。它们允许我们通过无梯度进化算法和基于代理的优化来对行为进行建模并在行为空间中进行定向搜索。为此，我们整合了不同的方法来生成和优化代理策略，创建了一个多样化的群体。我们在标准基准测试和一个专门构建的现实问题上测试了我们的算法的性能。我们的研究结果表明，结合方法可以提高进化方法的样本效率和学习速度。
2021-05-17 cs.AI cs.NE
Learning to grow: control of material self-assembly using evolutionary reinforcement learning
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；National Research Council of Canada（加拿大国家研究委员会）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）
我们表明，进化强化学习训练的神经网络可以制定有效的分子自组装协议。通过分子模拟轨迹，网络学习改变温度和化学势，以促进所需结构的组装或在竞争的多晶型物之间进行选择。在第一种情况下，网络在定性意义上再现了先前已知协议的结果，但速度更快，保真度更高;在第二种情况下，它们识别了先前未知的策略，我们可以从中提取物理见解。将模拟的运行时间或系统的微观信息作为输入的网络都是有效的，后者更有效。我们使用的进化方案易于实现，并且可以应用于实验自组装的广泛示例，无论是否可以在实验进行时监控实验。我们的结果已经取得了没有超出规范的序参量，以促进人类的输入，指出了人工智能的合成协议的设计方式。
2020-05-28 cond-mat.stat-mech cs.LG cs.NE
Effective Reinforcement Learning through Evolutionary Surrogate-Assisted Prescription
Cognizant Technology Solutions（高知特科技解决方案公司）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
现在有大量的历史数据可用于组织中的决策，包括决策问题，做出了什么决策，以及结果的可取性。使用这些数据，可以学习一个代理模型，并使用该模型，发展一个优化结果的决策策略。本文介绍了一种通用的这样的方法，称为进化代理辅助处方，或ESP。代理是，例如，一个随机森林或神经网络训练的梯度下降，和战略是一个神经网络的演变，以最大限度地提高预测的代理模型。ESP在本文中进一步扩展到顺序决策任务，这使得它有可能在强化学习（RL）基准评估框架。由于大多数评估都是在代理上进行的，ESP比标准RL方法具有更高的样本效率，更低的方差和更低的遗憾。令人惊讶的是，它的解决方案也更好，因为代理和策略网络都规范了决策行为。ESP因此形成了一个有前途的基础，在现实世界中的问题的决策优化。
2020-04-22 cs.LG cs.NE
Contextual Quality-Diversity Evolutionary Reinforcement Learning for HVAC Control in Tropical Commercial Buildings
本文提出 CQD-ERL 控制器，用于热带商业建筑 HVAC 监督控制，在新加坡建筑降阶环境训练后，经年度回测与 ASHRAE Guideline 36 基线对比，实现更优控制性能。
2026-08-13 cs.AI cs.LG cs.NE
REACT: Revealing Evolutionary Action Consequence Trajectories for Interpretable Reinforcement Learning
LMU Munich（慕尼黑大学）
本文提出 REACT，通过进化算法优化初始状态扰动并结合兼顾局部与全局多样性的联合适应度函数，生成边缘情形动作后果轨迹，以揭示 RL 策略最优表现之外的行为并增强可解释性。
2024-04-04 cs.AI cs.LG cs.NE
CosmoCore-Evo: Evolutionary Dream-Replay Reinforcement Learning for Adaptive Code Generation
Microsoft Corporation（微软公司）
CosmoCore-Evo通过进化算法提升代码生成的适应性和新颖性，实现更高性能和更快适应。
2025-12-20 cs.AI cs.NE cs.SE
Evolutionary Discovery of Developmental Reward Schedules in Deep Reinforcement Learning
College of Computing at the Georgia Institute of Technology（佐治亚理工学院计算学院）；School of Engineering and Applied Science at the University of Pennsylvania（宾夕法尼亚大学工程与应用科学学院）
提出进化框架自动发现深度强化学习中的发展性奖励调度，通过时变权重组合代理、新奇和反应性三种动机，在稀疏奖励任务上优于手工设计基线，并发现新奇动机主导早期训练。
2026-07-13 cs.LG cs.NE
BiERL: A Meta Evolutionary Reinforcement Learning Framework via Bilevel Optimization
Nanjing University（南京大学）；Tianjin University（天津大学）
本文提出基于双层优化的元进化强化学习框架BiERL，通过在单智能体内并行更新超参数与训练模型，并设计嵌入演化经验的种群表示及适应度评估，有效缓解了探索不足与模型崩溃问题，显著提升了多种ERL算法的学习性能。
2023-08-01 cs.AI cs.LG cs.NE
Proximal Distilled Evolutionary Reinforcement Learning
University of Cambridge（剑桥大学）
由于与深度神经网络（DNN）的集成，强化学习（RL）在许多复杂环境中取得了令人印象深刻的性能。与此同时，通常被视为RL竞争方法的遗传算法（GA）在扩展到解决具有挑战性的任务所需的DNN方面取得的成功有限。与这种二分法相反，在物理世界中，进化和学习是不断相互作用的互补过程。最近提出的进化强化学习（ERL）框架已经证明了这两种方法相结合时，双方的利益。然而，ERL并没有完全解决GA的可扩展性问题。在本文中，我们证明了这个问题的根源在于DNN的简单遗传编码和传统生物启发的变异算子的使用的不幸组合。当应用于这些编码时，标准运算符是破坏性的，并导致网络获得的特性的灾难性遗忘。我们提出了一种新的算法称为近端蒸馏进化强化学习（PDERL），其特点是进化和学习之间的层次集成。PDERL的主要创新是使用基于学习的变异算子来补偿遗传表示的简单性。与传统的运营商，我们的建议满足功能要求的变化运营商时，直接编码的DNN。我们在OpenAI健身房的五个机器人运动设置中评估PDERL。在所有测试环境中，我们的方法都优于ERL以及两种最先进的RL算法PPO和TD3。
2020-07-07 cs.LG cs.NE stat.ML
Reinforcement Learning-assisted Evolutionary Algorithm: A Survey and Research Opportunities
National Defense University（国防大学）；University of Kent（肯特大学）；Beijing Jiaotong University（北京交通大学）；Nanyang Technological University（南洋理工大学）；Qatar University（卡塔尔大学）；Beihang University（北京航空航天大学）；National University of Singapore（新加坡国立大学）；University of Alberta（阿尔伯塔大学）；Polish Academy of Sciences（波兰科学院）；Indian Statistical Institute（印度统计学院）；Kyungpook National University（庆北国立大学）
该综述聚焦强化学习辅助进化算法（RL-EA），梳理其概念、分类、集成与辅助策略、属性设置及应用表现，并指明未来研究方向。
2024-01-28 cs.AI cs.LG cs.NE
DARLEI: Deep Accelerated Reinforcement Learning with Evolutionary Intelligence
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）
本文提出 DARLEI 框架，结合并行 PPO、锦标赛选择进化机制与 Isaac Gym GPU 加速，在单工作站上高效训练并进化 UNIMAL 种群，实现逾 20 倍加速。
2023-12-08 cs.AI cs.NE
RLEMMO: Evolutionary Multimodal Optimization Assisted By Deep Reinforcement Learning
South China University of Technology（华南理工大学）；Xidian University（西安电子科技大学）
针对现有多模态优化人工自适应策略灵活性不足的问题，提出融合强化学习与注意力机制的元黑箱优化框架RLEMMO，可灵活调整个体搜索策略，在CEC2013基准上性能优于多个强基线。
2024-04-12 cs.AI cs.NE
Reinforcement Evolutionary Learning Method for self-learning
Data Science Researchers（数据科学研究机构）
在统计建模中，最大的威胁是概念漂移，这使得模型随着时间的推移逐渐显示出性能恶化。存在检测概念漂移的影响的现有技术方法，然而，为克服性能问题而考虑的一般策略是重建或重新当模型的变量模式因市场变化或消费者行为变化等而发生显著变化时，定期校准模型。定量研究是数据科学在市场营销或金融领域中最广泛的应用，用于自动学习的现有技术强化学习是较少探索的范例。强化学习在很大程度上依赖于具有主要可用于游戏或在线系统的模拟环境，以从实时反馈中学习。然而，由于在线学习环境的性质，在在线广告、定价等领域也有一些研究探讨了强化学习的范围。我们提出的解决方案是一种基于强化学习的真正的自学习算法，它可以适应数据变化或概念漂移，并自动学习和自校准新的数据模式，解决概念漂移问题。关键词-强化学习，遗传算法，Q学习，分类建模，CMA-ES，NES，多目标优化，概念漂移，种群稳定性指数，增量学习，F1-measure，预测建模，自学习，MCTS，AlphaGo，AlphaZero
2018-10-07 cs.LG cs.NE stat.ML
Auto-configuring Exploration-Exploitation Tradeoff in Evolutionary Computation via Deep Reinforcement Learning
South China University of Technology（华南理工大学）；National University of Singapore（新加坡国立大学）
针对进化计算中探索-利用权衡依赖人工规则的问题，提出基于深度强化学习的自动配置框架，可自适应调整权衡策略，在CEC2021基准上显著提升多种进化算法性能且泛化性良好。
2024-04-12 cs.AI cs.NE
Learning Where, What and How to Transfer: A Multi-Role Reinforcement Learning Approach for Evolutionary Multitasking
针对进化多任务算法知识迁移需定制设计的问题，本文提出多角色强化学习框架，从迁移配对、知识占比、迁移强度三方面实现可泛化的知识迁移策略，实验验证其性能达到当前最优。
2025-11-19 cs.LG cs.NE
Evolutionary Reinforcement Learning: A Survey
Southern University of Science and Technology（南方科技大学）；Bielefeld University（比勒费尔德大学）；University of Surrey（萨里大学）
本文综述进化计算与强化学习融合的进化强化学习（EvoRL），按超参数优化、策略搜索、探索等方向分类，并展望高效方法、基准与平台等未来方向。
2023-08-30 cs.AI cs.LG cs.NE
Evolutionary Bilevel Reward Shaping for Generalization in Reinforcement Learning
University of Tsukuba（筑波大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所革新智能综合研究中心）
提出GERS方法，通过双层优化利用标量验证反馈调整奖励函数，在限制轨迹访问下提升强化学习在未见环境中的泛化性能。
2026-06-16 cs.LG cs.NE
Evolutionary Population Curriculum for Scaling Multi-Agent Reinforcement Learning
CMU（卡内基梅隆大学）；SJTU（上海交通大学）；Facebook AI Research（脸书人工智能研究院）；OpenAI（开放人工智能公司）；UC Berkeley（加州大学伯克利分校）；UCSD（加州大学圣地亚哥分校）
在多智能体游戏中，环境的复杂性会随着智能体数量的增加而呈指数级增长，因此当智能体数量很大时，学习好的策略特别具有挑战性。在本文中，我们介绍了进化人口课程（EPC），一个课程学习范式，逐步增加人口的训练代理在一个阶段明智的方式扩大了多智能体强化学习（MARL）。此外，EPC使用进化的方法来解决整个课程中的目标不一致问题：在早期阶段成功训练的小规模人口的代理不一定是适应后期规模人口的最佳候选人。具体而言，EPC在每个阶段维护多组代理，对这些代理执行混合匹配和微调，并将具有最佳适应性的代理提升到下一阶段。我们实现EPC上流行的MARL算法，MADDPG，经验表明，我们的方法始终优于基线的代理数量呈指数级增长的大幅度。
2020-03-23 cs.AI cs.LG cs.NE
ConfigX: Modular Configuration for Evolutionary Algorithms via Multitask Reinforcement Learning
South China University of Technology（华南理工大学）；Massachusetts Institute of Technology（麻省理工学院）；Singapore Management University（新加坡管理大学）
ConfigX提出一种基于多任务强化学习和模块化系统的通用进化算法配置框架，通过大规模预训练实现零样本泛化与终身学习，显著提升多种进化算法的性能。
2024-12-15 cs.LG cs.NE
Assessing Evolutionary Terrain Generation Methods for Curriculum Reinforcement Learning
CSIRO（联邦科学与工业研究组织）；Monash University（莫纳什大学）；Queensland University of Technology（昆士兰科技大学）；University of Queensland（昆士兰大学）
通过课程学习，可以通过逐步超越"垫脚石"目标，掌握复杂的任务，最终达到理想的行为。典型的实现通过逐渐复杂化的地形网格通过参数化的噪声函数生成的具有挑战性的环境中学习运动策略。迄今为止，研究人员主要从有限范围的噪声函数生成地形，并且在文献中未充分说明生成器对学习过程的影响。我们比较流行的基于噪声的地形生成器的两个间接编码，CPPN和GAN。为了允许直接和间接表示之间的直接比较，我们评估了一系列表示不可知的MAP精英特征描述符的影响，这些特征描述符直接从生成的地形网格计算指标。接下来，性能和覆盖率进行评估时，训练人形机器人在物理模拟器中使用PPO算法。结果描述的发电机，告知他们在课程学习的使用之间的主要差异，并提出了一系列有用的功能描述符，由社区吸收。
2022-03-29 cs.NE cs.RO
ERL-Re$^2$: Efficient Evolutionary Reinforcement Learning with Shared State Representation and Individual Policy Representation
Tianjin University（天津大学）
提出ERL-Re$^2$算法，通过让所有强化学习与进化算法智能体共享非线性状态表征并保持各自线性策略表征，实现行为级交叉变异与适应度泛化，解决了知识共享不足和行为进化缺失问题，在连续控制任务中达到SOTA。
2023-06-30 cs.LG cs.NE
Learning to Orchestrate Evolutionary Search: Progression-Aware Deep Reinforcement Learning for Dynamic DE-CMA-ES Coordination in Optimization and Structural Model Updating
State Key Laboratory of Internet of Things for Smart City, University of Macau（澳门大学物联网智慧城市建设国家重点实验室）；College of Water Conservancy and Hydropower Engineering, Hohai University（河海大学水利水电学院）；School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院）
该研究提出DRL-DCO算法，通过DDPG智能体动态协调DE与CMA-ES的搜索过程，在高维优化及结构模型更新任务上取得了优于现有算法的收敛精度与鲁棒性。
2026-11-02 cs.AI cs.NE
Discovering Interpretable Multi-Parameter Control Policies for Evolutionary Algorithms Using Deep Reinforcement Learning
University of St Andrews（圣安德鲁大学）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；LIP6（巴黎第六大学信息科学实验室）
针对进化算法多参数控制缺乏可解释策略的问题，提出深度强化学习结合动作空间分解、奖励平移和长期折扣的方法，蒸馏出符号控制策略，在OneMax问题上超越现有基线。
2026-06-08 cs.LG cs.NE
New Model for Multi-Objective Evolutionary Algorithms
多目标进化算法是解决多目标优化问题的有效方法。到目前为止，已经提出了数十个MOEA。统一模式将为建立新的多边环境协定提供一个更系统的办法。在这里，提出了一个新的模型，其中包括两个子模型的基础上两类不同的模式MOEA。在此基础上，对一些有代表性的算法进行了分解，并讨论了一些有趣的问题.
2011-01-31 cs.NE
Variational Quantum Reinforcement Learning via Evolutionary Optimization
Brookhaven National Laboratory（布鲁克海文国家实验室）；National Taiwan University（台湾大学）；National Center for Theoretical Science（国家理论科学中心）
经典强化学习（RL）和量子计算（QC）的最新进展指出了在量子计算机上执行RL的一个有前途的方向。然而，量子RL的潜在应用受到现代量子设备中可用量子比特数量的限制。在这里，我们提出了两个框架的深度量子RL任务使用无梯度进化优化：首先，我们应用幅度编码方案的Cart-Pole问题;其次，我们提出了一个混合框架，其中量子RL代理配备了混合张量网络变分量子线路（TN-VQC）架构，以处理输入的尺寸超过量子位数。这使我们能够在具有147维输入的MiniGrid环境中执行量子RL。我们证明了使用幅度编码节省参数的量子优势。混合TN-VQC架构提供了一种自然的方式来执行输入维度的有效压缩，从而能够在有噪声的中等规模量子设备上实现进一步的量子RL应用。
2021-09-01 cs.AI cs.ET cs.LG
