Supplementing Gradient-Based Reinforcement Learning with Simple Evolutionary Ideas
TCS Research（塔塔咨询服务公司研究院）；IIT Bombay（印度理工学院孟买分校）
提出一种结合进化算子与共享经验缓冲区的强化学习算法，通过稀疏进化探索补充梯度训练，样本高效且对超参数鲁棒，并发现仅共享记忆的多智能体训练即优于标准基线。
2023-05-10 cs.AI cs.NE
Mathematical Models and Reinforcement Learning based Evolutionary Algorithm Framework for Satellite Scheduling Problem
National University of Defense Technology（国防科技大学）
对于复杂的组合优化问题，模型和算法是解决方案的核心。许多类型的卫星任务规划问题的复杂性是NP难的，并对解决方案提出了很高的要求。介绍了两类卫星调度问题模型，提出了一种基于强化学习的进化算法框架。
2023-02-01 cs.AI cs.NE math.OC
Evolutionary Reinforcement Learning via Cooperative Coevolution
Southern University of Science and Technology（南方科技大学）；Research Institute of Trustworthy Autonomous System（可信自主系统研究院）；Lingnan University（岭南大学）
本文提出协同协同进化强化学习算法CoERL，通过自适应分解策略优化问题并利用部分梯度更新策略，提升高维神经网络优化效率，在六个运动控制基准上优于七种先进算法。
2024-08-01 cs.AI cs.NE
R2 Indicator and Deep Reinforcement Learning Enhanced Adaptive Multi-Objective Evolutionary Algorithm
Ulster University（阿尔斯特大学）；University of Bath（巴斯大学）；Auburn University（奥本大学）
针对优化算法选择难题，提出融合R2指标与双深度Q网络强化学习的多目标进化算法R2-RLMOEA，在CEC09基准测试中性能显著优于其他6种同类算法。
2024-04-17 cs.AI cs.NE
Algorithm Discovery With LLMs: Evolutionary Search Meets Reinforcement Learning
EPFL（苏黎世联邦理工学院）；Apple（苹果公司）
提出通过强化学习微调持续优化大语言模型，结合进化搜索加速发现更优算法，在组合优化任务上验证有效性。
2025-08-04 cs.AI cs.LG cs.NE
EVO-RL: Evolutionary-Driven Reinforcement Learning
RWTH Aachen University（亚琛工业大学）；University Hospital RWTH Aachen（亚琛工业大学附属医院）；Trier University of Applied Sciences（特里尔应用科学大学）；University of Trento（特伦托大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
在这项工作中，我们提出了一种新的演化计算驱动的强化学习方法。我们的算法被称为进化驱动的强化学习（evo-RL），它将强化学习算法嵌入到进化周期中，在进化周期中，我们可以清楚地区分纯粹的可进化（本能）行为与纯粹的可学习行为。此外，我们认为这种区别是由进化过程决定的，从而使evo-RL能够适应不同的环境。此外，evo-RL有助于在无奖励状态的环境中学习，这使得它更适合于不完整信息的现实世界问题。为了表明evo-RL导致最先进的性能，我们提出了不同的最先进的强化学习算法在evo-RL中运行时的性能，并将其与独立执行这些相同算法的情况进行比较。结果表明，嵌入在我们的evo-RL方法中的强化学习算法在OpenAI Gym控制问题上的性能明显优于相同RL算法的独立版本，其中无奖励状态受到相同计算预算的约束。
2020-07-10 cs.AI cs.LG cs.NE
Lamarckian Platform: Pushing the Boundaries of Evolutionary Reinforcement Learning towards Asynchronous Commercial Games
Southern University of Science and Technology（南方科技大学）；NetEase Games AI Lab（网易游戏人工智能实验室）
尽管将演化计算集成到强化学习中取得了新的进展，但缺乏一个高性能的平台来赋予可组合性和大规模并行性，这给异步商业游戏的研究和应用带来了不小的困难。在这里，我们介绍Lamarkian-一个开源平台，支持可扩展到分布式计算资源的进化强化学习。为了提高训练速度和数据效率，Lamarckian采用了优化的通信方法和异步进化强化学习工作流程。为了满足商业游戏和各种方法对异步接口的需求，拉马克为异步马尔可夫决策过程定制了一个接口，并设计了一个模块解耦的面向对象的软件体系结构。与最先进的RLlib相比，我们在多达6000个CPU内核的基准测试中实证证明了Lamarckian的独特优势：i）在Google足球游戏上运行PPO时，采样效率和训练速度都提高了一倍; ii）在Pong游戏上运行PBT+PPO时，训练速度提高了13倍。此外，我们还提出了两个用例：i）拉马克如何应用于生成行为多样化的游戏AI; ii）拉马克如何应用于异步商业游戏的游戏平衡测试。
2022-09-21 cs.AI cs.LG cs.NE
Behavior-based Neuroevolutionary Training in Reinforcement Learning
TH Köln（科隆应用技术大学）；Vrije Universitat Amsterdam（阿姆斯特丹自由大学）
除了在解决经典优化问题方面无可争议的成功之外，神经进化和基于种群的算法已经成为标准强化学习方法的替代方案。然而，进化方法通常缺乏标准的基于值的方法的样本效率，标准的基于值的方法利用收集的状态和值经验。如果考虑对具有显著资源成本的现实问题进行强化学习，则样本效率至关重要。因此，增强进化算法的经验利用方法是期望的，并承诺有价值的见解。本文提出了一种结合拓扑变化神经进化优化和基于值的强化学习的混合算法。我们说明了如何可以使用的政策的行为来创建距离和损失函数，这得益于存储的经验和计算的状态值。它们允许我们通过无梯度进化算法和基于代理的优化来对行为进行建模并在行为空间中进行定向搜索。为此，我们整合了不同的方法来生成和优化代理策略，创建了一个多样化的群体。我们在标准基准测试和一个专门构建的现实问题上测试了我们的算法的性能。我们的研究结果表明，结合方法可以提高进化方法的样本效率和学习速度。
2021-05-17 cs.AI cs.NE
Qualitative Differences Between Evolutionary Strategies and Reinforcement Learning Methods for Control of Autonomous Agents
Institute of Cognitive Science and Technologies, National Research Council（国家研究委员会认知科学与技术研究所）
在本文中，我们分析了进化策略和强化学习算法之间的质的差异，重点是两个流行的最先进的算法：OpenAI-ES进化策略和最近端策略优化（PPO）强化学习算法-这两个家庭的最相似的方法。我们分析了这些方法在以下方面的不同：（i）一般功效，（ii）应对稀疏奖励的能力，（iii）发现最小解决方案的倾向/能力，（iv）对奖励塑造的依赖，以及（v）应对环境条件变化的能力。分析的性能和表现出的行为策略的代理培训与基准问题的两种方法，使我们能够证明在以前的研究中没有发现的定性差异，以确定这两种方法的相对弱点，并提出改善这些弱点的方法。我们表明，奖励函数的特性具有很强的影响，不仅对于OpenAI-ES和PPO，而且对于其他强化学习算法，这些特性都有很大的不同，从而证明了优化奖励函数特性对所使用算法的重要性。
2022-05-16 cs.AI cs.LG cs.NE
Comparing Deep Reinforcement Learning and Evolutionary Methods in Continuous Control
University of Alberta（阿尔伯塔大学）
强化学习和进化策略是解决复杂控制问题的两种主要方法。两者都是强有力的竞争者，都有自己的奉献者社区。近年来，这两个小组都非常积极地在各自的领域中开发新的进展，并设计出尖端技术来解决复杂的连续控制任务。在这里，在深度强化学习的背景下，我们制定了并行版本的近端策略优化方法和深度确定性策略梯度方法。此外，我们对两个阵营中最先进的技术进行了彻底的比较，包括连续控制;进化方法和深度强化学习方法。结果表明，没有持续的赢家。
2018-03-07 cs.AI cs.LG
Bridging Evolutionary Algorithms and Reinforcement Learning: A Comprehensive Survey on Hybrid Algorithms
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院）；Montreal Institute of Learning Algorithms (MILA)（蒙特利尔学习算法研究所）；Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系）
本文全面综述了进化强化学习（ERL）领域，将进化算法（EA）与强化学习（RL）融合，系统总结了三种主要研究方向：EA辅助RL优化、RL辅助EA优化以及EA与RL协同优化，并分析了各分支解决的问题及未来挑战。
2026-05-24 cs.AI cs.LG cs.NE
DARLEI: Deep Accelerated Reinforcement Learning with Evolutionary Intelligence
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）
本文提出 DARLEI 框架，结合并行 PPO、锦标赛选择进化机制与 Isaac Gym GPU 加速，在单工作站上高效训练并进化 UNIMAL 种群，实现逾 20 倍加速。
2023-12-08 cs.AI cs.NE
RLEMMO: Evolutionary Multimodal Optimization Assisted By Deep Reinforcement Learning
South China University of Technology（华南理工大学）；Xidian University（西安电子科技大学）
针对现有多模态优化人工自适应策略灵活性不足的问题，提出融合强化学习与注意力机制的元黑箱优化框架RLEMMO，可灵活调整个体搜索策略，在CEC2013基准上性能优于多个强基线。
2024-04-12 cs.AI cs.NE
Auto-configuring Exploration-Exploitation Tradeoff in Evolutionary Computation via Deep Reinforcement Learning
South China University of Technology（华南理工大学）；National University of Singapore（新加坡国立大学）
针对进化计算中探索-利用权衡依赖人工规则的问题，提出基于深度强化学习的自动配置框架，可自适应调整权衡策略，在CEC2021基准上显著提升多种进化算法性能且泛化性良好。
2024-04-12 cs.AI cs.NE
Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning
Intel Labs（英特尔实验室）；Intel Israel（英特尔以色列）；Technion（以色列理工学院）
对于深度神经网络加速器来说，内存移动既消耗能量又会限制计算。因此，张量到存储层次结构的最佳映射对性能至关重要。随着神经网络复杂性的增加，需要自动化的内存映射来代替人工的启发式方法;然而，神经网络计算图的搜索空间以前非常大。我们介绍了进化图强化学习（EGRL），一种为大搜索空间设计的方法，它结合了图神经网络，强化学习和进化搜索。一组快速的、无状态的策略引导进化搜索以提高其样本效率。我们直接在英特尔NNP-I芯片上对我们的方法进行训练和验证，以进行推理。EGRL在BERT、ResNet-101和ResNet-50上的性能优于策略梯度、进化搜索和动态规划基线。我们还实现了28-78\%的速度相比，本机NNP-I编译器在所有三个工作负载。
2020-10-15 cs.AI cs.LG
REACT: Revealing Evolutionary Action Consequence Trajectories for Interpretable Reinforcement Learning
LMU Munich（慕尼黑大学）
本文提出 REACT，通过进化算法优化初始状态扰动并结合兼顾局部与全局多样性的联合适应度函数，生成边缘情形动作后果轨迹，以揭示 RL 策略最优表现之外的行为并增强可解释性。
2024-04-04 cs.AI cs.LG cs.NE
CosmoCore-Evo: Evolutionary Dream-Replay Reinforcement Learning for Adaptive Code Generation
Microsoft Corporation（微软公司）
CosmoCore-Evo通过进化算法提升代码生成的适应性和新颖性，实现更高性能和更快适应。
2025-12-20 cs.AI cs.NE cs.SE
BiERL: A Meta Evolutionary Reinforcement Learning Framework via Bilevel Optimization
Nanjing University（南京大学）；Tianjin University（天津大学）
本文提出基于双层优化的元进化强化学习框架BiERL，通过在单智能体内并行更新超参数与训练模型，并设计嵌入演化经验的种群表示及适应度评估，有效缓解了探索不足与模型崩溃问题，显著提升了多种ERL算法的学习性能。
2023-08-01 cs.AI cs.LG cs.NE
Learning to Orchestrate Evolutionary Search: Progression-Aware Deep Reinforcement Learning for Dynamic DE-CMA-ES Coordination in Optimization and Structural Model Updating
State Key Laboratory of Internet of Things for Smart City, University of Macau（澳门大学物联网智慧城市建设国家重点实验室）；College of Water Conservancy and Hydropower Engineering, Hohai University（河海大学水利水电学院）；School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院）
该研究提出DRL-DCO算法，通过DDPG智能体动态协调DE与CMA-ES的搜索过程，在高维优化及结构模型更新任务上取得了优于现有算法的收敛精度与鲁棒性。
2026-11-02 cs.AI cs.NE
Reinforcement Learning-assisted Evolutionary Algorithm: A Survey and Research Opportunities
National Defense University（国防大学）；University of Kent（肯特大学）；Beijing Jiaotong University（北京交通大学）；Nanyang Technological University（南洋理工大学）；Qatar University（卡塔尔大学）；Beihang University（北京航空航天大学）；National University of Singapore（新加坡国立大学）；University of Alberta（阿尔伯塔大学）；Polish Academy of Sciences（波兰科学院）；Indian Statistical Institute（印度统计学院）；Kyungpook National University（庆北国立大学）
该综述聚焦强化学习辅助进化算法（RL-EA），梳理其概念、分类、集成与辅助策略、属性设置及应用表现，并指明未来研究方向。
2024-01-28 cs.AI cs.LG cs.NE
Contextual Quality-Diversity Evolutionary Reinforcement Learning for HVAC Control in Tropical Commercial Buildings
本文提出 CQD-ERL 控制器，用于热带商业建筑 HVAC 监督控制，在新加坡建筑降阶环境训练后，经年度回测与 ASHRAE Guideline 36 基线对比，实现更优控制性能。
2026-08-13 cs.AI cs.LG cs.NE
Evolutionary Discovery of Reinforcement Learning Algorithms via Large Language Models
Machine Perception and Interaction Lab, Örebro University（厄勒布鲁大学机器感知与交互实验室）
本文提出一种基于进化算法发现强化学习算法的方法，通过搜索可执行的更新规则来发现新的算法，并通过超参数优化提升性能，实验表明其在多个基准上表现优异。
2026-03-30 cs.AI cs.LG
Evolutionary Enhanced Multi-Agent Reinforcement Learning for Cooperative Air Combat
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对多机协同空战中现有MARL方法探索效率低、样本利用率低和策略泛化差的问题，提出ACE-MAPPO混合学习框架，融合进化算法与MAPPO，通过遗传软更新、进化优先轨迹回放和对抗进化课程学习机制提升性能。
2026-05-24 cs.AI
Evolutionary Reinforcement Learning: A Survey
Southern University of Science and Technology（南方科技大学）；Bielefeld University（比勒费尔德大学）；University of Surrey（萨里大学）
本文综述进化计算与强化学习融合的进化强化学习（EvoRL），按超参数优化、策略搜索、探索等方向分类，并展望高效方法、基准与平台等未来方向。
2023-08-30 cs.AI cs.LG cs.NE
Robust Dynamic Material Handling via Adaptive Constrained Evolutionary Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）；Southern University of Science and Technology（南方科技大学）；Lingnan University（岭大大学）；Hong Kong Polytechnic University（香港理工大学）
本文提出自适应约束进化强化学习（ACERL）方法，通过种群探索、稀疏奖励处理和自适应实例选择，解决动态物料处理中的约束满足与鲁棒性问题，实验证明其性能优于现有算法。
2025-06-20 cs.AI cs.NE
LERO: LLM-driven Evolutionary framework with Hybrid Rewards and Enhanced Observation for Multi-Agent Reinforcement Learning
Qiyuan Lab（启元实验室）
LERO框架结合LLM与进化优化，通过混合奖励和增强观测解决多智能体强化学习中的信用分配与部分可观测性问题，在MPE中提升任务性能和训练效率。
2025-03-25 cs.AI cs.LG cs.MA
A Federated Data-Driven Evolutionary Algorithm for Expensive Multi/Many-objective Optimization
East China University of Science and Technology（华东理工大学）；University of Surrey（萨里大学）
数据驱动优化在现实世界中有许多成功的应用，并在进化优化领域受到越来越多的关注。大多数现有的算法假设用于优化的数据总是在中央服务器上可用于构建代理。然而，当数据必须以分布式方式收集并且受到隐私限制时，这种假设可能无法成立。提出一种联邦数据驱动的多目标进化优化算法。为此，我们利用联邦学习进行代理构建，以便多个客户端协同训练径向基函数网络作为全局代理。然后提出了一种新的联邦获取函数，用于中央服务器使用全局代理来近似目标值，并基于局部模型来估计近似目标值的不确定性水平。该算法的性能进行了验证一系列的多/多目标基准问题，通过比较它与两个国家的最先进的代理辅助多目标进化算法。
2021-06-22 cs.AI cs.NE
Online Optimization of Curriculum Learning Schedules using Evolutionary Optimization
Leibniz University Hannover（汉诺威莱布尼茨大学）
本研究提出RHEA CL方法，结合课程学习与滚动时域进化算法在线优化课程调度，在Minigrid的两类环境中验证了其能提升最终强化学习智能体性能，且训练早期提升效果显著。
2024-08-12 cs.AI cs.NE
Evolutionary Population Curriculum for Scaling Multi-Agent Reinforcement Learning
CMU（卡内基梅隆大学）；SJTU（上海交通大学）；Facebook AI Research（脸书人工智能研究院）；OpenAI（开放人工智能公司）；UC Berkeley（加州大学伯克利分校）；UCSD（加州大学圣地亚哥分校）
在多智能体游戏中，环境的复杂性会随着智能体数量的增加而呈指数级增长，因此当智能体数量很大时，学习好的策略特别具有挑战性。在本文中，我们介绍了进化人口课程（EPC），一个课程学习范式，逐步增加人口的训练代理在一个阶段明智的方式扩大了多智能体强化学习（MARL）。此外，EPC使用进化的方法来解决整个课程中的目标不一致问题：在早期阶段成功训练的小规模人口的代理不一定是适应后期规模人口的最佳候选人。具体而言，EPC在每个阶段维护多组代理，对这些代理执行混合匹配和微调，并将具有最佳适应性的代理提升到下一阶段。我们实现EPC上流行的MARL算法，MADDPG，经验表明，我们的方法始终优于基线的代理数量呈指数级增长的大幅度。
2020-03-23 cs.AI cs.LG cs.NE
Illuminating the Three Dogmas of Reinforcement Learning under Evolutionary Light
Department of Computer Science, University of Tübingen（图宾根大学计算机科学系）；Department of Anthropology, University of California, Berkeley（加州大学伯克利分校人类学系）
本文从人工生命视角批判强化学习的三个核心假设，提出将学习视为适应而非优化，并利用开放新颖性搜索和热力学理论构建更生物真实的智能体模型。
2026-08-26 cs.AI
Game Theory and Multi-Agent Reinforcement Learning : From Nash Equilibria to Evolutionary Dynamics
AIFI（AIFI机构）；AllRead（AllRead机构）
本文系统分析MARL面临的非平稳性、部分可观测性、可扩展性与去中心化学习四大挑战，阐述将纳什均衡、演化博弈论、相关均衡及对抗动力学融入MARL算法的方法，以提升多智能体系统在复杂动态环境中的鲁棒性和有效性。
2024-12-29 cs.AI cs.GT cs.MA
GeM-EA: A Generative and Meta-learning Enhanced Evolutionary Algorithm for Streaming Data-Driven Optimization
South China University of Technology（华南理工大学）
本文提出GeM-EA，结合元学习和生成重放，提升流数据驱动优化的适应速度和鲁棒性。
2026-04-14 cs.AI cs.NE
Multi-Agent Quantum Reinforcement Learning using Evolutionary Optimization
Institute of Informatics, LMU Munich（慕尼黑大学信息学研究所）；University of Southern California（南加州大学）
本文针对多智能体量子强化学习中贫瘠高原问题，提出三种基于变分量子电路的遗传变体，在Coin Game环境中以少97.88%参数取得与更大神经网络相似的结果。
2025-01-02 cs.AI cs.MA quant-ph
CCL: Collaborative Curriculum Learning for Sparse-Reward Multi-Agent Reinforcement Learning via Co-evolutionary Task Evolution
Homesite Group Inc.（Homesite集团）；Chewy Inc.（Chewy公司）；University of Science and Technology Beijing（北京科技大学）；Yunnan University of Finance and Economics（云南财经大学）；Yunnan University（云南大学）；The Australian National University（澳大利亚国立大学）
针对多智能体稀疏奖励导致的学习欠佳问题，提出CCL课程学习框架，通过任务细化、变分进化子任务生成及智能体—环境协同进化提升性能，并在五个协作任务中验证其优势。
2025-05-08 cs.AI cs.MA
Cooperation and Competition: Flocking with Evolutionary Multi-Agent Reinforcement Learning
在多智能体系统中，群集是一个非常具有挑战性的问题;传统的群集方法还需要对环境的完整了解和精确的控制模型。在本文中，我们提出了进化多智能体强化学习（EMARL）的群集任务，一个混合算法，结合合作和竞争，很少的先验知识。在合作方面，根据boids模型设计了集群任务的奖励。为了竞争，将适应度高的Agent设计为高级Agent，适应度低的Agent设计为低级Agent，让低级Agent随机继承高级Agent的参数。为了加强竞争，我们还设计了一个进化选择机制，显示在集群任务的信用分配有效。在一系列具有挑战性和自我对比的基准测试中的实验结果表明，EMARL显著优于完全竞争或合作方法。
2022-09-13 cs.AI cs.MA cs.RO
Constrained Multi-objective Optimization with Deep Reinforcement Learning Assisted Operator Selection
School of Computer Science, China University of Geosciences（中国地质大学计算机学院）；Tsinghua University（清华大学）；Bielefeld University（比勒费尔德大学）
本文提出深度强化学习辅助的在线算子选择框架，将种群收敛性、多样性和可行性作为状态，以Q网络自适应选择最优算子，并嵌入四种CMOEA在42个基准问题上验证了其显著性能提升和更强通用性。
2024-01-15 cs.AI cs.NE
Evolutionary Reinforcement Learning for Sample-Efficient Multiagent Coordination
Intel Labs（英特尔实验室）；University of California, Irvine（加州大学欧文分校）；Oregon State University（俄勒冈州立大学）
许多协作多智能体强化学习环境为智能体提供稀疏的基于团队的奖励，以及激励学习基本技能的密集的特定于智能体的奖励。由于其稀疏性，仅基于团队奖励的训练策略通常是困难的。此外，仅仅依赖于代理特定的奖励是次优的，因为它通常不能捕获团队协调目标。一种常见的方法是使用奖励塑造通过组合各个奖励来构造代理奖励。但是，这需要针对每个环境进行手动调优。我们引入了多智能体进化强化学习（MERL），这是一个分层训练平台，通过两个优化过程分别处理这两个目标。进化算法通过对团队群体的神经进化来最大化稀疏的基于团队的目标。同时，一个基于梯度的优化器训练策略，只最大化密集的特定于代理的奖励。基于梯度的策略被周期性地添加到进化种群中，作为两个优化过程之间的信息传递的一种方式。这使得进化算法能够使用通过代理特定奖励学习的技能来优化全局目标。结果表明，MERL显着优于国家的最先进的方法，如MADDPG，在一些困难的协调基准。
2020-06-11 cs.AI cs.LG cs.MA
Reinforcement Learning-Guided Evolutionary Policy Optimization for Preference-Adjustable Heterogeneous Agile Earth Observation Satellite Scheduling
College of Intelligent Science and Engineering, Harbin Engineering University（哈尔滨工程大学智能科学与工程学院）；School of Information Science and Technology, Dalian Maritime University（大连海事大学信息科学与技术学院）；Silesian University of Technology（西里西亚工业大学）；University of Alberta（阿尔伯塔大学）；Constructor University（康斯特鲁克托大学）；Istinye University（伊斯蒂涅大学）
针对异构敏捷地球观测卫星调度难题，本文提出强化学习辅助的算子选择模因进化算法，在有限预算下实现更高加权效用与稳定收敛，验证了方法鲁棒性与算子选择的有效性。
2026-11-03 cs.AI
Evolutionarily-Curated Curriculum Learning for Deep Reinforcement Learning Agents
Imbellus（Imbellus（伊姆贝卢斯公司））
在本文中，我们提出了一个新的训练循环的深度强化学习代理与进化生成器。进化过程内容生成已经在之前的游戏地图和关卡的创建中使用。我们的系统集成了一个进化地图生成器来构建一个训练课程，该课程经过进化，可以在最先进的双重决斗深度Q网络架构中最大限度地减少损失，并具有优先级重放。我们提出了一个案例研究中，我们证明了我们的新方法的有效性与一个离散的，大的动作空间，我们称为攻击者和防守者的游戏。我们的研究结果表明，与在地图的无向采样上训练的网络相比，在地图的进化策划课程（定向采样）上训练既加快了训练，又提高了泛化能力。
2019-01-16 cs.AI
Enhancing Visual Grounding for GUI Agents via Self-Evolutionary Reinforcement Learning
VCIP, School of Computer Science, NKU（VCIP，计算机科学学院，NKU）
提出基于强化学习的自进化框架，仅用3k样本和7B参数，在三个GUI定位基准上取得最优结果，ScreenSpot-Pro准确率47.3%，超越UI-TARS-72B达24.2%。
2025-05-24 cs.AI
Variational Quantum Reinforcement Learning via Evolutionary Optimization
Brookhaven National Laboratory（布鲁克海文国家实验室）；National Taiwan University（台湾大学）；National Center for Theoretical Science（国家理论科学中心）
经典强化学习（RL）和量子计算（QC）的最新进展指出了在量子计算机上执行RL的一个有前途的方向。然而，量子RL的潜在应用受到现代量子设备中可用量子比特数量的限制。在这里，我们提出了两个框架的深度量子RL任务使用无梯度进化优化：首先，我们应用幅度编码方案的Cart-Pole问题;其次，我们提出了一个混合框架，其中量子RL代理配备了混合张量网络变分量子线路（TN-VQC）架构，以处理输入的尺寸超过量子位数。这使我们能够在具有147维输入的MiniGrid环境中执行量子RL。我们证明了使用幅度编码节省参数的量子优势。混合TN-VQC架构提供了一种自然的方式来执行输入维度的有效压缩，从而能够在有噪声的中等规模量子设备上实现进一步的量子RL应用。
2021-09-01 cs.AI cs.ET cs.LG
Reinforcement Learning for Control of Evolutionary and Ecological Processes
Mathematical Medicine Group, Stanford University（斯坦福大学数学医学组）；Department of Neurosurgery, Stanford Medical School（斯坦福医学院神经外科部门）；Physician-Scientist Training Program, Stanford Medical School（斯坦福医学院医师-科学家培训计划）；Maternal & Child Health Research Institute, Stanford University School of Medicine（斯坦福大学医学院母婴健康研究所）；Stanford Cancer Institute, Stanford University School of Medicine（斯坦福大学医学院癌症研究所）
针对现有方法难以处理含生态、生理因素的进化控制问题，研究提出将二者建模为计算的进化博弈公式，结合强化学习取得细胞种群进化控制的首创成果，证明复杂度界并建立AI与生物学新联系。
2025-05-17 cs.AI cs.SY eess.SY
Evolutionary Stability Does Not Guarantee Learning Accessibility: A Multi-Agent Reinforcement Learning Perspective on Cooperation Emergence
Liupanshui Normal University（六盘水师范学院）
本研究通过三智能体治理博弈证明，进化稳定性不保证多智能体强化学习中的合作可达性，并提出了比较群体稳定性与有限样本学习可达性的框架。
2026-09-24 cs.AI
Robust Evolutionary Multi-Objective Network Architecture Search for Reinforcement Learning (EMNAS-RL)
Volkswagen Group Innovation（大众集团创新部）；Volkswagen AG（大众汽车股份有限公司）；Institute of Mathematics（数学研究所）；TU Berlin（柏林技术大学）
本文提出面向自动驾驶强化学习的EMNAS，结合遗传算法、并行化与师生迁移机制，在不降低性能的前提下以更少参数获得更高奖励。
2025-06-10 cs.AI cs.LG math.OC
MAPPER: Multi-Agent Path Planning with Evolutionary Reinforcement Learning in Mixed Dynamic Environments
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）
动态环境下的多智能体导航在大规模机器人部署到实际应用中具有重要的工业价值。提出了一种基于进化强化学习（MAPPER）的分散式部分可观测多智能体路径规划方法，用于在混合动态环境中学习有效的局部规划策略.基于强化学习的方法通常会在具有目标条件的稀疏奖励的长时间任务上性能下降，因此我们在全局规划器的指导下将长距离导航任务分解为许多更容易的子任务，这提高了智能体在大环境中的性能。此外，大多数现有的多智能体规划方法假设周围环境的完美信息或附近的动态代理的同质性，这在实践中可能不成立。我们的方法模型动态障碍物的行为与基于图像的表示和训练的政策在混合动态环境中没有同质性假设。为了确保多智能体训练的稳定性和性能，我们提出了一种进化的训练方法，可以很容易地扩展到大型和复杂的环境。实验表明，与传统的基于反应的规划器LRA* 和最先进的基于学习的方法相比，MAPPER在面对大量非合作动态障碍物时能够获得更高的成功率和更稳定的性能。
2020-07-30 cs.AI cs.LG cs.MA
Evolutionary Reinforcement Learning based AI tutor for Socratic Interdisciplinary Instruction
East China Normal University（华东师范大学）；Shenzhen University（深圳大学）；Southern University of Science and Technology（南方科技大学）
本文提出ERL4SIIP框架，通过动态学生模拟器、分层奖励机制和LoRA-Division优化策略，解决苏格拉底跨学科教学中的认知建模、奖励稀疏性和策略多样性问题。
2025-12-12 cs.AI cs.CY
Evo-MARL: Co-Evolutionary Multi-Agent Reinforcement Learning for Internalized Safety
Northwestern University（西北大学）；University of Illinois at Chicago（伊利诺伊大学香槟分校）
Evo-MARL提出一种协同进化多智能体强化学习框架，通过内化安全机制使所有智能体共同防御对抗威胁，无需外部防护模块，在推理任务中降低攻击成功率22%并提升准确率5%。
2025-09-06 cs.AI
Reinforcement Learning with Evolutionary Trajectory Generator: A General Approach for Quadrupedal Locomotion
Chinese University of Hong Kong（香港中文大学）；Baidu Inc.（百度公司）；Southern University of Science and Technology（南方科技大学）；Shenzhen Research Institute of the Chinese University of Hong Kong（香港中文大学深圳研究院）
近年来，强化学习（RL）作为一种新的四足机器人运动控制方法，可以节省传统方法中的人工劳动，如设计特定技能的控制器。然而，由于四足机器人中复杂的非线性动力学和奖励稀疏性，RL仍然很难从头开始学习有效的步态，特别是在具有挑战性的任务中，例如在平衡木上行走。为了减轻这种困难，我们提出了一种新的基于RL的方法，其中包含一个进化的脚轨迹发生器。与使用固定轨迹生成器的现有方法不同，该生成器不断优化给定任务的输出轨迹的形状，提供多样化的运动先验来指导策略学习。该策略采用强化学习进行训练，输出适合不同步态的残差控制信号。然后交替优化轨迹生成器和策略网络，以稳定训练并共享探索性数据，以提高样本效率。因此，我们的方法可以通过从头开始学习来解决模拟中的一系列具有挑战性的任务，包括在平衡木上行走和在洞穴中爬行。为了进一步验证我们的方法的有效性，我们部署在12自由度的四足机器人的模拟学习的控制器，它可以成功地穿越具有挑战性的场景与有效的步态。
2021-09-16 cs.AI cs.RO
Collaborative Evolutionary Reinforcement Learning
Intel AI Lab（英特尔人工智能实验室）；Collaborative Robotics and Intelligent Systems Institute, Oregon State University（俄勒冈州立大学协作机器人与智能系统研究所）
深度强化学习算法已成功应用于一系列具有挑战性的控制任务。然而，这些方法通常难以实现有效的探索，并且对超参数的选择非常敏感。原因之一是大多数方法使用其操作策略的嘈杂版本来探索-从而限制了探索的范围。在本文中，我们介绍了协同进化强化学习（CERL），一个可扩展的框架，包括一个投资组合的政策，同时探索和利用不同地区的解决方案空间。一系列学习器-通常是经过验证的算法，如TD 3-在不同的时间范围内优化，从而形成了这个多样化的投资组合。所有学习器都贡献并使用共享的重放缓冲区来实现更高的样本效率。计算资源是动态分布的，以支持最好的学习者作为在线算法选择的一种形式。神经进化将这整个过程结合起来，产生一个超越任何个体学习者能力的单一涌现学习者。在一系列连续控制基准测试中的实验表明，新兴学习者的表现显着优于其复合学习者，同时保持整体样本效率更高-特别是解决了Mujoco Humanoid基准测试，其中所有复合学习者（TD 3）完全孤立失败。
2019-05-06 cs.AI cs.LG stat.ML
LLM-Driven Evolutionary Generation of Multi-Objective Bayesian Optimization Algorithms
LIACS, Leiden University, Leiden, Netherlands（LIACS，莱顿大学，莱顿，荷兰）
研究如何设计多目标贝叶斯优化算法，核心方法是将LLaMEA框架扩展到MOBO，利用大语言模型生成算法并集成超参数优化。主要贡献是生成的算法在合成和实际工程问题上表现优异，能以低成本实现帕累托有效权衡。
2026-07-13 cs.AI cs.NE
A Secure Federated Data-Driven Evolutionary Multi-objective Optimization Algorithm
Westlake University（西湖大学）；Bielefeld University（比勒费尔德大学）；Eötvös Loránd University（厄特沃什·罗兰大学）；E-Group ICT Software Zrt（E集团信息通信技术软件公司）
针对集中式数据驱动进化算法的隐私安全问题，提出一种安全的联邦数据驱动多目标优化算法，通过随机客户端查询和Diffie-Hellman噪声掩蔽保护原始数据与新解，在基准上以极小性能代价实现隐私保护。
2023-09-03 cs.AI cs.CR cs.NE
Evolutionary Multi-Objective Optimization Driven by Generative Adversarial Networks
近年来，越来越多的研究者提出用机器学习模型来驱动进化算法，通常，这种基于模型的进化算法的性能很大程度上依赖于所采用的模型的训练质量，因为它通常需要一定的数据量（即由算法生成的候选解）进行模型训练时，性能随着问题规模的增加而迅速恶化，为了解决这一问题，提出了一种基于生成对抗网络（GANs）的多目标进化算法，在每一代算法中，首先将父解分为\emph{real}和\emph{fake}样本来训练GANs;然后由经过训练的GANs对后代解进行采样。由于GANs强大的生成能力，我们提出的算法能够在高-在有限训练数据的多维决策空间中，对10个决策变量多达200个的基准问题进行了测试，实验结果表明了该算法的有效性所提出的算法。
2020-04-07 cs.AI cs.LG cs.NE
Mimicking Evolution with Reinforcement Learning
Instituto Superior de Engenharia de Lisboa（里斯本高等工程学院）；Delft University of Technology（代尔夫特理工大学）
进化在地球上产生了人类和动物的智慧。我们认为，发展人工类人智能的道路将通过在类似自然的模拟中模仿进化过程。在自然界中，有两个过程驱动着大脑的发展：进化和学习。进化是缓慢的，跨越几代人，除其他外，它通过改变其内部奖励功能来定义代理人学习的内容。学习在一个人的一生中迅速发挥作用，它迅速更新代理人的政策，以最大限度地提高快乐，最小化痛苦。通过进化，奖励函数慢慢地与适应度函数一致，然而，随着代理的进化，环境及其适应度函数也发生变化，增加了奖励和适应度之间的不一致。在模拟中复制这两个过程在计算上是极其昂贵的。这项工作提出了通过进化奖励（EvER）的进化，通过确保奖励函数与适应度函数的一致性，允许学习独自驱动搜索具有越来越多的进化适应度的策略。在这个搜索中，EvER利用了代理在其生命周期中经历的整个状态-动作轨迹。相比之下，目前的进化算法丢弃这些信息，从而限制了它们在处理顺序决策问题时的潜在效率。我们在两个简单的生物启发的环境中测试我们的算法，并显示其优越性，在生成更有能力的代理人在生存和繁殖他们的基因相比，一个国家的最先进的进化算法。
2020-05-06 cs.AI
Evolutionary System Prompt Learning for Reinforcement Learning in LLMs
Department of Computer Science, University of Toronto（多伦多大学计算机科学系）；Department of Statistics（统计学系）；Data Science, Northwestern University（数据科学，西北大学）；Bridgewater AIA Labs（布里奇沃特AIA实验室）
E-SPL通过结合强化学习和系统提示进化，提升大语言模型在推理和智能任务中的性能。
2026-11-10 cs.AI cs.LG
