LERO: LLM-driven Evolutionary framework with Hybrid Rewards and Enhanced Observation for Multi-Agent Reinforcement Learning
Qiyuan Lab（启元实验室）
LERO框架结合LLM与进化优化，通过混合奖励和增强观测解决多智能体强化学习中的信用分配与部分可观测性问题，在MPE中提升任务性能和训练效率。
2025-03-25 cs.AI cs.LG cs.MA
Evolutionary Strategy Guided Reinforcement Learning via MultiBuffer Communication
University of Galway（戈尔韦大学）
本文提出一种结合进化策略与TD3的进化强化学习模型，通过多缓冲区通信机制避免低质量轨迹污染回放缓冲区，在MuJoCo任务上超越CEM-RL。
2023-06-20 cs.AI cs.NE
Pearl: Parallel Evolutionary and Reinforcement Learning Library
Imperial College London（帝国理工学院）
强化学习越来越多地在问题可以表示为马尔可夫决策过程的领域中取得成功。事实证明，演化计算算法在该领域也取得了成功，表现出与通常更复杂的强化学习相似的性能。虽然存在许多开源的强化学习和演化计算库，但没有公开可用的库将这两种方法结合起来以增强比较，合作或可视化。为此，我们创建了Pearl（https：//github.com/LondonNode/Pearl），这是一个开源Python库，旨在让研究人员快速方便地执行优化的强化学习、演化计算以及两者的组合。Pearl中的主要功能包括：模块化和可扩展组件、定制模块设置、Tensorboard集成、自定义回调和全面的可视化。
2022-01-24 cs.LG cs.NE
EVO-RL: Evolutionary-Driven Reinforcement Learning
RWTH Aachen University（亚琛工业大学）；University Hospital RWTH Aachen（亚琛工业大学附属医院）；Trier University of Applied Sciences（特里尔应用科学大学）；University of Trento（特伦托大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
在这项工作中，我们提出了一种新的演化计算驱动的强化学习方法。我们的算法被称为进化驱动的强化学习（evo-RL），它将强化学习算法嵌入到进化周期中，在进化周期中，我们可以清楚地区分纯粹的可进化（本能）行为与纯粹的可学习行为。此外，我们认为这种区别是由进化过程决定的，从而使evo-RL能够适应不同的环境。此外，evo-RL有助于在无奖励状态的环境中学习，这使得它更适合于不完整信息的现实世界问题。为了表明evo-RL导致最先进的性能，我们提出了不同的最先进的强化学习算法在evo-RL中运行时的性能，并将其与独立执行这些相同算法的情况进行比较。结果表明，嵌入在我们的evo-RL方法中的强化学习算法在OpenAI Gym控制问题上的性能明显优于相同RL算法的独立版本，其中无奖励状态受到相同计算预算的约束。
2020-07-10 cs.AI cs.LG cs.NE
Bridging Evolutionary Algorithms and Reinforcement Learning: A Comprehensive Survey on Hybrid Algorithms
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院）；Montreal Institute of Learning Algorithms (MILA)（蒙特利尔学习算法研究所）；Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系）
本文全面综述了进化强化学习（ERL）领域，将进化算法（EA）与强化学习（RL）融合，系统总结了三种主要研究方向：EA辅助RL优化、RL辅助EA优化以及EA与RL协同优化，并分析了各分支解决的问题及未来挑战。
2026-05-24 cs.AI cs.LG cs.NE
Lamarckian Platform: Pushing the Boundaries of Evolutionary Reinforcement Learning towards Asynchronous Commercial Games
Southern University of Science and Technology（南方科技大学）；NetEase Games AI Lab（网易游戏人工智能实验室）
尽管将演化计算集成到强化学习中取得了新的进展，但缺乏一个高性能的平台来赋予可组合性和大规模并行性，这给异步商业游戏的研究和应用带来了不小的困难。在这里，我们介绍Lamarkian-一个开源平台，支持可扩展到分布式计算资源的进化强化学习。为了提高训练速度和数据效率，Lamarckian采用了优化的通信方法和异步进化强化学习工作流程。为了满足商业游戏和各种方法对异步接口的需求，拉马克为异步马尔可夫决策过程定制了一个接口，并设计了一个模块解耦的面向对象的软件体系结构。与最先进的RLlib相比，我们在多达6000个CPU内核的基准测试中实证证明了Lamarckian的独特优势：i）在Google足球游戏上运行PPO时，采样效率和训练速度都提高了一倍; ii）在Pong游戏上运行PBT+PPO时，训练速度提高了13倍。此外，我们还提出了两个用例：i）拉马克如何应用于生成行为多样化的游戏AI; ii）拉马克如何应用于异步商业游戏的游戏平衡测试。
2022-09-21 cs.AI cs.LG cs.NE
Qualitative Differences Between Evolutionary Strategies and Reinforcement Learning Methods for Control of Autonomous Agents
Institute of Cognitive Science and Technologies, National Research Council（国家研究委员会认知科学与技术研究所）
在本文中，我们分析了进化策略和强化学习算法之间的质的差异，重点是两个流行的最先进的算法：OpenAI-ES进化策略和最近端策略优化（PPO）强化学习算法-这两个家庭的最相似的方法。我们分析了这些方法在以下方面的不同：（i）一般功效，（ii）应对稀疏奖励的能力，（iii）发现最小解决方案的倾向/能力，（iv）对奖励塑造的依赖，以及（v）应对环境条件变化的能力。分析的性能和表现出的行为策略的代理培训与基准问题的两种方法，使我们能够证明在以前的研究中没有发现的定性差异，以确定这两种方法的相对弱点，并提出改善这些弱点的方法。我们表明，奖励函数的特性具有很强的影响，不仅对于OpenAI-ES和PPO，而且对于其他强化学习算法，这些特性都有很大的不同，从而证明了优化奖励函数特性对所使用算法的重要性。
2022-05-16 cs.AI cs.LG cs.NE
REACT: Revealing Evolutionary Action Consequence Trajectories for Interpretable Reinforcement Learning
LMU Munich（慕尼黑大学）
本文提出 REACT，通过进化算法优化初始状态扰动并结合兼顾局部与全局多样性的联合适应度函数，生成边缘情形动作后果轨迹，以揭示 RL 策略最优表现之外的行为并增强可解释性。
2024-04-04 cs.AI cs.LG cs.NE
Mathematical Models and Reinforcement Learning based Evolutionary Algorithm Framework for Satellite Scheduling Problem
National University of Defense Technology（国防科技大学）
对于复杂的组合优化问题，模型和算法是解决方案的核心。许多类型的卫星任务规划问题的复杂性是NP难的，并对解决方案提出了很高的要求。介绍了两类卫星调度问题模型，提出了一种基于强化学习的进化算法框架。
2023-02-01 cs.AI cs.NE math.OC
BiERL: A Meta Evolutionary Reinforcement Learning Framework via Bilevel Optimization
Nanjing University（南京大学）；Tianjin University（天津大学）
本文提出基于双层优化的元进化强化学习框架BiERL，通过在单智能体内并行更新超参数与训练模型，并设计嵌入演化经验的种群表示及适应度评估，有效缓解了探索不足与模型崩溃问题，显著提升了多种ERL算法的学习性能。
2023-08-01 cs.AI cs.LG cs.NE
Diverse Behavior Is What Game AI Needs: Generating Varied Human-Like Playing Styles Using Evolutionary Multi-Objective Deep Reinforcement Learning
这篇论文已经被撤回了
2020-04-16 cs.LG stat.ML
A Reinforcement Learning Perspective on the Optimal Control of Mutation Probabilities for the (1+1) Evolutionary Algorithm: First Results on the OneMax Problem
ISAE-SUPAERO, Université de Toulouse（高等航空航天学院，图卢兹大学）；ENAC, Université de Toulouse（国立民用航空学院，图卢兹大学）
我们研究如何强化学习可以用来优化控制进化算法中的参数。我们在OneMax函数上控制（1+1）进化算法的变异概率。该问题被建模为马尔可夫决策过程，并通过已知的转移概率与值迭代求解。然后通过Q-Learning（一种强化学习算法）求解，其中不需要精确的转移概率。这种方法还允许将以前的专家或经验知识纳入学习。它开辟了新的视角，正式和计算，优化的参数控制问题。
2019-05-09 cs.AI cs.NE
Reinforcement Learning-assisted Evolutionary Algorithm: A Survey and Research Opportunities
National Defense University（国防大学）；University of Kent（肯特大学）；Beijing Jiaotong University（北京交通大学）；Nanyang Technological University（南洋理工大学）；Qatar University（卡塔尔大学）；Beihang University（北京航空航天大学）；National University of Singapore（新加坡国立大学）；University of Alberta（阿尔伯塔大学）；Polish Academy of Sciences（波兰科学院）；Indian Statistical Institute（印度统计学院）；Kyungpook National University（庆北国立大学）
该综述聚焦强化学习辅助进化算法（RL-EA），梳理其概念、分类、集成与辅助策略、属性设置及应用表现，并指明未来研究方向。
2024-01-28 cs.AI cs.LG cs.NE
Prompt Driven Exploration: Language as an Exploration Space for VLA Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Computing Research Lab（麻省理工学院-IBM计算研究实验室）；Improbable AI Lab（英普罗巴布尔人工智能实验室）
研究针对强化学习中探索难的问题，提出提示驱动的探索策略（PDE），利用视觉-语言模型对轨迹视频推理，从弱策略轨迹中优化提示，实现后验采样，能让强化学习从零奖励起步学习成功策略并提升样本效率。
2026-11-10 cs.AI cs.LG
Contextual Quality-Diversity Evolutionary Reinforcement Learning for HVAC Control in Tropical Commercial Buildings
本文提出 CQD-ERL 控制器，用于热带商业建筑 HVAC 监督控制，在新加坡建筑降阶环境训练后，经年度回测与 ASHRAE Guideline 36 基线对比，实现更优控制性能。
2026-08-13 cs.AI cs.LG cs.NE
Robust Evolutionary Multi-Objective Network Architecture Search for Reinforcement Learning (EMNAS-RL)
Volkswagen Group Innovation（大众集团创新部）；Volkswagen AG（大众汽车股份有限公司）；Institute of Mathematics（数学研究所）；TU Berlin（柏林技术大学）
本文提出面向自动驾驶强化学习的EMNAS，结合遗传算法、并行化与师生迁移机制，在不降低性能的前提下以更少参数获得更高奖励。
2025-06-10 cs.AI cs.LG math.OC
Learning to Inject: Automated Prompt Injection via Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）
提出AutoInject，一种基于强化学习的黑盒框架，自动学习对抗性后缀进行提示注入，在AgentDojo上优于模板攻击和多种自适应攻击，并突破专门防御模型。
2026-06-11 cs.AI cs.LG
PRewrite: Prompt Rewriting with Reinforcement Learning
Google DeepMind（谷歌DeepMind）；University of Michigan（密歇根大学）
本文提出PRewrite方法，利用强化学习训练大语言模型自动重写欠优化提示词，以提升下游任务性能，并在多个基准数据集上验证了其有效性。
2024-06-10 cs.AI cs.CL cs.LG
Generative Evolutionary Meta-Solver (GEMS): Scalable Surrogate-Free Multi-Agent Reinforcement Learning
Birla Institute of Technology and Science, Pilani（比拉理工学院）
GEMS 提出了一种无代理的多智能体强化学习框架，通过生成器和潜在锚点替代传统种群方法，实现更快的训练速度和更低的内存消耗，同时保持博弈论保证。
2026-03-07 cs.AI cs.LG
Guiding Evolutionary Molecular Design: Adding Reinforcement Learning for Mutation Selection
Univ Angers, CNRS, MOLTECH-ANJOU, SFR MATRIX（昂西大学、法国国家科学研究中心、MOLTECH-ANJOU、SFR MATRIX）
针对化学空间探索中生成分子不稳定、难合成的问题，研究提出融合强化学习的进化算法EvoMol-RL，借助ECFPs学习上下文感知突变策略，显著提升分子生成有效性与真实性，表现优于基线。
2025-10-01 cs.LG
Evolutionary Reinforcement Learning: A Survey
Southern University of Science and Technology（南方科技大学）；Bielefeld University（比勒费尔德大学）；University of Surrey（萨里大学）
本文综述进化计算与强化学习融合的进化强化学习（EvoRL），按超参数优化、策略搜索、探索等方向分类，并展望高效方法、基准与平台等未来方向。
2023-08-30 cs.AI cs.LG cs.NE
Evolutionary Reinforcement Learning for Sample-Efficient Multiagent Coordination
Intel Labs（英特尔实验室）；University of California, Irvine（加州大学欧文分校）；Oregon State University（俄勒冈州立大学）
许多协作多智能体强化学习环境为智能体提供稀疏的基于团队的奖励，以及激励学习基本技能的密集的特定于智能体的奖励。由于其稀疏性，仅基于团队奖励的训练策略通常是困难的。此外，仅仅依赖于代理特定的奖励是次优的，因为它通常不能捕获团队协调目标。一种常见的方法是使用奖励塑造通过组合各个奖励来构造代理奖励。但是，这需要针对每个环境进行手动调优。我们引入了多智能体进化强化学习（MERL），这是一个分层训练平台，通过两个优化过程分别处理这两个目标。进化算法通过对团队群体的神经进化来最大化稀疏的基于团队的目标。同时，一个基于梯度的优化器训练策略，只最大化密集的特定于代理的奖励。基于梯度的策略被周期性地添加到进化种群中，作为两个优化过程之间的信息传递的一种方式。这使得进化算法能够使用通过代理特定奖励学习的技能来优化全局目标。结果表明，MERL显着优于国家的最先进的方法，如MADDPG，在一些困难的协调基准。
2020-06-11 cs.AI cs.LG cs.MA
Supplementing Gradient-Based Reinforcement Learning with Simple Evolutionary Ideas
TCS Research（塔塔咨询服务公司研究院）；IIT Bombay（印度理工学院孟买分校）
提出一种结合进化算子与共享经验缓冲区的强化学习算法，通过稀疏进化探索补充梯度训练，样本高效且对超参数鲁棒，并发现仅共享记忆的多智能体训练即优于标准基线。
2023-05-10 cs.AI cs.NE
Optimizing thermodynamic trajectories using evolutionary and gradient-based reinforcement learning
University of Ottawa（渥太华大学）；National Research Council of Canada（加拿大国家研究委员会）；University of Ontario Institute of Technology（安大略理工大学）；University of Victoria（维多利亚大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）；Molecular Foundry, Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室分子铸造厂）
使用模型热机，我们表明，基于神经网络的强化学习可以识别最大效率的热力学轨迹。我们考虑梯度和无梯度强化学习。我们使用进化学习算法来进化神经网络的种群，服从一个指令，以最大限度地提高由一组基本热力学过程组成的轨迹的效率;由此产生的网络学习进行最有效的卡诺，斯特林或奥托循环。当给定一个额外的不可逆过程时，这个进化方案学习了一个以前未知的热力学循环。基于递归的强化学习能够学习斯特林循环，而进化方法实现最佳卡诺循环。我们的研究结果表明，如何强化学习策略开发的游戏可以应用于解决物理问题的条件下，路径广泛的顺序参数。
2021-11-22 cond-mat.stat-mech cs.LG cs.NE
MultiPrompter: Cooperative Prompt Optimization with Multi-Agent Reinforcement Learning
LG AI Research（LG AI 研究院）；University of Michigan–Ann Arbor（密歇根大学安娜堡分校）
本文提出MultiPrompter框架，将提示优化建模为多智能体轮流协作构建提示的博弈，有效缩减提示空间并提升策略收敛，在文本生成图像任务中生成质量优于基线。
2023-10-25 cs.LG
Effects of Different Optimization Formulations in Evolutionary Reinforcement Learning on Diverse Behavior Generation
Osaka Prefecture University（大阪府立大学）
为给定的任务生成各种策略是具有挑战性的。然而，它已经被证明为主要的学习过程带来了许多资产，例如改进的行为探索。随着人们对演化计算和强化学习中解的异质性的兴趣的增长，出现了许多有前途的方法。为了更好地理解人们如何引导多个策略朝向不同的策略并从多样性中受益，我们需要进一步分析奖励信号调制和其他进化机制对所获得的行为的影响。为此，本文考虑了现有的进化强化学习框架，该框架利用多目标优化作为一种方法来获得成功的行为相关的任务，以及完成主要目标的政策。Atari游戏上的实验强调，不考虑目标的优化公式同样无法产生多样性，甚至输出在解决手头问题方面表现较差的代理，无论获得的行为如何。
2022-01-27 cs.AI cs.NE
Survival Dynamics of Neural and Programmatic Policies in Evolutionary Reinforcement Learning
University of Alberta（阿尔伯塔大学）
研究进化强化学习中神经策略与编程策略的生存动态，通过开源重新实现经典测试平台并进行严格生存分析，发现编程策略在生存性能上超越神经策略，如PERL比NERL平均多存活201.69步。
2026-07-16 cs.LG
MODRL/D-EL: Multiobjective Deep Reinforcement Learning with Evolutionary Learning for Multiobjective Optimization
Sun Yat-sen University（中山大学）；Guangdong University of Finance and Economics（广东财经大学）
基于学习的算法求解组合优化问题近年来引起了学术界的广泛关注。虽然大多数现有的作品只考虑单目标问题与简单的约束，许多现实世界的问题有多目标的角度和包含丰富的约束条件。针对带时间窗的多目标车辆路径问题（MO-VRPTW），提出了一种多目标深度强化学习与进化学习算法相结合的方法。在该算法中，分解策略被应用到生成一组注意力模型的子问题。全面的上下文信息的引入，以进一步加强注意力模型。进化学习也被用来微调模型的参数。在MO-VRPTW实例上的实验结果证明了该算法相对于其他基于学习和迭代的方法的优越性。
2021-07-16 cs.AI cs.NE
No Prompt Left Behind: Exploiting Zero-Variance Prompts in LLM Reinforcement Learning via Entropy-Guided Advantage Shaping
KAIST（韩国科学技术院）；EPFL（洛桑联邦理工学院）；Adobe Research（奥多比研究院）
通过熵引导的优势塑造，RL-ZVP利用零方差提示提升LLM推理能力，显著优于GRPO及其他基线方法。
2026-02-09 cs.AI cs.CL cs.LG
Causal prompting model-based offline reinforcement learning
Faculty of Computing（计算机学院）；Harbin Institute of Technology（哈尔滨工业大学）；University of Surrey（萨里大学）；The Artificial Intelligence Institute（人工智能研究院）
针对在线系统数据集高度次优且多样的挑战，提出CPRL框架，通过隐参数块因果提示动态建模环境并复用技能训练单一策略，在噪声环境中实现稳健决策并开源代码与真实医疗数据集。
2024-06-03 cs.AI cs.LG
Evolutionary Reinforcement Learning via Cooperative Coevolution
Southern University of Science and Technology（南方科技大学）；Research Institute of Trustworthy Autonomous System（可信自主系统研究院）；Lingnan University（岭南大学）
本文提出协同协同进化强化学习算法CoERL，通过自适应分解策略优化问题并利用部分梯度更新策略，提升高维神经网络优化效率，在六个运动控制基准上优于七种先进算法。
2024-08-01 cs.AI cs.NE
Evolutionary Dispersal of Ecological Species via Multi-Agent Deep Reinforcement Learning
Natural Science Research Institute, KAIST（韩国科学技术院自然科学研究院）；Korea University（高丽大学）
本研究将SDD类型奖励引入基于DQN的MARL框架，模拟单物种与捕食者—猎物互动，以揭示异质环境中的进化扩散策略并验证传统数学模型。
2024-10-24 cs.LG math.DS q-bio.PE
Surrogate-Assisted Evolutionary Reinforcement Learning Based on Autoencoder and Hyperbolic Neural Network
Shanghai Institute of AI for Education, East China Normal University（上海人工智能教育研究院，华东师范大学）；School of Computer Science and Technology, East China Normal University（计算机科学与技术学院，华东师范大学）；Shanghai Frontiers Science Center of Molecule Intelligent Syntheses（分子智能合成前沿科学中心）；Key Laboratory of Advanced Theory and Application in Statistics and Data Science, Ministry of Education, China（统计与数据科学高级理论及应用重点实验室，中华人民共和国教育部，中国）；The Guangdong Key Laboratory of Brain Inspired Intelligent Computation, Department of Computer Science and Engineering, Southern University of Science and Technology（脑启发智能计算广东省重点实验室，计算机科学与工程系，南方科技大学）；Department of Statistics and Data Science, Southern University of Science and Technology（统计与数据科学系，南方科技大学）
本文提出一种集成自编码器和双曲神经网络的代理辅助进化强化学习方法，通过压缩高维策略并构建分类代理模型实现准确预选，有效降低了计算成本并提升了搜索效率。
2025-05-29 cs.AI cs.LG
R2 Indicator and Deep Reinforcement Learning Enhanced Adaptive Multi-Objective Evolutionary Algorithm
Ulster University（阿尔斯特大学）；University of Bath（巴斯大学）；Auburn University（奥本大学）
针对优化算法选择难题，提出融合R2指标与双深度Q网络强化学习的多目标进化算法R2-RLMOEA，在CEC09基准测试中性能显著优于其他6种同类算法。
2024-04-17 cs.AI cs.NE
Evolutionary Warm-Starts for Reinforcement Learning in Industrial Continuous Control
Inst. for Neural Computation Ruhr University Bochum Bochum, Germany
本文研究了进化策略如何支持工业连续控制中的强化学习，通过工业分拣基准的连续控制适应，利用CMA-ES生成高质量演示以预热RL代理，提升稳定性和性能，并提供强参考性能。
2026-03-23 cs.LG cs.NE
MAPPER: Multi-Agent Path Planning with Evolutionary Reinforcement Learning in Mixed Dynamic Environments
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）
动态环境下的多智能体导航在大规模机器人部署到实际应用中具有重要的工业价值。提出了一种基于进化强化学习（MAPPER）的分散式部分可观测多智能体路径规划方法，用于在混合动态环境中学习有效的局部规划策略.基于强化学习的方法通常会在具有目标条件的稀疏奖励的长时间任务上性能下降，因此我们在全局规划器的指导下将长距离导航任务分解为许多更容易的子任务，这提高了智能体在大环境中的性能。此外，大多数现有的多智能体规划方法假设周围环境的完美信息或附近的动态代理的同质性，这在实践中可能不成立。我们的方法模型动态障碍物的行为与基于图像的表示和训练的政策在混合动态环境中没有同质性假设。为了确保多智能体训练的稳定性和性能，我们提出了一种进化的训练方法，可以很容易地扩展到大型和复杂的环境。实验表明，与传统的基于反应的规划器LRA* 和最先进的基于学习的方法相比，MAPPER在面对大量非合作动态障碍物时能够获得更高的成功率和更稳定的性能。
2020-07-30 cs.AI cs.LG cs.MA
Evolutionary reinforcement learning of dynamical large deviations
Molecular Foundry, Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室分子铸造厂）；Division of Chemistry and Chemical Engineering, California Institute of Technology（加州理工学院化学与化学工程学部）；University of Ottawa（渥太华大学）；National Research Council of Canada（加拿大国家研究委员会）
我们展示了如何使用进化强化学习来计算动态大偏差的可能性。一个代理，一个随机模型，传播一个连续时间的蒙特卡罗轨迹，并收到一定的路径扩展量的值为条件的奖励。进化逐渐产生更适合的代理，最终允许计算一个特定模型和路径扩展量的大偏差率函数。对于具有小状态空间的模型，进化过程直接作用于速率，而对于具有大状态空间的模型，该过程作用于将模型的速率参数化的神经网络的权重。这种方法展示了如何在机器学习中广泛使用的框架内考虑路径扩展物理问题。
2020-02-21 cond-mat.stat-mech cs.LG cs.NE
Collaborative Evolutionary Reinforcement Learning
Intel AI Lab（英特尔人工智能实验室）；Collaborative Robotics and Intelligent Systems Institute, Oregon State University（俄勒冈州立大学协作机器人与智能系统研究所）
深度强化学习算法已成功应用于一系列具有挑战性的控制任务。然而，这些方法通常难以实现有效的探索，并且对超参数的选择非常敏感。原因之一是大多数方法使用其操作策略的嘈杂版本来探索-从而限制了探索的范围。在本文中，我们介绍了协同进化强化学习（CERL），一个可扩展的框架，包括一个投资组合的政策，同时探索和利用不同地区的解决方案空间。一系列学习器-通常是经过验证的算法，如TD 3-在不同的时间范围内优化，从而形成了这个多样化的投资组合。所有学习器都贡献并使用共享的重放缓冲区来实现更高的样本效率。计算资源是动态分布的，以支持最好的学习者作为在线算法选择的一种形式。神经进化将这整个过程结合起来，产生一个超越任何个体学习者能力的单一涌现学习者。在一系列连续控制基准测试中的实验表明，新兴学习者的表现显着优于其复合学习者，同时保持整体样本效率更高-特别是解决了Mujoco Humanoid基准测试，其中所有复合学习者（TD 3）完全孤立失败。
2019-05-06 cs.AI cs.LG stat.ML
Illuminating the Three Dogmas of Reinforcement Learning under Evolutionary Light
Department of Computer Science, University of Tübingen（图宾根大学计算机科学系）；Department of Anthropology, University of California, Berkeley（加州大学伯克利分校人类学系）
本文从人工生命视角批判强化学习的三个核心假设，提出将学习视为适应而非优化，并利用开放新颖性搜索和热力学理论构建更生物真实的智能体模型。
2026-08-26 cs.AI
Learning to Generate Prompts for Dialogue Generation through Reinforcement Learning
National Taiwan University（台湾大学）；Intel Labs（英特尔研究院）
许多文献表明，基于语义的学习是一种有效的方法，利用大型预训练的语言模型。最近的工作还展示了通过插入适当的提示来引导聊天机器人输出的可能性。通常使用基于干扰的方法来干扰提示。然而，有些语言模型甚至不对公众开放。在这项工作中，我们首先探索了提示和强化学习（RL）的组合，以引导模型的生成，而无需访问任何模型的参数。其次，为了减少训练工作量并增强对未知任务的泛化能力，我们应用多任务学习来使模型更好地学习泛化到新任务。实验结果表明，我们提出的方法可以成功地控制几个国家的最先进的（SOTA）对话模型，而无需访问其参数。此外，该模型展示了快速适应未知任务的强大能力，比基线模型的步骤更少。
2022-10-13 cs.AI cs.CL cs.LG
A Globally Convergent Evolutionary Strategy for Stochastic Constrained Optimization with Applications to Reinforcement Learning
Polytechnique Montréal（蒙特利尔综合理工学院）；University of Basel（巴塞尔大学）；Johannes Kepler University Linz（林茨约翰·开普勒大学）
进化策略最近被证明可以在强化学习中实现复杂优化问题的性能竞争水平。在这样的问题中，人们经常需要优化一个受一组约束的目标函数，包括例如对策略熵的约束，或者限制代理可访问的可能的动作或状态集。然而，文献中缺乏优化随机约束问题的进化策略的收敛保证。在这项工作中，我们解决这个问题，通过设计一种新的优化算法，有足够的减少机制，确保收敛，这是只基于估计的功能。我们证明了该算法对两种类型的实验的适用性：i）最大化奖励的控制任务和ii）最大化奖励受一组不可放松的约束。
2022-02-21 cs.LG cs.NE math.OC
Evolutionary Population Curriculum for Scaling Multi-Agent Reinforcement Learning
CMU（卡内基梅隆大学）；SJTU（上海交通大学）；Facebook AI Research（脸书人工智能研究院）；OpenAI（开放人工智能公司）；UC Berkeley（加州大学伯克利分校）；UCSD（加州大学圣地亚哥分校）
在多智能体游戏中，环境的复杂性会随着智能体数量的增加而呈指数级增长，因此当智能体数量很大时，学习好的策略特别具有挑战性。在本文中，我们介绍了进化人口课程（EPC），一个课程学习范式，逐步增加人口的训练代理在一个阶段明智的方式扩大了多智能体强化学习（MARL）。此外，EPC使用进化的方法来解决整个课程中的目标不一致问题：在早期阶段成功训练的小规模人口的代理不一定是适应后期规模人口的最佳候选人。具体而言，EPC在每个阶段维护多组代理，对这些代理执行混合匹配和微调，并将具有最佳适应性的代理提升到下一阶段。我们实现EPC上流行的MARL算法，MADDPG，经验表明，我们的方法始终优于基线的代理数量呈指数级增长的大幅度。
2020-03-23 cs.AI cs.LG cs.NE
Enhancing Visual Grounding for GUI Agents via Self-Evolutionary Reinforcement Learning
VCIP, School of Computer Science, NKU（VCIP，计算机科学学院，NKU）
提出基于强化学习的自进化框架，仅用3k样本和7B参数，在三个GUI定位基准上取得最优结果，ScreenSpot-Pro准确率47.3%，超越UI-TARS-72B达24.2%。
2025-05-24 cs.AI
Evolutionary Reinforcement Learning via Cooperative Coevolutionary Negatively Correlated Search
Southern University of Science and Technology（南方科技大学）
本文提出NCS友好的协同协同进化框架，以扩展负相关搜索并保留其并行探索行为，在10个Atari游戏上以少50%计算时间显著优于三种最先进深度强化学习方法。
2020-09-08 cs.LG cs.NE
CosmoCore-Evo: Evolutionary Dream-Replay Reinforcement Learning for Adaptive Code Generation
Microsoft Corporation（微软公司）
CosmoCore-Evo通过进化算法提升代码生成的适应性和新颖性，实现更高性能和更快适应。
2025-12-20 cs.AI cs.NE cs.SE
Vision-Language Models Provide Promptable Representations for Reinforcement Learning
U.C. Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）
本文提出利用预训练视觉语言模型作为可提示表示来初始化强化学习策略，在Minecraft和Habitat任务中优于通用嵌入，且通过思维链提示提升新场景性能1.5倍。
2024-05-23 cs.AI cs.CV cs.LG
Helix: Evolutionary Reinforcement Learning for Open-Ended Scientific Problem Solving
Bosch (China) Investment Co., Ltd.（博世（中国）投资有限公司）；Tsinghua-Bosch Joint Center for ML, Tsinghua University（清华大学-博世联合人工智能中心，清华大学）；Dept. of EE, Tsinghua University（清华大学电子工程系）；Dept. of Comp. Sci. & Techn., Tsinghua University（清华大学计算机科学与技术系）
HELIX通过分层进化强化学习框架，在开放性科学问题求解中实现了先进解决方案的发现，其在圆圈装箱任务中取得state-of-the-art结果，并在机器学习基准测试中超越GPT-4o。
2026-03-08 cs.LG
Reinforcement Learning-Guided Evolutionary Policy Optimization for Preference-Adjustable Heterogeneous Agile Earth Observation Satellite Scheduling
College of Intelligent Science and Engineering, Harbin Engineering University（哈尔滨工程大学智能科学与工程学院）；School of Information Science and Technology, Dalian Maritime University（大连海事大学信息科学与技术学院）；Silesian University of Technology（西里西亚工业大学）；University of Alberta（阿尔伯塔大学）；Constructor University（康斯特鲁克托大学）；Istinye University（伊斯蒂涅大学）
针对异构敏捷地球观测卫星调度难题，本文提出强化学习辅助的算子选择模因进化算法，在有限预算下实现更高加权效用与稳定收敛，验证了方法鲁棒性与算子选择的有效性。
2026-11-03 cs.AI
Structured Prompt Optimization Meets Reinforcement Learning for Global and Local Interpretability over Complex Text
Carnegie Mellon University（卡内基梅隆大学）；Amazon（亚马逊）
提出eXTC框架，通过结构化提示优化、基于SOP的推理蒸馏和强化学习扩展，在分类性能和解释质量上显著优于现有范式。
2026-06-02 cs.AI cs.CL cs.LG
Reward Is Enough: LLMs Are In-Context Reinforcement Learners
University of Virginia（弗吉尼亚大学）
研究发现LLM在推理过程中可通过上下文强化学习实现自我提升，通过多轮提示框架提升任务表现，显著优于基线方法。
2026-04-24 cs.AI cs.CL cs.LG
Learning and Editing Universal Graph Prompt Tuning via Reinforcement Learning
The University of Hong Kong（香港大学）；Beijing Institute of Technology（北京理工大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出LEAP模型，通过强化学习在保留通用图提示理论基础的同时，优化提示选择与编辑，提升图和节点任务的性能。
2025-12-09 cs.LG
Analysis of Evolutionary Behavior in Self-Learning Media Search Engines
University of California San Diego（加州大学圣地亚哥分校）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
多媒体实体内在质量的多样性往往会阻碍其有效检索。在自学习搜索引擎架构中，通过无监督的强化学习来教授和捕获人类感知和深度知识的细微差别，其中可以适当地校准强化程度。这样的架构范例使索引能够自然地发展，同时适应用户兴趣的动态变化。它通过随着时间的推移不断构建索引来运行，同时注入搜索性能的渐进改进。为了使搜索操作有效，索引学习的收敛对于确保效率和鲁棒性至关重要。在本文中，我们开发了一个自学习搜索引擎架构的基础上，强化学习使用马尔可夫决策过程框架。探索和开发之间的平衡是通过进化的探索策略来实现的。进化指数学习行为，然后研究和制定使用随机分析。实验结果证实了指数演化机制的稳定收敛性。索引词
2019-11-22 cs.AI cs.IR cs.LG
Asymmetric Prompt Weighting for Reinforcement Learning with Verifiable Rewards
Technical University of Munich（慕尼黑工业大学）；University of Southern California（南加州大学）；University of British Columbia（不列颠哥伦比亚大学）
本文提出不对称提示加权方法，用于提升可验证奖励强化学习中低成功率提示的训练效率，尤其在从头开始的强化学习中表现更佳。
2026-02-11 cs.LG
Accelerating Deep Reinforcement Learning for Digital Twin Network Optimization with Evolutionary Strategies
Barcelona Neural Networking Center, Universitat Politècnica de Catalunya（巴塞罗那神经网络中心，加泰罗尼亚理工大学）；Huawei Technologies Co.,Ltd.（华为技术有限公司）
新兴网络应用的最近增长（例如，卫星网络、车辆网络）正在增加管理现代通信网络的复杂性。因此，社区提出了数字孪生网络（DTN）作为有效网络管理的关键使能器。网络运营商可以利用DTN来执行不同的优化任务（例如，交通工程、网络规划）。深度强化学习（DRL）在解决网络优化问题时表现出了很高的性能。在DTN的环境中，DRL可以用来解决优化问题，而不会直接影响现实世界的网络行为。然而，DRL的规模与问题的大小和复杂性差。在本文中，我们探讨了使用进化策略（ES）训练DRL代理解决路由优化问题。实验结果表明，ES实现了128和6的训练时间分别为NSFNET和GEANT2拓扑结构的加速。
2022-02-01 cs.LG cs.NI
