Solving Sokoban with forward-backward reinforcement learning
Google research Israel（谷歌研究院以色列）
尽管近年来强化学习取得了重大进展，但许多奖励稀疏的领域，例如仅在任务完成时给予奖励，仍然具有相当大的挑战性。在这种情况下，从开始和结束都处理这项任务，使两个目的达到是有益的。现有的方法，这样做，但是，是不是有效的，在常见的情况下，需要接近最终目标的战略是非常不同的，这是有效的earlieron.In这项工作中，我们提出了一种新的RL方法，这样的设置。简而言之，我们首先训练一个向后看的代理与一个简单的放松的目标，然后增加的状态表示的前瞻性代理与简单的提示功能。这允许学习的前向代理利用来自后向计划的信息，而不模仿它们的策略。我们证明了我们的方法在具有挑战性的推箱子游戏中的有效性，在那里我们大大超过了跨级别概括的学习求解器，并且与最好的精心制作的系统的SOTA性能竞争。令人印象深刻的是，我们实现了这些结果，同时从少量的实践水平和使用简单的RL技术学习。
2021-05-22 cs.AI cs.LG
MiranDa: Mimicking the Learning Processes of Human Doctors to Achieve Causal Inference for Medication Recommendation
Tohoku University（东北大学）；Graduate School of Biomedical Engineering（生物医学工程研究生院）；Graduate School of Information Sciences（信息科学研究生院）；Graduate School of Medicine（医学研究生院）；Division of Biomedical Engineering for Health and Welfare（健康与福祉生物医学工程系）；Department of Medicine and Science in Sports and Exercise（运动医学与科学系）
本文提出药物推荐模型MiranDa，通过模拟医生学习过程并结合估计住院时长作为反事实结果，在监督学习与强化学习两阶段训练中优化药物组合，在MIMIC-III和MIMIC-IV数据集上显著降低住院时长并提升推荐效果。
2024-07-23 cs.AI cs.CY cs.LG
On the Importance of Critical Period in Multi-stage Reinforcement Learning
Seoul National University（首尔国立大学）；AIIS（AIIS（人工智能与信息科学研究所，若为独立机构时））
婴儿生命的最初几年被称为关键期，在此期间，由于神经可塑性，学习表现的整体发展受到显着影响。在最近的研究中，人工智能智能体具有模仿实际神经元机制的深度神经网络，表现出类似于人类关键期的学习期。特别是在这一初始阶段，适当的刺激对学习能力的发展起着至关重要的作用。然而，将人类的认知偏差转化为适当的塑造奖励是相当具有挑战性的，并且先前关于关键期的工作并没有专注于寻找适当的刺激。为了更进一步，我们提出了多阶段强化学习，以强调在关键期周围找到“适当的刺激”。受人类早期认知发展阶段的启发，我们在关键期附近使用多阶段指导，并根据人工智能智能体的性能，效率和稳定性展示适当的塑造奖励（阶段2指导）。
2022-08-09 cs.AI cs.LG cs.NE
Transformers Provably Implement In-Context Reinforcement Learning with Policy Improvement
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of California, Davis（加州大学戴维斯分校）
研究转换器在上下文强化学习中实现策略改进的能力，通过显式参数构造证明线性自注意力块可实现半梯度SARSA和actor-critic方法，并提供首次收敛保证。
2026-11-10 cs.AI cs.LG stat.ML
Reinforcement Learning on Human Decision Models for Uniquely Collaborative AI Teammates
Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
2021年，约翰霍普金斯大学应用物理实验室举办了一项内部挑战赛，旨在开发能够在协作纸牌游戏Hanabi中表现出色的人工智能（AI）代理。代理人被评估他们与以前从未遇到过的人类玩家一起玩的能力。这项研究详细介绍了通过实现16.5的人类游戏平均得分赢得挑战的代理的开发，超过了目前最先进的人类机器人Hanabi得分。获胜的代理的开发包括观察和准确建模作者在Hanabi中的决策，然后用作者的行为克隆进行训练。值得注意的是，智能体发现了一种与人类互补的游戏风格，首先模仿人类的决策，然后探索类似人类的策略的变化，从而获得更高的模拟人类机器人得分。这项工作详细研究了这个与人类兼容的Hanabi队友的设计和实现，以及人类互补策略的存在和影响，以及如何探索它们，以便在人机团队中更成功地应用AI。
2021-11-18 cs.AI cs.LG
Boosted Distributional Reinforcement Learning: Analysis and Healthcare Applications
Thayer School of Engineering, Dartmouth College（达特茅斯学院塞耶工程学院）
本文提出BDRL算法，通过优化个体结果分布并确保相似代理的可比性，提升医疗决策的一致性和效果。
2026-04-10 cs.AI cs.LG
Skill1: Unified Evolution of Skill-Augmented Agents via Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；Meituan（美团）；National University of Singapore（新加坡国立大学）；Zhejiang University（浙江大学）；Wuhan University（武汉大学）
本文提出Skill1框架，通过单一策略协同进化技能选择、利用与蒸馏，以共享任务目标优化技能库维护，实验表明其优于现有基线方法。
2026-05-12 cs.AI
Evolutionary Strategy Guided Reinforcement Learning via MultiBuffer Communication
University of Galway（戈尔韦大学）
本文提出一种结合进化策略与TD3的进化强化学习模型，通过多缓冲区通信机制避免低质量轨迹污染回放缓冲区，在MuJoCo任务上超越CEM-RL。
2023-06-20 cs.AI cs.NE
Comparing Deep Reinforcement Learning and Evolutionary Methods in Continuous Control
University of Alberta（阿尔伯塔大学）
强化学习和进化策略是解决复杂控制问题的两种主要方法。两者都是强有力的竞争者，都有自己的奉献者社区。近年来，这两个小组都非常积极地在各自的领域中开发新的进展，并设计出尖端技术来解决复杂的连续控制任务。在这里，在深度强化学习的背景下，我们制定了并行版本的近端策略优化方法和深度确定性策略梯度方法。此外，我们对两个阵营中最先进的技术进行了彻底的比较，包括连续控制;进化方法和深度强化学习方法。结果表明，没有持续的赢家。
2018-03-07 cs.AI cs.LG
Causal Imitation Learning with Unobserved Confounders
Columbia University（哥伦比亚大学）；Purdue University（普渡大学）
孩子们学习的一种常见方式是模仿成年人。模仿学习的重点是学习政策与适当的性能从示范产生的专家，一个未指定的性能指标，和未观察到的奖励信号。流行的模仿学习方法要么直接模仿专家的行为策略（行为克隆），要么学习一个奖励函数，优先考虑观察到的专家轨迹（逆强化学习）。然而，这些方法依赖于这样的假设，即专家用来确定其行为的协变量被完全观察到。在本文中，我们放松了这一假设，并研究了当学习者和专家的感官输入不同时的模仿学习。首先，我们提供了一个非参数的，图形化的标准，是完整的（既必要又充分），以确定模仿的可行性，从示范数据和定性假设的基础环境的组合，表示在因果模型的形式。然后，我们表明，当这样的标准不成立，模仿仍然是可行的，利用定量知识的专家轨迹。最后，我们开发了一个有效的程序学习模仿政策，从专家的轨迹。
2022-08-12 cs.AI cs.LG
Recruitment-imitation Mechanism for Evolutionary Reinforcement Learning
Jilin University（吉林大学）
强化学习、进化算法和模仿学习是处理连续控制任务的三种主要方法。强化学习样本效率高，但对超参数设置敏感，需要有效探索;进化算法稳定，但样本效率低;模仿学习样本效率高，但需要专家数据指导。在本文中，我们提出了招募模仿机制（RIM）的进化强化学习，一个可扩展的框架，结合了上述三种方法的优点。该框架的核心是一个双行动者和单批评强化学习代理。该代理可以从进化算法的群体中招募高适应度的演员，这指示自己从经验重放缓冲区中学习。同时，进化种群中的低适应度行为体可以模仿强化学习Agent的行为模式，提高其自适应能力。该框架中的强化学习器和模仿学习器可以用任何非策略的行动者-批评者强化学习器或数据驱动的模仿学习器来代替。我们在Mujoco中对RIM进行了一系列连续控制任务的基准测试。实验结果表明，RIM优于以前的进化或强化学习方法。RIM组件的性能明显优于以前的进化强化学习算法的组件，使用软更新的招聘使强化学习代理学习速度比使用硬更新。
2019-12-13 cs.AI cs.LG cs.NE
Reliable Conditioning of Behavioral Cloning for Offline Reinforcement Learning
UCLA（加州大学洛杉矶分校）；Meta AI Research（Meta人工智能研究院）
行为克隆（BC）通过监督学习模仿离线轨迹，为离线RL提供了一个简单的解决方案。最近的进展（Chen等人，2021; Janner等人，2021; Emmons等人，2021年）已经表明，通过以期望的未来回报为条件，BC可以与基于价值的同行竞争，同时享受更多的简单性和培训稳定性。虽然有希望，我们表明，这些方法可能是不可靠的，因为它们的性能可能会显着下降时，条件高，分布外（ood）的回报。这在实践中是至关重要的，因为我们通常期望通过以ood值为条件，策略的性能优于离线数据集。我们发现，这种不可靠性产生的次优的训练数据和模型架构。我们提出了ConserWeightive Behavioral Cloning（CWBC），这是一种简单有效的方法，用于提高条件BC的可靠性，其中有两个关键组成部分：轨迹加权和保守正则化。轨迹加权增加了高返回轨迹的权重，以减少BC方法的训练-测试间隙，而保守正则化器鼓励策略保持接近数据分布，以获得良好的条件。我们在RvS的背景下研究CWBC（Emmons等人，2021）和决策Transformers（Chen等人，2021年），并显示CWBC显着提高了他们在各种基准上的表现。
2023-02-03 cs.AI cs.LG
Lineage Evolution Reinforcement Learning
提出了一种通用的智能体群体学习系统，并在此基础上提出了谱系进化强化学习算法。谱系进化强化学习是一种符合一般智能体群体学习系统的衍生算法。我们将DQN及其相关变体中的智能体作为种群中的基本智能体，将遗传算法中的选择、变异和交叉模块加入到强化学习算法中。在Agent进化过程中，我们参考自然遗传行为的特点，加入世系因子以保证Agent潜在性能的保留，在评价Agent性能时综合考虑当前性能和世系值。谱系进化强化学习在不改变原有强化学习算法参数的情况下，可以优化不同的强化学习算法。实验结果表明，在Atari 2600的部分游戏中，血统进化的思想提高了原有强化学习算法的性能。
2020-09-26 cs.AI cs.LG cs.MA
A Reinforcement Learning Perspective on the Optimal Control of Mutation Probabilities for the (1+1) Evolutionary Algorithm: First Results on the OneMax Problem
ISAE-SUPAERO, Université de Toulouse（高等航空航天学院，图卢兹大学）；ENAC, Université de Toulouse（国立民用航空学院，图卢兹大学）
我们研究如何强化学习可以用来优化控制进化算法中的参数。我们在OneMax函数上控制（1+1）进化算法的变异概率。该问题被建模为马尔可夫决策过程，并通过已知的转移概率与值迭代求解。然后通过Q-Learning（一种强化学习算法）求解，其中不需要精确的转移概率。这种方法还允许将以前的专家或经验知识纳入学习。它开辟了新的视角，正式和计算，优化的参数控制问题。
2019-05-09 cs.AI cs.NE
Evolutionary Algorithms for Reinforcement Learning
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）；Naval Research Laboratory（美国海军研究实验室）；George Mason University（乔治梅森大学）
有两种不同的方法来解决强化学习问题，即在价值函数空间中搜索和在策略空间中搜索。时间差分方法和进化算法是这些方法的众所周知的例子。Kaelbling，Littman和Moore最近提供了一个翔实的调查时间差异的方法。这篇文章的重点是应用进化算法的强化学习问题，强调替代政策表示，信用分配方法，和特定问题的遗传算子。强化学习的进化方法的优点和缺点，以及代表性的应用调查。
2011-06-01 cs.AI cs.LG cs.NE
Solving Deep Reinforcement Learning Tasks with Evolution Strategies and Linear Policy Networks
Leiden University（莱顿大学）；Leiden Institute of Advanced Computer Science (LIACS)（莱顿高级计算机科学研究所（LIACS））
本研究对比了进化策略与基于梯度的深度强化学习方法，发现进化策略在训练线性策略网络时表现出更高的样本效率和鲁棒性，甚至在某些复杂任务和Atari游戏中超越传统深度强化学习算法。
2024-07-24 cs.AI cs.LG
Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning
Intel Labs（英特尔实验室）；Intel Israel（英特尔以色列）；Technion（以色列理工学院）
对于深度神经网络加速器来说，内存移动既消耗能量又会限制计算。因此，张量到存储层次结构的最佳映射对性能至关重要。随着神经网络复杂性的增加，需要自动化的内存映射来代替人工的启发式方法;然而，神经网络计算图的搜索空间以前非常大。我们介绍了进化图强化学习（EGRL），一种为大搜索空间设计的方法，它结合了图神经网络，强化学习和进化搜索。一组快速的、无状态的策略引导进化搜索以提高其样本效率。我们直接在英特尔NNP-I芯片上对我们的方法进行训练和验证，以进行推理。EGRL在BERT、ResNet-101和ResNet-50上的性能优于策略梯度、进化搜索和动态规划基线。我们还实现了28-78\%的速度相比，本机NNP-I编译器在所有三个工作负载。
2020-10-15 cs.AI cs.LG
Mathematical Models and Reinforcement Learning based Evolutionary Algorithm Framework for Satellite Scheduling Problem
National University of Defense Technology（国防科技大学）
对于复杂的组合优化问题，模型和算法是解决方案的核心。许多类型的卫星任务规划问题的复杂性是NP难的，并对解决方案提出了很高的要求。介绍了两类卫星调度问题模型，提出了一种基于强化学习的进化算法框架。
2023-02-01 cs.AI cs.NE math.OC
Imitation Learning with Concurrent Actions in 3D Games
Electronic Arts（美国艺电公司）
在这项工作中，我们描述了一种新的深度强化学习架构，允许在每个时间步以有效的方式选择多个动作。多动作策略允许学习复杂的行为，否则使用单一动作选择技术时很难实现。我们使用模仿学习和时间差（TD）强化学习（RL），与单一动作选择TD RL相比，训练时间提高了4倍，性能提高了2.5倍。我们使用一个复杂的内部3D游戏来展示这个网络的功能。模仿专家教师的行为显着提高了世界状态探索，并允许代理视觉系统比单独的TD RL更快地被训练。这种初始训练技术启动了TD学习，智能体很快就学会了超越专家的能力。
2018-09-06 cs.AI cs.LG stat.ML
Deep Reinforcement Learning Versus Evolution Strategies: A Comparative Survey
Delft University of Technology（代尔夫特理工大学）；VU Amsterdam（阿姆斯特丹自由大学）
深度强化学习（DRL）和演化策略（ES）在许多顺序决策问题中已经超越了人类控制，但仍然存在许多开放的挑战。为了深入了解DRL与ES的优势和劣势，分析了它们各自的能力和局限性。在介绍了它们的基本概念和算法之后，在可扩展性、探索性、适应动态环境和多智能体学习等关键方面进行了比较。然后，混合算法的好处，结合DRL和ES的概念突出。最后，有一个关于他们如何在现实世界中的应用程序进行比较的指示，他们支持的应用程序集的文献调查提供。
2021-09-28 cs.AI cs.LG
Effects of Different Optimization Formulations in Evolutionary Reinforcement Learning on Diverse Behavior Generation
Osaka Prefecture University（大阪府立大学）
为给定的任务生成各种策略是具有挑战性的。然而，它已经被证明为主要的学习过程带来了许多资产，例如改进的行为探索。随着人们对演化计算和强化学习中解的异质性的兴趣的增长，出现了许多有前途的方法。为了更好地理解人们如何引导多个策略朝向不同的策略并从多样性中受益，我们需要进一步分析奖励信号调制和其他进化机制对所获得的行为的影响。为此，本文考虑了现有的进化强化学习框架，该框架利用多目标优化作为一种方法来获得成功的行为相关的任务，以及完成主要目标的政策。Atari游戏上的实验强调，不考虑目标的优化公式同样无法产生多样性，甚至输出在解决手头问题方面表现较差的代理，无论获得的行为如何。
2022-01-27 cs.AI cs.NE
MODRL/D-EL: Multiobjective Deep Reinforcement Learning with Evolutionary Learning for Multiobjective Optimization
Sun Yat-sen University（中山大学）；Guangdong University of Finance and Economics（广东财经大学）
基于学习的算法求解组合优化问题近年来引起了学术界的广泛关注。虽然大多数现有的作品只考虑单目标问题与简单的约束，许多现实世界的问题有多目标的角度和包含丰富的约束条件。针对带时间窗的多目标车辆路径问题（MO-VRPTW），提出了一种多目标深度强化学习与进化学习算法相结合的方法。在该算法中，分解策略被应用到生成一组注意力模型的子问题。全面的上下文信息的引入，以进一步加强注意力模型。进化学习也被用来微调模型的参数。在MO-VRPTW实例上的实验结果证明了该算法相对于其他基于学习和迭代的方法的优越性。
2021-07-16 cs.AI cs.NE
Optimizing Crop Management with Reinforcement Learning and Imitation Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Tasmania（塔斯马尼亚大学）；Stockholm University（斯德哥尔摩大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
作物管理包括氮肥运筹和灌溉管理，对作物产量、经济效益和环境有着重要的影响。虽然有管理指南，但在特定的种植环境和作物下，找到最佳管理做法是一项挑战。以前的工作使用强化学习（RL）和作物模拟器来解决这个问题，但经过训练的策略要么性能有限，要么无法在现实世界中部署。在本文中，我们提出了一个智能作物管理系统，优化氮肥和灌溉同时通过RL，模仿学习（IL），作物模拟使用农业技术转移决策支持系统（DSSAT）。我们首先使用深度RL，特别是深度Q网络，来训练管理策略，这些策略需要来自模拟器的所有状态信息作为观测（表示为完整观测）。然后，我们调用IL来训练管理策略，这些策略只需要有限的状态信息，这些信息可以通过模仿先前RL训练的策略在完全观察下的动作在现实世界中容易地获得（表示为部分观察）。我们在佛罗里达州使用玉米的案例研究进行实验，并在模拟中将训练的政策与玉米管理指南进行比较。我们在完全和部分观测下训练的策略都能获得更好的结果，从而获得更高的利润或类似的利润，同时对环境的影响更小。此外，部分观测管理策略可直接部署在现实世界中，因为它们使用现成的信息。
2023-02-27 cs.AI cs.LG
EVO-RL: Evolutionary-Driven Reinforcement Learning
RWTH Aachen University（亚琛工业大学）；University Hospital RWTH Aachen（亚琛工业大学附属医院）；Trier University of Applied Sciences（特里尔应用科学大学）；University of Trento（特伦托大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
在这项工作中，我们提出了一种新的演化计算驱动的强化学习方法。我们的算法被称为进化驱动的强化学习（evo-RL），它将强化学习算法嵌入到进化周期中，在进化周期中，我们可以清楚地区分纯粹的可进化（本能）行为与纯粹的可学习行为。此外，我们认为这种区别是由进化过程决定的，从而使evo-RL能够适应不同的环境。此外，evo-RL有助于在无奖励状态的环境中学习，这使得它更适合于不完整信息的现实世界问题。为了表明evo-RL导致最先进的性能，我们提出了不同的最先进的强化学习算法在evo-RL中运行时的性能，并将其与独立执行这些相同算法的情况进行比较。结果表明，嵌入在我们的evo-RL方法中的强化学习算法在OpenAI Gym控制问题上的性能明显优于相同RL算法的独立版本，其中无奖励状态受到相同计算预算的约束。
2020-07-10 cs.AI cs.LG cs.NE
Supplementing Gradient-Based Reinforcement Learning with Simple Evolutionary Ideas
TCS Research（塔塔咨询服务公司研究院）；IIT Bombay（印度理工学院孟买分校）
提出一种结合进化算子与共享经验缓冲区的强化学习算法，通过稀疏进化探索补充梯度训练，样本高效且对超参数鲁棒，并发现仅共享记忆的多智能体训练即优于标准基线。
2023-05-10 cs.AI cs.NE
Evolutionary Reinforcement Learning via Cooperative Coevolution
Southern University of Science and Technology（南方科技大学）；Research Institute of Trustworthy Autonomous System（可信自主系统研究院）；Lingnan University（岭南大学）
本文提出协同协同进化强化学习算法CoERL，通过自适应分解策略优化问题并利用部分梯度更新策略，提升高维神经网络优化效率，在六个运动控制基准上优于七种先进算法。
2024-08-01 cs.AI cs.NE
R2 Indicator and Deep Reinforcement Learning Enhanced Adaptive Multi-Objective Evolutionary Algorithm
Ulster University（阿尔斯特大学）；University of Bath（巴斯大学）；Auburn University（奥本大学）
针对优化算法选择难题，提出融合R2指标与双深度Q网络强化学习的多目标进化算法R2-RLMOEA，在CEC09基准测试中性能显著优于其他6种同类算法。
2024-04-17 cs.AI cs.NE
HIPO: Instruction Hierarchy via Constrained Reinforcement Learning
School of ECEE Arizona State University（亚利桑那州立大学电子与计算机工程学院）；Department of ECE The Ohio State University（俄亥俄州立大学电子工程系）；Computer Science Department University of Houston（休斯顿大学计算机科学系）；College of Engineering & Applied Science CU Boulder（科罗拉多大学博尔德分校工程与应用科学学院）；Dept. of Electrical Engineering & Computer Science United States Military Academy（美国军事学院电子工程与计算机科学系）
HIPO通过约束马尔可夫决策过程解决层级指令遵循问题，提升系统合规性与用户效用。
2026-03-17 cs.AI cs.CL cs.LG
Structure-aware Reinforcement Learning for Protein Directed Evolution
Institute of AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Pharmolix Inc.（Pharmolix公司）
提出结构感知强化学习框架StructEvo，利用增量结构融合编码器和分层动作网络解决蛋白质定向进化中结构信息整合难题，在两个基准上分别提升9.2%和16.3%，并验证了GFP中的上位效应。
2026-11-06 cs.AI cs.LG
EVOM: Agentic Meta-Evolution of Actor-Critic Architectures for Reinforcement Learning
Xidian University（西安电子科技大学）
提出EVOM框架，通过双层优化（内环低保真PPO训练权重，外环LLM设计智能体驱动元进化）自动搜索高性能演员-评论家架构，在Ant-v4和HalfCheetah-v4上超越基线方法。
2026-06-26 cs.AI cs.LG
Lamarckian Platform: Pushing the Boundaries of Evolutionary Reinforcement Learning towards Asynchronous Commercial Games
Southern University of Science and Technology（南方科技大学）；NetEase Games AI Lab（网易游戏人工智能实验室）
尽管将演化计算集成到强化学习中取得了新的进展，但缺乏一个高性能的平台来赋予可组合性和大规模并行性，这给异步商业游戏的研究和应用带来了不小的困难。在这里，我们介绍Lamarkian-一个开源平台，支持可扩展到分布式计算资源的进化强化学习。为了提高训练速度和数据效率，Lamarckian采用了优化的通信方法和异步进化强化学习工作流程。为了满足商业游戏和各种方法对异步接口的需求，拉马克为异步马尔可夫决策过程定制了一个接口，并设计了一个模块解耦的面向对象的软件体系结构。与最先进的RLlib相比，我们在多达6000个CPU内核的基准测试中实证证明了Lamarckian的独特优势：i）在Google足球游戏上运行PPO时，采样效率和训练速度都提高了一倍; ii）在Pong游戏上运行PBT+PPO时，训练速度提高了13倍。此外，我们还提出了两个用例：i）拉马克如何应用于生成行为多样化的游戏AI; ii）拉马克如何应用于异步商业游戏的游戏平衡测试。
2022-09-21 cs.AI cs.LG cs.NE
Algorithm Discovery With LLMs: Evolutionary Search Meets Reinforcement Learning
EPFL（苏黎世联邦理工学院）；Apple（苹果公司）
提出通过强化学习微调持续优化大语言模型，结合进化搜索加速发现更优算法，在组合优化任务上验证有效性。
2025-08-04 cs.AI cs.LG cs.NE
Qualitative Differences Between Evolutionary Strategies and Reinforcement Learning Methods for Control of Autonomous Agents
Institute of Cognitive Science and Technologies, National Research Council（国家研究委员会认知科学与技术研究所）
在本文中，我们分析了进化策略和强化学习算法之间的质的差异，重点是两个流行的最先进的算法：OpenAI-ES进化策略和最近端策略优化（PPO）强化学习算法-这两个家庭的最相似的方法。我们分析了这些方法在以下方面的不同：（i）一般功效，（ii）应对稀疏奖励的能力，（iii）发现最小解决方案的倾向/能力，（iv）对奖励塑造的依赖，以及（v）应对环境条件变化的能力。分析的性能和表现出的行为策略的代理培训与基准问题的两种方法，使我们能够证明在以前的研究中没有发现的定性差异，以确定这两种方法的相对弱点，并提出改善这些弱点的方法。我们表明，奖励函数的特性具有很强的影响，不仅对于OpenAI-ES和PPO，而且对于其他强化学习算法，这些特性都有很大的不同，从而证明了优化奖励函数特性对所使用算法的重要性。
2022-05-16 cs.AI cs.LG cs.NE
Mitigating LLM Hallucination via Behaviorally Calibrated Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Fudan University（复旦大学）
本文通过行为校准强化学习提升大语言模型的不确定性量化能力，使其在数学推理和事实问答任务中表现更优。
2026-01-28 cs.AI cs.LG
Behavior-based Neuroevolutionary Training in Reinforcement Learning
TH Köln（科隆应用技术大学）；Vrije Universitat Amsterdam（阿姆斯特丹自由大学）
除了在解决经典优化问题方面无可争议的成功之外，神经进化和基于种群的算法已经成为标准强化学习方法的替代方案。然而，进化方法通常缺乏标准的基于值的方法的样本效率，标准的基于值的方法利用收集的状态和值经验。如果考虑对具有显著资源成本的现实问题进行强化学习，则样本效率至关重要。因此，增强进化算法的经验利用方法是期望的，并承诺有价值的见解。本文提出了一种结合拓扑变化神经进化优化和基于值的强化学习的混合算法。我们说明了如何可以使用的政策的行为来创建距离和损失函数，这得益于存储的经验和计算的状态值。它们允许我们通过无梯度进化算法和基于代理的优化来对行为进行建模并在行为空间中进行定向搜索。为此，我们整合了不同的方法来生成和优化代理策略，创建了一个多样化的群体。我们在标准基准测试和一个专门构建的现实问题上测试了我们的算法的性能。我们的研究结果表明，结合方法可以提高进化方法的样本效率和学习速度。
2021-05-17 cs.AI cs.NE
KDRL: Post-Training Reasoning LLMs via Unified Knowledge Distillation and Reinforcement Learning
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Huawei Noah’s Ark Lab（华为诺亚实验室）
本文提出统一后训练框架KDRL，将知识蒸馏与强化学习结合，通过同时最小化学生与教师分布的反向KL散度并最大化规则奖励来优化推理模型，在多个推理基准上优于GRPO及各类KD基线，并实现性能与推理token效率的良好平衡。
2025-06-02 cs.AI cs.CL cs.LG
Bridging Evolutionary Algorithms and Reinforcement Learning: A Comprehensive Survey on Hybrid Algorithms
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院）；Montreal Institute of Learning Algorithms (MILA)（蒙特利尔学习算法研究所）；Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系）
本文全面综述了进化强化学习（ERL）领域，将进化算法（EA）与强化学习（RL）融合，系统总结了三种主要研究方向：EA辅助RL优化、RL辅助EA优化以及EA与RL协同优化，并分析了各分支解决的问题及未来挑战。
2026-05-24 cs.AI cs.LG cs.NE
Understanding the Evolution of Linear Regions in Deep Reinforcement Learning
University of British Columbia（不列颠哥伦比亚大学）；Aalto University（阿尔托大学）；McGill University（麦吉尔大学）
深度强化学习产生的策略通常以其学习曲线为特征，但在许多其他方面仍然知之甚少。基于ReLU的策略导致将输入空间划分为分段线性区域。我们试图了解在深度强化学习过程中观察到的区域计数及其密度是如何演变的，使用的经验结果涵盖了一系列连续控制任务和策略网络维度。直觉上，我们可以预期在训练期间，策略频繁访问的区域的区域密度会增加，从而提供细粒度的控制。我们使用最近的理论和经验结果的线性区域诱导的神经网络在监督学习设置接地和比较我们的结果。从经验上讲，我们发现，区域密度在整个训练过程中只会适度增加，这是沿着来自最终策略的固定轨迹测量的。然而，轨迹本身在训练期间长度也增加，因此从当前轨迹的角度来看，区域密度降低。我们的研究结果表明，深度强化学习策略的复杂性主要不是来自于在策略轨迹上和周围观察到的功能复杂性的显着增长。
2022-11-07 cs.AI cs.LG
Reinforcement Learning in Presence of Discrete Markovian Context Evolution
Huawei UK R&D（华为英国研发中心）；University of Cambridge（剑桥大学）；University College London（伦敦大学学院）
我们考虑一个上下文相关的强化学习（RL）设置，其特征在于：a）未知的有限数量的不可直接观察的上下文; b）突然（不连续）的上下文变化发生在一个情节;和c）马尔可夫上下文进化。我们认为，这种具有挑战性的情况下，经常遇到的应用程序，我们解决它使用贝叶斯方法和变分推理。我们采用粘性分层狄利克雷过程（HDP）之前的模型学习，这可以说是最适合马尔可夫过程建模。然后，我们推导出一个上下文蒸馏过程，它识别和删除虚假的上下文在一个无监督的方式。我们认为，这两个组件的组合允许从数据中推断出上下文的数量，从而处理上下文基数假设。然后，我们找到的最佳策略，使有效的策略学习使用现成的RL算法的表示。最后，我们经验证明（使用健身房环境推车杆摆动，无人机，十字路口），我们的方法成功的国家的最先进的方法的其他框架失败，并详细说明这种失败的原因。
2022-02-14 cs.AI cs.LG
RLEMMO: Evolutionary Multimodal Optimization Assisted By Deep Reinforcement Learning
South China University of Technology（华南理工大学）；Xidian University（西安电子科技大学）
针对现有多模态优化人工自适应策略灵活性不足的问题，提出融合强化学习与注意力机制的元黑箱优化框架RLEMMO，可灵活调整个体搜索策略，在CEC2013基准上性能优于多个强基线。
2024-04-12 cs.AI cs.NE
QKSA: Quantum Knowledge Seeking Agent -- resource-optimized reinforcement learning using quantum process tomography
Delft University of Technology（代尔夫特理工大学）；Guru Gobind Singh Indraprastha University（古鲁·戈宾德·辛格因德拉普拉萨大学）
在这项研究中，我们扩展了通用的强化学习（URL）代理模型的人工智能的量子环境。从量子信息理论出发，将经典的探索性随机知识搜索Agent KL-KSA的效用函数推广到密度矩阵上的距离测度。量子过程层析成像（QPT）算法形成了环境动力学建模程序的易处理子集。最佳QPT策略是基于可变的成本函数，基于算法的复杂性以及计算资源的复杂性来选择。而不是图灵机，我们估计的成本指标的高级语言，以允许现实的实验。整个代理设计封装在一个自我复制的奎因变异的成本函数的基础上的预测值的最佳策略选择方案。因此，多个代理与帕累托最优QPT政策的发展使用遗传规划，模仿物理理论的发展，每个不同的资源权衡。这个正式的框架被称为量子知识搜索代理（QKSA）。尽管量子强化学习很重要，但与量子机器学习的当前趋势相比，几乎没有量子强化学习模型存在。QKSA是第一个类似于经典URL模型的框架。类似于AIXI-tl是Solomonoff普适归纳的资源受限的主动版本，QKSA是最近提出的基于算法信息的量子力学重建的资源受限的参与式观察者框架。QKSA可用于量子信息理论的模拟和研究。具体来说，我们证明了它可以用来加速量子变分算法，其中包括断层重建作为其积分子程序。
2021-12-07 cs.AI cs.ET physics.comp-ph
Deep Inverse Reinforcement Learning for Structural Evolution of Small Molecules
化学库到药物发现管道的大小和质量对于开发新药或重新利用现有药物至关重要。现有的技术，如组合有机合成和高通量筛选通常使过程异常艰难和复杂，因为合成可行的药物的搜索空间是非常巨大的。虽然强化学习在文献中主要用于生成新化合物，但在某些复杂领域，设计简洁地表示学习目标的奖励函数的要求可能令人生畏。基于生成对抗网络的方法在训练后大多会丢弃训练集，并且可能很难训练。在这项研究中，我们提出了一个框架，用于训练一个复合发电机和学习一个可转移的奖励函数的基础上熵最大化逆强化学习范式。我们从实验中表明，逆强化学习路线提供了一个合理的替代方案，用于在奖励函数工程可能不太吸引人或不可能的领域中生成化合物，而表现出所需目标的数据很容易获得。
2020-10-01 cs.AI cs.LG q-bio.BM
RLLTE: Long-Term Evolution Project of Reinforcement Learning
The Hong Kong Polytechnic University（香港理工大学）；Ningbo Institute of Digital Twin, Eastern Institute of Technology（东方理工高等研究院宁波数字孪生研究院）；Purdue University（普渡大学）；Shenzhen Dajiang Innovation Technology Co., Ltd（深圳市大疆创新科技有限公司）；University of Science and Technology of China（中国科学技术大学）
本文提出开源、模块化的强化学习框架 RLLTE，通过从利用—探索视角解耦算法并提供训练、评估、部署、基准与 LLM 副驾驶生态，支持算法开发与工程实践。
2024-12-04 cs.AI cs.LG
Meta Reinforcement Learning with Distribution of Exploration Parameters Learned by Evolution Strategies
LevelupAI；Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Normal University（北京师范大学）
在本文中，我们提出了一种新的元学习方法在强化学习设置，基于演化策略（ES），探索参数空间和确定性策略梯度。ES方法易于并行化，这对于现代训练架构是理想的;然而，这种方法通常需要大量的样本来进行有效的训练。我们使用确定性的策略梯度在适应和其他技术，以弥补样本效率的问题，同时保持固有的可扩展性的ES方法。我们证明，我们的方法取得了良好的效果相比，基于梯度的元学习在高维控制任务的MuJoCo模拟器。此外，由于元训练阶段的无梯度方法，在自适应训练中不需要有关梯度和策略的信息，我们预测并确认我们的算法在需要多步自适应的任务中表现更好。
2019-05-08 cs.AI cs.LG stat.ML
BiERL: A Meta Evolutionary Reinforcement Learning Framework via Bilevel Optimization
Nanjing University（南京大学）；Tianjin University（天津大学）
本文提出基于双层优化的元进化强化学习框架BiERL，通过在单智能体内并行更新超参数与训练模型，并设计嵌入演化经验的种群表示及适应度评估，有效缓解了探索不足与模型崩溃问题，显著提升了多种ERL算法的学习性能。
2023-08-01 cs.AI cs.LG cs.NE
CosmoCore-Evo: Evolutionary Dream-Replay Reinforcement Learning for Adaptive Code Generation
Microsoft Corporation（微软公司）
CosmoCore-Evo通过进化算法提升代码生成的适应性和新颖性，实现更高性能和更快适应。
2025-12-20 cs.AI cs.NE cs.SE
Reinforcement Learning-assisted Evolutionary Algorithm: A Survey and Research Opportunities
National Defense University（国防大学）；University of Kent（肯特大学）；Beijing Jiaotong University（北京交通大学）；Nanyang Technological University（南洋理工大学）；Qatar University（卡塔尔大学）；Beihang University（北京航空航天大学）；National University of Singapore（新加坡国立大学）；University of Alberta（阿尔伯塔大学）；Polish Academy of Sciences（波兰科学院）；Indian Statistical Institute（印度统计学院）；Kyungpook National University（庆北国立大学）
该综述聚焦强化学习辅助进化算法（RL-EA），梳理其概念、分类、集成与辅助策略、属性设置及应用表现，并指明未来研究方向。
2024-01-28 cs.AI cs.LG cs.NE
REACT: Revealing Evolutionary Action Consequence Trajectories for Interpretable Reinforcement Learning
LMU Munich（慕尼黑大学）
本文提出 REACT，通过进化算法优化初始状态扰动并结合兼顾局部与全局多样性的联合适应度函数，生成边缘情形动作后果轨迹，以揭示 RL 策略最优表现之外的行为并增强可解释性。
2024-04-04 cs.AI cs.LG cs.NE
Contextual Quality-Diversity Evolutionary Reinforcement Learning for HVAC Control in Tropical Commercial Buildings
本文提出 CQD-ERL 控制器，用于热带商业建筑 HVAC 监督控制，在新加坡建筑降阶环境训练后，经年度回测与 ASHRAE Guideline 36 基线对比，实现更优控制性能。
2026-08-13 cs.AI cs.LG cs.NE
Evolutionary Reinforcement Learning for Sample-Efficient Multiagent Coordination
Intel Labs（英特尔实验室）；University of California, Irvine（加州大学欧文分校）；Oregon State University（俄勒冈州立大学）
许多协作多智能体强化学习环境为智能体提供稀疏的基于团队的奖励，以及激励学习基本技能的密集的特定于智能体的奖励。由于其稀疏性，仅基于团队奖励的训练策略通常是困难的。此外，仅仅依赖于代理特定的奖励是次优的，因为它通常不能捕获团队协调目标。一种常见的方法是使用奖励塑造通过组合各个奖励来构造代理奖励。但是，这需要针对每个环境进行手动调优。我们引入了多智能体进化强化学习（MERL），这是一个分层训练平台，通过两个优化过程分别处理这两个目标。进化算法通过对团队群体的神经进化来最大化稀疏的基于团队的目标。同时，一个基于梯度的优化器训练策略，只最大化密集的特定于代理的奖励。基于梯度的策略被周期性地添加到进化种群中，作为两个优化过程之间的信息传递的一种方式。这使得进化算法能够使用通过代理特定奖励学习的技能来优化全局目标。结果表明，MERL显着优于国家的最先进的方法，如MADDPG，在一些困难的协调基准。
2020-06-11 cs.AI cs.LG cs.MA
Reinforcement Learning for Control of Evolutionary and Ecological Processes
Mathematical Medicine Group, Stanford University（斯坦福大学数学医学组）；Department of Neurosurgery, Stanford Medical School（斯坦福医学院神经外科部门）；Physician-Scientist Training Program, Stanford Medical School（斯坦福医学院医师-科学家培训计划）；Maternal & Child Health Research Institute, Stanford University School of Medicine（斯坦福大学医学院母婴健康研究所）；Stanford Cancer Institute, Stanford University School of Medicine（斯坦福大学医学院癌症研究所）
针对现有方法难以处理含生态、生理因素的进化控制问题，研究提出将二者建模为计算的进化博弈公式，结合强化学习取得细胞种群进化控制的首创成果，证明复杂度界并建立AI与生物学新联系。
2025-05-17 cs.AI cs.SY eess.SY
Robust Evolutionary Multi-Objective Network Architecture Search for Reinforcement Learning (EMNAS-RL)
Volkswagen Group Innovation（大众集团创新部）；Volkswagen AG（大众汽车股份有限公司）；Institute of Mathematics（数学研究所）；TU Berlin（柏林技术大学）
本文提出面向自动驾驶强化学习的EMNAS，结合遗传算法、并行化与师生迁移机制，在不降低性能的前提下以更少参数获得更高奖励。
2025-06-10 cs.AI cs.LG math.OC
D$^2$Evo: Dual Difficulty-Aware Self-Evolution for Data-Efficient Reinforcement Learning
Zhejiang University（浙江大学）；AMAP, Alibaba Group（AMAP，阿里巴巴集团）
本文提出D$^2$Evo方法，通过双重难度感知的自进化机制，解决强化学习中有效数据稀缺和动态难度变化的问题，从而在数学推理基准上以少于2K真实数学样本实现优于现有方法的性能。
2026-05-16 cs.AI cs.CL cs.LG
Learning Synthetic Environments for Reinforcement Learning with Evolution Strategies
University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
这项工作探讨了强化学习的学习代理不可知的合成环境（SE）。SE充当目标环境的代理，并允许代理比直接在目标环境上训练时更有效地进行训练。我们制定这作为一个双层优化问题，并表示SE作为一个神经网络。通过使用自然演化策略和人口的SE参数向量，我们训练代理在内部循环中不断发展的SE，而在外部循环中，我们使用的目标任务的性能作为元更新SE人口的分数。我们的经验表明，我们的方法是能够学习SE的两个离散的行动空间的任务（CartPole-v0和Acrobot-v1），使我们能够更强大的训练代理和高达60%的步骤少。我们不仅在4000次评估的实验中表明，SE对超参数变化（如学习率、批量大小和网络大小）具有鲁棒性，我们还表明，用DDQN代理训练的SE以有限的方式转移到TD 3的离散动作空间版本，并且很好地转移到Dueling DDQN。
2021-02-08 cs.AI cs.LG cs.NE
