Stabilizing Off-Policy Deep Reinforcement Learning from Pixels
King’s College London（伦敦国王学院）；University of Oxford（牛津大学）
来自像素观察的非策略强化学习（RL）是出了名的不稳定。因此，许多成功的算法必须结合不同的特定领域的做法和辅助损失，学习有意义的行为在复杂的环境中。在这项工作中，我们提供了新的分析，证明这些不稳定性是由使用卷积编码器和低幅度奖励执行时间差学习引起的。我们发现，这种新的视觉致命的三重奏会导致不稳定的训练和过早收敛到退化的解决方案，我们命名为灾难性的自适应现象。基于我们的分析，我们提出了A-LIX，一种为编码器的梯度提供自适应正则化的方法，该方法使用双目标明确防止灾难性自过拟合的发生。通过应用A-LIX，我们在DeepMind Control和Atari 100 k基准测试中的表现明显优于现有技术，而没有任何数据增强或辅助损失。
2022-07-03 cs.AI cs.CV cs.LG
Lyapunov-Regularized Reinforcement Learning for Power System Transient Stability
University of Washington（华盛顿大学）
随着可再生能源的日益广泛应用，电力系统的暂态稳定性问题变得越来越重要。这些资源导致机械惯性的减小，但也提供了频率响应的增加的灵活性。也就是说，它们的电力电子接口可以实现几乎任意的控制律。为了设计这些控制器，强化学习（RL）已经成为一种强大的方法，在搜索最佳的非线性控制策略参数化的神经网络。一个关键的挑战是强制学习控制器必须是稳定的。提出了一种基于李雅普诺夫正则化RL的有耗网络暂态稳定最优频率控制方法。由于缺乏解析的李雅普诺夫函数，我们学习一个由神经网络参数化的李雅普诺夫函数。损耗是针对物理电力系统专门设计的。然后，将学习到的神经李雅普诺夫函数用作正则化，通过惩罚违反李雅普诺夫条件的行为来训练神经网络控制器。算例分析表明，引入李雅普诺夫正则化，使控制器能够稳定，并获得较小的损失。
2021-05-06 cs.LG cs.SY eess.SY
Distributed Optimization of Modular Production Systems using Model-based Reinforcement Learning with Inverse Models
South Westphalia University of Applied Sciences（南威斯特法伦应用科学大学）；Hochschule Düsseldorf University of Applied Sciences（杜塞尔多夫应用科学大学）
本文提出一种基于逆模型的模型强化学习框架，用于模块化制造系统的分布式优化，通过分离执行与状态动力学，提升训练速度与性能，尤其在离策略算法中效果显著。
2026-09-11 cs.AI cs.LG cs.SY
Projected Off-Policy Q-Learning (POP-QL) for Stabilizing Offline Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
针对离线强化学习中的分布偏移问题，提出了一种新型 actor-critic 算法 POP-QL，通过同时重加权离策略样本和约束策略来防止发散并降低误差，在标准基准和次优数据收集任务中表现优异。
2023-11-25 cs.LG
Qgraph-bounded Q-learning: Stabilizing Model-Free Off-Policy Deep Reinforcement Learning
Robert Bosch GmbH（罗伯特·博世有限公司）；TU Berlin（柏林工业大学）
在最先进的无模型离线深度强化学习中，重放存储器用于存储过去的经验并导出所有网络更新。即使状态空间和动作空间都是连续的，重放存储器也只保存有限数量的转换。我们在数据图中表示这些转换，并将其结构与软发散联系起来。通过选择一个具有良好结构的子图，我们构造了一个简化的马尔可夫决策过程，当更多的数据进入时，可以有效地计算出精确的Q值。子图及其相关的Q值可以表示为QGraph。我们证明了简化MDP中每个过渡的Q值是原始连续Q学习问题中相同过渡的Q值的下界。通过在时间差分学习中使用这些下界，我们的方法QG-DDPG不太容易出现软发散，并且表现出更高的样本效率，同时对超参数更具鲁棒性。QGraphs还保留来自重放存储器中已被覆盖的转换的信息，这可以降低算法对重放存储器容量的敏感性。
2020-07-15 cs.LG stat.ML
Tutoring Reinforcement Learning via Feedback Control
University of Salerno（萨勒诺大学）
我们介绍了一个控制辅导强化学习（CTRL）算法。我们的想法是加强表格学习算法的控制策略与有限的知识的系统模型。通过指导学习过程，可以大大降低学习速率。我们使用的经典问题的稳定倒立摆作为基准，数值说明的优点和缺点的方法。
2020-12-12 cs.LG cs.SY eess.SY
Stabilizing Reinforcement Learning with LLMs: Formulation and Practices
Alibaba Inc（阿里巴巴公司）
本文提出通过大语言模型稳定强化学习的新方法，揭示了代理目标优化的条件，并通过实验验证了重要性采样校正和Routing Replay在提升训练稳定性中的作用。
2025-12-03 cs.AI cs.CL cs.LG
Stabilizing Voltage in Power Distribution Networks via Multi-Agent Reinforcement Learning with Transformer
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
可再生能源的日益整合为配电网的运营带来了一系列技术挑战。其中，由可再生能源的不稳定性引起的电压波动越来越受到关注。利用MARL算法协调电网中多个控制单元，能够处理电力系统的快速变化，近年来在有源电压控制任务中得到了广泛的研究。然而，现有的方法基于MARL忽略了网格的独特性，并实现有限的性能。在本文中，我们引入了Transformer架构，以提取适合于电力网络问题的表示，并提出了一个基于transformer的多Agent Actor-Critic框架（T-MAAC），以稳定配电网中的电压。此外，我们采用了一种新的任务训练过程中量身定制的电压控制任务，提高了样本效率和促进表示学习的变压器为基础的模型。我们将T-MAAC与不同的多智能体行动者-评论者算法相结合，在有源电压控制任务上的一致改进证明了所提出方法的有效性。
2022-06-08 cs.LG cs.MA
Clustering-Based Weight Orthogonalization for Stabilizing Deep Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology, Chinese Academy of Sciences（中国科学院脑认知与脑智技术关键实验室）
针对深度强化学习中环境非平稳导致样本效率低的问题，提出可嵌入任意RL策略网络的COWM层，通过聚类与投影矩阵稳定训练，在DMControl基准上性能优于SOTA方法，兼具鲁棒性与通用性。
2025-11-02 cs.AI cs.LG
Stable Modular Control via Contraction Theory for Reinforcement Learning
HP-NTU Digital Manufacturing Corporate Lab（惠普-南洋理工大学数字制造企业实验室）；Massachusetts Institute of Technology（麻省理工学院）
本研究提出基于收缩理论的强化学习稳定模块化控制方法，通过信号合成与动态分解实现模块化，将非线性稳定性问题转化为可代数求解的子问题，可轻松集成到分层RL等架构中并提升鲁棒性、泛化性及操作学习性能。
2023-11-07 cs.AI cs.LG cs.SY
Dragonfly: a modular deep reinforcement learning library
MINES Paristech（巴黎矿业学院）；PSL - Research University（巴黎文理研究大学）
本文介绍模块化深度强化学习库Dragonfly，通过JSON序列化支持模块替换与参数扫描，并面向CPU密集型数值模拟环境，在常用基准上表现出具有竞争力的性能。
2025-07-28 cs.LG
Modular Deep Reinforcement Learning with Temporal Logic Specifications
University of Oxford（牛津大学）
我们提出了一个演员批评，无模型，和在线强化学习（RL）框架的连续状态连续动作马尔可夫决策过程（MDP）时，奖励是高度稀疏的，但包括一个高层次的时间结构。我们表示这个时间结构的有限状态机和构建一个在飞行中的同步产品与MDP和有限机。时间结构作为产品内的RL代理的指南，其中提出了模块化深度确定性策略梯度（DDPG）架构来生成低级控制策略。我们评估我们的框架在火星探测器实验中，我们提出的合成政策的成功率。
2019-11-22 cs.AI cs.LG cs.LO
Learning over All Stabilizing Nonlinear Controllers for a Partially-Observed Linear System
Sydney Institute for Robotics and Intelligent Systems（悉尼机器人与智能系统研究所）；Australian Centre for Field Robotics（澳大利亚野外机器人中心）；School of Aerospace, Mechanical and Mechatronic Engineering, The University of Sydney（悉尼大学航空航天、机械与机电工程学院）
本文提出了一种非线性策略架构，用于部分观测线性动力系统的控制，提供内置的闭环稳定性保证。该政策是基于一个非线性版本的尤拉参数化，并增加了一个已知的稳定的线性控制器与最近开发的一类动态神经网络模型称为经常性平衡网络（REN）的非线性算子。我们证明了REN是收缩和Lipschitz非线性系统的通用逼近器，并随后证明了所提出的Youla-REN结构是稳定非线性控制器的通用逼近器. REN架构简化了学习，因为可以应用无约束优化，并且我们考虑了基于模型的情况，其中精确梯度可用，以及使用零阶神谕随机搜索的强化学习。在仿真示例中，我们的方法收敛速度更快，更好的控制器，比现有的方法更具可扩展性，同时保证学习瞬态过程中的稳定性。
2022-06-17 cs.LG cs.SY eess.SY
Stabilizing Reinforcement Learning in Differentiable Multiphysics Simulation
Carnegie Mellon University（卡内基梅隆大学）
本文提出SAPO算法与Rewarped仿真平台，利用可微仿真的一阶解析梯度稳定强化学习，有效处理刚体和可变形体交互任务，超越现有基线。
2025-02-27 cs.AI cs.CV cs.LG
Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning
OATML, University of Oxford（OATML，牛津大学）；OXCAV, University of Oxford（OXCAV，牛津大学）
CAPO通过曲率感知优化提升LLM推理的样本效率和稳定性
2026-02-28 cs.AI cs.LG
QUADS: Stabilizing NVFP4 Reinforcement Learning for MoE via QUantization-error Alignment across Dual Sides
Alibaba Inc（阿里巴巴公司）
研究针对MoE大语言模型RL中展开生成瓶颈，提出QUADS方法。通过训练 - 推理误差分析确定激活误差是FP4 RL不稳定主因，在训练器和展开侧分别采取措施，实现BF16精度，提升指标并提高展开吞吐量。
2026-07-20 cs.LG
Tianshou: a Highly Modularized Deep Reinforcement Learning Library
Tsinghua University（清华大学）；Wandercraft；Ant Group（蚂蚁集团）
在本文中，我们介绍了Tianshou，这是一个高度模块化的Python库，用于深度强化学习（DRL），使用PyTorch作为后端。天寿打算通过提供灵活可靠的DRL算法基础设施来促进研究。它通过统一的界面支持20多种经典算法的在线和离线训练。为了方便相关研究和证明天寿的可靠性，我们发布了天寿的MuJoCo环境基准测试，涵盖了八种具有最先进性能的经典算法。我们在https://github.com/thu-ml/tianshou/上开源了天寿。
2022-08-10 cs.LG
Stabilizing Long-term Multi-turn Reinforcement Learning with Gated Rewards
针对长期多轮强化学习中的奖励稀疏与错位问题，提出面向软件工程的RL框架及门控奖励累积方法（G-RA），在长期奖励达标时累积即时奖励，有效提升了任务完成率并避免了策略退化。
2025-08-14 cs.AI cs.CL cs.LG
Stabilizing Reinforcement Learning for Diffusion Language Models
Huawei Foundation Model Department（华为基础模型部门）；The Chinese University of Hong Kong（香港中文大学）；The Hong Kong University of Science and Technology（香港科学与技术大学）
本文提出StableDRL方法，针对扩散语言模型中的强化学习问题，通过无条件裁剪和自我归一化解决比率估计噪声导致的不稳定性，提升训练稳定性。
2026-03-06 cs.AI cs.LG
Stabilizing Transformers for Reinforcement Learning
DeepMind；Carnegie Mellon University（卡内基梅隆大学）
由于它们能够在长时间范围内有效地整合信息并扩展到大量数据，自注意力架构最近在自然语言处理（NLP）方面取得了突破性的成功，在语言建模和机器翻译等领域取得了最先进的成果。利用Transformer处理长时间信息的能力可以在部分可观察的强化学习（RL）领域提供类似的性能提升，但NLP中使用的大规模Transformers尚未成功应用于RL设置。在这项工作中，我们证明了标准的Transformer架构是难以优化的，这是以前在监督学习设置中观察到的，但在RL目标中变得特别明显。我们提出的架构修改，大大提高了稳定性和学习速度的原始Transformer和XL的变种。所提出的架构Gated Transformer-XL（GTrXL）在具有挑战性的内存环境中超越了LSTM，并在多任务DMLab-30基准测试套件中取得了最先进的结果，超过了外部内存架构的性能。我们发现，使用相同损失训练的GTrXL具有稳定性和性能，始终匹配或超过竞争性LSTM基线，包括在内存不太重要的反应性任务中。GTrXL提供了一个易于训练，易于实现，但更具有表现力的架构替代标准多层LSTM普遍用于部分可观察环境中的RL代理。
2019-10-13 cs.AI cs.LG stat.ML
Stale but Stable: Staleness-Adaptive Trust Regions for Stabilizing Asynchronous Reinforcement Learning
研究针对异步强化学习中陈旧问题，提出陈旧自适应信赖域（SAT）方法，利用分离采样对数比率等技术识别高不匹配尾部并收缩PPO区间端点，实验表明该方法有效稳定异步强化学习，在特定设置下取得较好结果。
2026-07-27 cs.CL cs.LG
MSACL: Multi-Step Actor-Critic Learning with Lyapunov Certificates for Exponentially Stabilizing Control
School of Mathematical Sciences, Beihang University（北京航空航天大学数学科学学院）；School of Automation Science and Electrical Engineering, Beihang University（北京航空航天大学自动化科学与电气工程学院）；Fujian Key Laboratory of Financial Information Processing, Putian University（福建金融信息处理重点实验室）
本文提出MSACL，结合指数稳定性与最大熵强化学习，通过多步样本和李雅普诺夫证书提升稳定控制性能，实验表明其在多个基准任务中优于传统RL和Lyapunov基方法。
2026-03-22 cs.AI cs.LG cs.RO
RLgraph: Modular Computation Graphs for Deep Reinforcement Learning
University of Cambridge（剑桥大学）；rlcore；Helmut Schmidt University（赫尔穆特·施密特大学）
强化学习（RL）任务的实现、执行和测试具有挑战性，这是由于算法的不稳定性、超参数敏感性和异构分布式通信模式。我们主张分离的逻辑组件组成，后端图形定义，和分布式执行。为此，我们引入RLgraph，一个用于在静态图和运行定义范式中设计和执行强化学习任务的库。由此产生的实现是健壮的，可增量测试的，并在不同的深度学习框架和分布式后端之间产生高性能。
2019-02-28 cs.AI cs.LG stat.ML
Towards Modularity Optimization Using Reinforcement Learning to Community Detection in Dynamic Social Networks
University of Brasília（巴西利亚大学）
社会网络中社团结构的识别是网络分析中的一个重要问题。有许多解决方案使用静态场景来解决这个问题，当面对动态场景时，一些解决方案可能适用，但其他解决方案根本不适合，此外，当考虑分析不断增长的网络的需求时。在这种情况下，我们提出了一种基于强化学习策略的动态网络中的社区发现问题的方法，以处理大网络上的变化，使用局部优化的模块化得分的变化的实体。使用合成和真实世界的动态网络数据的实验显示，结果与静态场景相当。
2021-11-25 cs.LG cs.SI
Towards Understanding the Link Between Modularity and Performance in Neural Networks for Reinforcement Learning
School of Information Technology；Electrical Engineering The University of Queensland Brisbane, Australia
本文利用 NEAT 神经进化和 MAP-Elites 在三项强化学习任务中分析模块化与性能的关系，发现二者受网络及环境特征共同制约，直接优化模块化未必有益。
2024-10-25 cs.LG cs.NE
Stability-certified reinforcement learning: A control-theoretic perspective
Department of Industrial Engineering and Operations Research, University of California, Berkeley（工业工程与运营管理系，加州大学伯克利分校）；Department of Industrial Engineering and Operations Research, and the Tsinghua-Berkeley Shenzhen Institute, University of California, Berkeley（工业工程与运营管理系，以及清华-伯克利深圳研究院，加州大学伯克利分校）
本文从控制论角度研究强化学习策略与非线性动力系统连接时的稳定性认证问题，提出了一种基于半定规划可行性的方法，通过调节策略的输入输出梯度来获得鲁棒稳定性保证，并通过实验验证了该方法在多飞行编队和电力系统频率调节任务中的有效性。
2018-10-26 cs.LG cs.SY eess.SY
Modularity benefits reinforcement learning agents with competing homeostatic drives
Princeton University（普林斯顿大学）
平衡相互冲突的需求是智能的基础。标准的强化学习算法最大化标量奖励，这需要将不同的目标特定奖励组合成一个数字。可替代地，不同的目标也可以在动作值的级别上组合，使得负责不同目标的专家模块向决策过程提交不同的动作建议，每个动作建议基于彼此独立的奖励。在这项工作中，我们将探索这种替代策略的潜在好处。我们研究了一个与生物学相关的多目标问题，一组变量的持续动态平衡，并将单片深度Q网络与每个变量都有专用Q学习器的模块化网络进行了比较。我们发现，模块化代理：a）需要最小的外决定的探索; b）提高了样本效率;和c）是更强大的域外扰动。
2022-04-13 cs.LG
Assessing Policy, Loss and Planning Combinations in Reinforcement Learning using a New Modular Architecture
INESC-ID / Instituto Superior Técnico（INESC-ID / 里斯本高等理工学院）
基于模型的强化学习范式使用规划算法和神经网络模型，最近在各种应用中取得了前所未有的成果，导致了现在被称为深度强化学习的东西。这些代理人是相当复杂的，涉及多个组件，因素，可以创造研究的挑战。在这项工作中，我们提出了一种适合这些类型代理的新模块化软件架构，以及一组可以轻松重用和组装的构建块，以构建新的基于基于模型的强化学习代理。这些构建块包括规划算法、策略和损失函数。我们说明了使用这种架构相结合的几个这些构建块来实现和测试代理，优化到三个不同的测试环境：Cartpole，Minigrid和Tictactoe。一个特定的规划算法，在我们的实现中可用，以前没有在强化学习中使用，我们称之为平均极大极小，在三个测试环境中取得了良好的效果。用这种结构进行的实验表明，规划算法、策略和损失函数的最佳组合严重依赖于问题。这一结果提供了证据表明，所提出的架构，这是模块化和可重用的，是有用的强化学习研究人员谁想要研究新的环境和技术。
2022-01-08 cs.AI cs.LG
SLM Lab: A Comprehensive Benchmark and Modular Software Framework for Reproducible Deep Reinforcement Learning
California Institute of Technology（加州理工学院）
我们介绍SLM实验室，一个可重复的强化学习（RL）研究的软件框架。SLM Lab实现了许多流行的RL算法，提供同步和异步并行实验执行，超参数搜索和结果分析。SLM Lab中的RL算法以模块化的方式实现，因此算法性能的差异可以自信地归因于算法之间的差异，而不是实现之间的差异。在这项工作中，我们提出了SLM实验室背后的设计选择，并使用它来产生一个全面的单代码库RL算法基准。此外，由于SLM实验室的模块化设计，我们引入并评估了Soft Actor-Critic算法的离散动作变体（Haarnoja等人，2018）和RL代理的混合同步/异步训练方法。
2019-12-28 cs.AI cs.LG stat.ML
A Modular and Transferable Reinforcement Learning Framework for the Fleet Rebalancing Problem
National Renewable Energy Laboratory（国家可再生能源实验室）
随需应变（MoD）系统在实现灵活高效的城市交通方面显示出巨大的潜力。然而，与国防部车辆调度和车队再平衡相关的作战决策带来了重大的技术挑战。出于这个原因，运营商倾向于采用已被证明在特定设置中工作良好的简化算法。为了帮助弥合新方法和现有方法之间的差距，我们提出了一个基于无模型强化学习（RL）的车队再平衡模块化框架，该框架可以利用现有的调度方法来最大限度地降低系统成本。特别是，通过将调度视为环境动态的一部分，集中式代理可以学习间歇地指导调度员重新定位空闲车辆并减轻车队不平衡。我们制定RL状态和动作空间的分布在网格分区的操作区域，使框架的可扩展性和避免与多智能体RL的复杂性。数值实验，使用真实世界的行程和网络数据，表明这种方法有几个明显的优势，基线方法，包括：改善系统成本;高度的适应性，选择的调度方法;和执行规模不变的迁移学习的能力，具有相似的车辆和请求分布的问题实例之间。
2021-05-27 cs.AI cs.LG cs.MA
skrl: Modular and Flexible Library for Reinforcement Learning
Mondragon Unibertsitatea（蒙德拉贡大学）；Aalborg University（奥尔堡大学）
skrl是一个用Python编写的用于强化学习的开源模块化库，其设计重点是算法实现的可读性，简单性和透明度。除了支持使用OpenAI Gym和DeepMind传统界面的环境外，它还提供加载、配置和操作NVIDIA Isaac Gym和NVIDIA Omniverse Isaac Gym环境的工具。此外，它还可以同时训练具有可定制范围（所有可用环境中的环境子集）的多个代理，这些代理可以在同一次运行中共享资源，也可以不共享资源。该库的文档可以在https://skrl.readthedocs.io上找到，其源代码可以在GitHub https://github.com/Toni-SM/skrl上找到。
2022-07-09 cs.AI cs.LG
Low-Rank Modular Reinforcement Learning via Muscle Synergy
Tsinghua University（清华大学）；Harvard University（哈佛大学）
模块化强化学习（RL）通过学习每个执行器的策略来分散多关节机器人的控制。先前关于模块化RL的工作已经证明了它能够通过共享执行器策略控制形态上不同的代理。然而，随着机器人的自由度（DoF）的增加，训练一个形态可推广的模块化控制器变得指数级困难。受人类中枢神经系统控制众多肌肉的方式的启发，我们提出了一个协同导向的学习（SOLAR）框架，该框架利用了DoF在机器人控制中的冗余性。通过无监督学习方法将致动器分组为协同，并且学习协同动作以同步控制多个致动器。通过这种方式，我们实现了一个低级别的控制在协同水平。我们广泛评估我们的方法在各种机器人形态，结果表明其优越的效率和推广性，特别是在机器人与一个大的自由度像Humanoids++和UNIMALs。
2022-10-26 cs.AI cs.LG cs.RO
Heterogeneous Knowledge for Augmented Modular Reinforcement Learning
University College London（伦敦大学学院）；University of Bologna（博洛尼亚大学）
针对现有模块化强化学习模块同构、难整合多源异构知识的问题，提出AMRL框架，通过选择器组合异构模块，实现性能、效率与泛化性提升，并探讨了相关安全等问题。
2024-10-31 cs.AI cs.LG
RAIL: A modular framework for Reinforcement-learning-based Adversarial Imitation Learning
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；US Army Research Laboratory（美国陆军研究实验室）；Sony AI（索尼人工智能）
虽然对抗性模仿学习（AIL）算法最近在各种模仿学习基准测试中取得了最先进的结果，但目前还不清楚各种设计决策对性能的影响。为此，我们在这里提出了一个有组织的，模块化的框架，称为强化学习为基础的对抗性模仿学习（RAIL），包括和概括现有的AIL方法的一个流行的子类。使用RAIL所支持的观点，我们创建了两个新的IfO（Imitation from Observation）算法，我们称之为SAIfO：基于SAC的对抗性模仿来自观察和SILEM（Skilling Feature Compensation for模仿学习with Embodiment Mismatch）。我们将在单独的技术报告中更深入地介绍SILEM。在本文中，我们专注于SAIfO，在OpenAI Gym的一系列运动任务上对其进行评估，并表明它优于执行IfO的同期RAIL算法。
2021-05-08 cs.LG
An Efficient Off-Policy Reinforcement Learning Algorithm for the Continuous-Time LQR Problem
Leibniz University Hannover（汉诺威莱布尼茨大学）
本文提出一种仅基于输入-状态数据的离策略强化学习算法，用于解决连续时间LQR问题，通过引入持续激励信号保证矩阵方程解的唯一性，并利用Sylvester转置方程提升策略评估效率。
2023-03-31 cs.LG cs.SY eess.SY
A Goal-Oriented Reinforcement Learning-Based Path Planning Algorithm for Modular Self-Reconfigurable Satellites
State Key Laboratory of Micro-Spacecraft Rapid Design（微航天快速设计国家重点实验室）；Intelligent Cluster, Harbin Institute of Technology, Harbin（哈尔滨工业大学）
本文提出一种面向目标的强化学习路径规划算法，首次解决模块化自重构卫星的多目标构型问题，并结合后见经验回放与无效动作掩码，在四单元和六单元集群中分别实现95%和73%的成功率。
2025-07-22 cs.AI cs.LG cs.RO
Stabilizing Policy Gradient Methods via Reward Profiling
本文提出了一种通用的奖励分析框架，通过高置信度性能估计稳定策略梯度方法，提高收敛速度并降低回报方差。
2026-01-24 cs.AI cs.LG cs.SY
Stability-Constrained Markov Decision Processes Using MPC
IMT School for Advanced Studies Lucca（卢卡IMT高等研究院）；Gran Sasso Science Institute - GSSI（格兰萨索科学研究院（GSSI））
在本文中，我们考虑解决折扣马尔可夫决策过程（MDP）的约束下，所产生的政策是稳定的。实际上，MDP是基于某种形式的策略近似来求解的。我们将利用最近的结果，建议使用模型预测控制（MPC）作为强化学习背景下的结构化策略，使其有可能直接在基于MPC的策略中引入稳定性要求。这将限制MDP的解决方案，以建设稳定政策。MPC的稳定性理论是最成熟的非折扣MPC的情况下。因此，我们将首先在本文中表明，稳定的贴现MDPs可以重新制定为未贴现的。这一观察结果将导致具有稳定性要求的基于MPC的策略将产生最优策略，如果贴现MDP是稳定的，则为最佳稳定策略。
2021-02-02 cs.LG cs.SY eess.SY
Hierarchical Modular Reinforcement Learning Method and Knowledge Acquisition of State-Action Rule for Multi-target Problem
Prefectural University of Hiroshima（广岛县立大学）；Iyo Bank, Ltd.（伊予银行有限公司）
分层模块化强化学习（Hierarchical Modular Reinforcement Learning，HMRL）由两层学习组成，其中利润分享在高层规划猎物位置，Q学习方法在低层训练状态动作到目标。本文将HMRL扩展到多目标问题，考虑目标间的距离。该函数称为“AT场”，可以根据两个代理之间的距离和另一个代理的优势/劣势来估计代理的利益。此外，与状态-动作规则相关的知识由C4.5提取。在这种情况下的行动是通过使用所获得的知识来决定的。为了验证所提出的方法的有效性，一些实验结果的报告。
2018-04-08 cs.AI cs.LG cs.MA
VI-CuRL: Stabilizing Verifier-Independent RL Reasoning via Confidence-Guided Variance Reduction
RIKEN AIP（日本理化学研究所高级研究所）；The University of Tokyo（东京大学）
提出VI-CuRL框架，利用模型内在置信度构建课程学习，在不依赖外部验证器的情况下通过降低动作和问题方差稳定训练，理论保证渐近无偏性，在数学和通用推理基准上超越依赖/不依赖验证器的基线。
2026-05-22 cs.AI cs.LG
Beyond Tabula-Rasa: a Modular Reinforcement Learning Approach for Physically Embedded 3D Sokoban
DeepMind（深度思维）
智能机器人需要使用具体的、时空复杂的感觉信息和运动控制来实现抽象的目标。Tabula rasa深度强化学习（RL）已经解决了视觉、抽象或物理推理方面的高要求任务，但联合解决这些问题仍然是一个艰巨的挑战。最近，一个未解决的基准任务是Mujoban，它集成了这些挑战，其中机器人需要安排从2D推箱子拼图生成的3D仓库。我们探讨了像Mujoban这样的集成任务是否可以通过将RL模块组合在一起来解决，其中模块具有类似于经典机器人架构的明确定义的角色。与通常基于模型的经典架构不同，我们仅使用通过RL或监督学习训练的无模型模块。我们发现，我们的模块化RL方法大大优于Mujoban上最先进的单片RL代理。此外，当例如，使用不同的机器人平台来解决相同的任务。总之，我们的研究结果为研究模块化RL设计的重要性提供了强有力的证据。项目网址：https://sites.google.com/view/modular-rl/
2020-10-03 cs.AI cs.LG cs.RO
Multi-Task Reinforcement Learning with Soft Modularization
UC San Diego（加州大学圣迭戈分校）；UC Berkeley（加州大学伯克利分校）；IIIS, Tsinghua（清华大学交叉信息研究院）
多任务学习是强化学习中一个非常具有挑战性的问题。虽然联合训练多个任务允许策略在不同任务之间共享参数，但优化问题变得不简单：仍然不清楚网络中的哪些参数应该在任务之间重用，以及来自不同任务的梯度如何相互干扰。因此，而不是天真地在任务之间共享参数，我们引入了一个明确的模块化技术的政策表示，以减轻这个优化问题。给定一个基本策略网络，我们设计了一个路由网络，估计不同的路由策略，以重新配置每个任务的基本网络。我们的任务特定策略不是直接为每个任务选择路由，而是使用一种称为软模块化的方法来软组合所有可能的路由，这使得它适用于顺序任务。我们在仿真中对各种机器人操作任务进行了实验，并表明我们的方法在强基线上大幅提高了样本效率和性能。
2020-12-07 cs.AI cs.LG cs.RO
BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping
Fudan University（复旦大学）；Shanghai Qiji Zhifeng Co., Ltd.（上海奇绩智峰有限公司）；Shanghai Innovation Institute（上海创新研究院）
针对大语言模型离策略强化学习中熵降、优化不稳定的问题，提出带自适应裁剪的平衡策略优化方法BAPO，动态调整裁剪边界平衡正负贡献、保留熵，在多场景及AIME基准上实现更优性能。
2025-10-21 cs.AI cs.CL cs.LG
Adaptable Automation with Modular Deep Reinforcement Learning and Policy Transfer
Northeastern University（东北大学）
深度强化学习（RL）的最新进展为智能自动化创造了前所未有的机会，机器可以自主学习执行给定任务的最佳策略。然而，目前的深度强化学习算法主要专注于窄范围的任务，样本效率低下，缺乏足够的稳定性，这反过来又阻碍了它们的工业应用。本文通过开发和测试基于任务模块化和迁移学习概念的Hyper-Actor Soft Actor-Critic（HASAC）RL框架来解决这一限制。建议的HASAC的目标是提高一个代理的适应性，以新的任务，通过一个“超演员”的前任务的学习政策转移到新的任务。HASAC框架进行了测试，一个新的虚拟机器人操作基准，元世界。数值实验表明，HASAC在奖励值、成功率和任务完成时间方面优于最先进的深度RL算法。
2020-11-27 cs.AI cs.HC cs.LG
Modular Object-Oriented Games: A Task Framework for Reinforcement Learning, Psychology, and Neuroscience
Massachusetts Institute of Technology（麻省理工学院）；Center for Brains, Minds and Machines, MIT（麻省理工学院脑、心智与机器中心）；McGovern Institute of Brain Research, MIT（麻省理工学院麦戈文脑科学研究所）
近年来，研究模拟游戏的趋势在人工智能、认知科学、心理学和神经科学领域获得了动力。这些领域的交叉点最近也有所增长，因为研究人员越来越多地使用人工代理和人类或动物主题来研究此类游戏。然而，实现游戏可能是一项耗时的工作，并且可能需要研究人员处理不容易定制的复杂代码库。此外，研究人工智能、人类心理学和动物神经生理学的跨学科研究人员面临着额外的挑战，因为现有的平台只针对其中一个领域。在这里，我们介绍模块化面向对象游戏，这是一个轻量级，灵活，可定制的Python任务框架，专为机器学习，心理学和神经生理学研究人员设计。
2021-02-25 cs.AI cs.LG q-bio.NC
Modular Lifelong Reinforcement Learning via Neural Composition
University of Pennsylvania（宾夕法尼亚大学）；Microsoft Research（微软研究院）
人类通常通过将复杂问题分解为更容易的子问题，然后组合子问题解决方案来解决复杂问题。这种类型的组合推理允许在处理共享部分底层组合结构的未来任务时重用子问题解决方案。在持续或终身的强化学习（RL）设置中，这种将知识分解为可重用组件的能力将使代理能够通过利用累积的组合结构快速学习新的RL任务。我们探索了一种基于神经模块的组合形式，并提出了一组RL问题，直观地承认组合解决方案。从经验上讲，我们证明，神经组成确实抓住了这个空间的问题的底层结构。我们进一步提出了一种组合终身RL方法，该方法利用累积的神经组件来加速未来任务的学习，同时通过离线RL在重放的经验上保留先前任务的性能。
2022-07-01 cs.AI cs.LG
Metareasoning in Modular Software Systems: On-the-Fly Configuration using Reinforcement Learning with Rich Contextual Representations
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Microsoft Research（微软研究院）
模块化子系统的组件正在投入使用，以在运输，医疗保健和工业自动化等领域的高风险，时间紧迫的任务中执行传感，推理和决策。我们利用强化学习来指导包括系统的一组交互模块的配置，从而最大化整个计算系统的效用。进行系统范围优化的挑战是一个组合问题。通过修改特定模块的配置来提高其性能的本地尝试通常会导致系统性能的整体效用的损失，因为下游模块的输入分布会发生急剧变化。我们提出的元推理技术，考虑了丰富的输入表示，监控整个管道的状态，并调整模块的配置上的飞行，以最大限度地提高系统的操作的效用。我们在各种强化学习技术中显示了真实世界和合成管道的显着改进。
2019-05-12 cs.AI cs.LG cs.SE
A Modular Framework for Reinforcement Learning Optimal Execution
Zurich University of Applied Sciences（苏黎世应用科学大学）
在这篇文章中，我们开发了一个模块化框架，用于将强化学习应用于最优交易执行问题。该框架的设计考虑了灵活性，以简化不同模拟设置的实施。而不是专注于代理和优化方法，我们专注于环境，并分解必要的要求，以模拟强化学习框架下的最佳交易执行，如数据预处理，观察的构建，动作处理，子订单执行，模拟基准，奖励计算等。探讨它们各自的实现所面临的困难以及它们之间的相互作用，并讨论每个组件在模拟中引起的不同现象，突出模拟与真实市场行为之间的差异。我们通过一个设置展示了我们的模块化实现，该设置遵循时间加权平均价格（TWAP）订单提交时间表，允许代理专门下限价订单，通过迭代限价订单簿（LOB）的快照来模拟它们的执行，并计算奖励作为TWAP基准算法遵循相同时间表实现的价格的改进。我们还开发了评估程序，其中包括在训练范围的间隔内对给定代理进行迭代再训练和评估，模仿代理在不断重新训练时的行为，因为新的市场数据变得可用，并模仿算法提供商在当前监管框架下必须执行的监控实践。
2022-08-11 cs.CE cs.LG
Modular Networks Prevent Catastrophic Interference in Model-Based Multi-Task Reinforcement Learning
Institute for Neural Computation（神经计算研究所）；Ruhr-University Bochum（波鸿鲁尔大学）
在多任务强化学习环境中，学习者通常通过利用多个相关任务之间的相似性来从多个相关任务的训练中受益。与此同时，经过训练的代理能够解决更广泛的不同问题。虽然这种影响是有据可查的无模型多任务方法，我们证明了一个不利的影响时，使用一个单一的学习动力学模型的多个任务。因此，我们解决了一个基本问题，即基于模型的多任务强化学习是否可以像无模型方法从共享策略网络中受益那样从共享动态模型中受益。使用一个单一的动力学模型，我们看到了任务混乱和性能下降的明显证据。作为补救措施，通过为每个任务训练隔离的子网络来强制学习的动态模型的内部结构，在使用相同数量的参数的同时显著提高了性能。我们说明了我们的研究结果，通过比较两种方法在一个简单的gridworld和一个更复杂的vizdoom多任务实验。
2021-11-15 cs.AI cs.LG
ROS2Learn: a reinforcement learning framework for ROS 2
Acutronic Robotics（Acutronic机器人技术公司）
我们提出了一个新的框架，深度强化学习（DRL）模块化机器人训练机器人直接从关节状态，使用传统的机器人工具。我们使用一个国家的最先进的实现的近端策略优化，信任域策略优化和Actor-Critic Kronecker因子的信任域算法学习政策，在四个不同的模块化关节机械臂（MARA）环境。我们使用与机器人中使用的典型工具（如Gazebo和Robot操作系统2（ROS 2））通信的框架来支持此过程。我们评估了几种算法在模块化机器人与仿真的实证研究。
2019-03-18 cs.AI cs.LG cs.RO
Modular Multitask Reinforcement Learning with Policy Sketches
University of California, Berkeley（加州大学伯克利分校）
我们描述了一个由策略草图指导的多任务深度强化学习框架。草图用命名的子任务序列来注释任务，提供关于任务之间的高级结构关系的信息，但不提供如何实现它们-特别是不提供以前关于RL学习策略抽象的许多工作所使用的详细指导（例如，中间奖励，子任务完成信号或内在动机）。为了从草图中学习，我们提出了一个模型，该模型将每个子任务与模块化子策略相关联，并通过在共享子策略中绑定参数来联合最大化整个任务特定策略的奖励。优化是通过一个解耦的演员-评论家训练目标，促进学习共同的行为，从多个不同的奖励功能。我们评估了我们的方法在三个环境中的有效性，这些环境具有离散和连续控制，并且只有在完成一些高级别子目标后才能获得稀疏奖励。实验表明，使用我们的方法来学习由草图指导的策略，比现有的学习特定于任务或共享策略的技术具有更好的性能，同时自然地诱导出一个可解释的原始行为库，这些行为可以重新组合以快速适应新任务。
2017-06-17 cs.LG cs.NE
Context-aware controller inference for stabilizing dynamical systems from scarce data
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）
本文介绍了一种数据驱动的控制方法，用于稳定高维动力系统。所提出的上下文感知控制器推理方法是基于控制器只需要局部作用于不稳定动态来稳定系统的观察。这意味着仅学习不稳定动力学就足够了，不稳定动力学通常被限制在比所有系统动力学的高维状态空间低得多的维度空间中，因此很少的数据样本就足以识别它们。数值实验表明，上下文感知控制器推理学习稳定控制器从数量级更少的数据样本比传统的数据驱动控制技术和强化学习的变体。实验进一步表明，上下文感知控制器推理的低数据要求在具有复杂物理的数据稀缺工程问题中特别有益，因为学习完整的系统动力学在数据和训练成本方面通常是棘手的。
2023-01-18 cs.LG cs.NA math.NA
Mixture-of-World Models: Scaling Multi-Task Reinforcement Learning with Modular Latent Dynamics
School of Automation, Beijing Institute of Technology（自动化学院，北京理工大学）；Jiangxing Intelligence Inc.（江行智能有限公司）
混合世界模型通过模块化架构和任务聚类策略，在多任务强化学习中实现了高效的参数利用和样本效率，展示了在Atari和Meta-World基准上的卓越性能。
2026-02-01 cs.LG
FlowRL: A Taxonomy and Modular Framework for Reinforcement Learning with Diffusion Policies
提出扩散/流策略强化学习算法的统一分类法，构建模块化JAX框架，在多个基准上提供系统比较，为算法设计与应用提供指导。
2026-06-16 cs.LG
