Long-Horizon Language Model Reinforcement Learning via Progressive Point Matching
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
针对长视界任务中稀疏奖励导致学习缓慢的问题，本文提出无偏的密集奖励方法渐进式点匹配，在片段级奖励部分进展，理论及实验证明其指数级提升效率，并在困难数学推理任务上取得改进。
2026-09-09 cs.LG
Adapting to Reward Progressivity via Spectral Reinforcement Learning
RMIT University（皇家墨尔本理工大学）
在本文中，我们考虑了具有渐进奖励的强化学习任务;也就是说，奖励的大小往往会随着时间的推移而增加。我们假设这种属性对于基于值的深度强化学习代理来说可能是有问题的，特别是如果代理必须首先在任务的相对无回报区域取得成功，以便到达更多有回报的区域。为了解决这个问题，我们提出了Spectral DQN，它将奖励分解为频率，这样只有在发现大奖励时才会激活高频。这使得训练损失得到平衡，从而在小奖励区域和大奖励区域之间提供更均匀的权重。在两个具有极端奖励累进性的领域中，标准的基于价值的方法显着挣扎，Spectral DQN能够取得更大的进展。此外，当对一组六款标准的Atari游戏进行评估时，Spectral DQN仍然具有竞争力：虽然它在一款游戏中表现不佳，但它在三款游戏中轻松超越了基准。这些结果表明，该方法并不过拟合其目标问题，并表明频谱DQN可能具有超越解决奖励累进性的优势。
2021-04-29 cs.LG
Principled Analysis of Deep Reinforcement Learning Evaluation and Design Paradigms
本文聚焦强化学习研究进展关键要素，分析典型评估与设计范式，介绍缩放定律理论基础，通过大规模实验表明相关研究结论有误，为深度强化学习的缩放、能力和复杂性提供核心分析。
2026-07-10 cs.AI cs.LG
Deep progressive reinforcement learning-based flexible resource scheduling framework for IRS and UAV-assisted MEC system
School of Computer Science, Hunan University of Technology and Business（湖南工商大学计算机学院）；Xiangjiang Laboratory（湘江实验室）；Hunan Normal University（湖南师范大学）；College of Information Science and Engineering, Hunan Normal University（湖南师范大学信息科学与工程学院）
本文提出FRES框架，采用深度渐进强化学习联合优化无人机位置、IRS相移、任务卸载与资源分配，以最小化MEC系统能耗，并支持无人机数量动态变化下的实时最优调度。
2024-08-02 cs.AI cs.LG
Transfer Learning in Deep Reinforcement Learning: A Survey
Michigan State University（密歇根州立大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
本文系统综述了深度强化学习中迁移学习方法的最新进展，提出分类框架并分析其目标、方法、兼容主干网络与应用，同时探讨了与其他相关主题的联系及未来挑战。
2023-07-04 cs.AI cs.LG stat.ML
Wield: Systematic Reinforcement Learning With Progressive Randomization
University of Cambridge（剑桥大学）；Helmut-Schmidt-University Hamburg（汉堡赫尔穆特·施密特大学）
强化学习框架已经引入了抽象来大规模地实现和执行算法。他们假设标准化的模拟器接口，但不关心识别合适的任务表示。我们提出了Wield，这是第一个促进实际强化学习任务设计的系统。通过软件原语，Wield使从业者能够从状态和动作设计中解耦系统接口和特定于部署的配置。为了指导实验，Wield进一步引入了一种新的任务设计协议和分类方案，该方案以阶段性随机化为中心，以逐步评估模型的能力。
2019-09-15 cs.LG stat.ML
A General Perspective on Objectives of Reinforcement Learning
School of Artificial Intelligence, Peking University（北京大学人工智能学院）
本文提出强化学习目标的通用视角，通过标准定义、$λ$-return 版本及统一二者的通用目标，建立连接 TD$(λ)$、GAE 等技术的基础公式。
2023-06-05 cs.LG
Progress-SQL: Improving Reinforcement Learning for Text-to-SQL via Progressive Rewards
East China Normal University（华东师范大学）
提出Progress-SQL，一种多轮强化学习框架，通过Oracle引导诊断树（ODT）生成子句级结构反馈，结合渐进式奖励（结构对齐、词汇对齐、延迟奖励和执行状态奖励），提升文本到SQL生成的准确性和鲁棒性。
2026-06-05 cs.AI cs.CL
Evaluating Interpretable Reinforcement Learning by Distilling Policies into Programs
Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）；TU Darmstadt（达姆施塔特工业大学）
本文提出一种基于可模拟性代理指标、无需人类参与的策略可解释性评估方法，通过将专家网络蒸馏为小型程序进行大规模实证评估，发现提高可解释性未必降低性能，且不存在跨任务普适的最优策略类别。
2025-03-11 cs.AI cs.LG
Progressive extension of reinforcement learning action dimension for asymmetric assembly tasks
Tsinghua University（清华大学）
强化学习（RL）一直是构造复杂任务（如非对称装配任务）的控制策略的优选实施例。然而，强化学习的收敛速度严重制约了其实际应用。在本文中，收敛速度的第一个加速RL和顺应性控制相结合。然后提出了一种全新的渐进扩展行为维（PEAD）机制来优化强化学习算法的收敛性。在DDPG和PPO中验证了PEAD方法。实验结果表明，PEAD方法可以提高强化学习算法的数据效率和时间效率，并增加稳定的奖励，这为强化学习的应用提供了更大的潜力。
2021-04-06 cs.LG cs.SY eess.SY
Storehouse: a Reinforcement Learning Environment for Optimizing Warehouse Management
Vicomtech（维康科技）；Politecnico di Milano（米兰理工大学）
由于新的数据智能技术，仓库管理系统一直在发展和改进。然而，当前的许多优化都已应用于特定情况或非常需要手动交互。这就是强化学习技术发挥作用的地方，为当前的优化策略提供自动化和适应性。在本文中，我们提出了Storehouse，一个可定制的环境，概括了强化学习的仓库模拟的定义。我们还验证了这种环境对国家的最先进的强化学习算法，并比较这些结果与人类和随机的政策。
2022-07-21 cs.AI cs.LG
PHIRL: Aligning Learned Rewards with Task Progress for Inverse Reinforcement Learning
PHIRL提出一种联合演示与进度反馈的逆强化学习框架，通过四维对齐学习稳健奖励，在少量标注下显著提升机器人任务回报与成功率。
2026-09-29 cs.AI cs.RO
Model-based Multi-agent Reinforcement Learning: Recent Progress and Prospects
Shanghai Jiao Tong University（上海交通大学）
本文综述了基于模型的多智能体强化学习研究，系统分类现有算法并分析其优缺点，同时展望了该领域未来的发展方向。
2022-03-20 cs.AI cs.LG cs.MA
Enhancement of High-definition Map Update Service Through Coverage-aware and Reinforcement Learning
本文提出Q学习覆盖时间感知算法，通过优化车载网络服务质量与高精地图更新，在动态车辆场景中显著降低高精地图数据传输时延。
2024-02-08 cs.AI cs.LG cs.NI
Reinforcement Learning based Disease Progression Model for Alzheimer's Disease
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Mayo Clinic（梅奥诊所）
我们通过将微分方程（DE）和强化学习（RL）与领域知识相结合来建模阿尔茨海默病（AD）的进展。DE提供了与AD相关的一些但不是全部因素之间的关系。我们假设缺失的关系必须满足关于大脑工作的一般标准，例如，最大化认知，同时最小化支持认知的成本。这允许我们通过使用RL来优化捕获上述标准的目标（奖励）函数来提取缺失的关系。我们使用由DE（作为模拟器）和经过训练的RL代理组成的模型，使用合成和真实数据的基线（0年）特征预测个性化的10年AD进展。该模型在预测10年认知轨迹方面与最先进的基于学习的模型相当或更好。我们的可解释模型证明，并提供了见解，“恢复/补偿”的过程，减轻AD的影响，即使这些过程没有明确编码的模型。我们的框架将DE与RL结合起来，用于模拟AD进展，并具有广泛的适用性，可用于了解其他神经系统疾病。
2021-11-02 cs.LG
Two Clocks: Why Larger Rollout Batches Learn Slower but Fail on Schedule in Reinforcement Learning with Verifiable Rewards
Carnegie Mellon University（卡内基梅隆大学）；University of Toronto（多伦多大学）
该研究针对带可验证奖励的强化学习，提出双时钟框架，解释了更大回滚批次学习慢但按计划失败的原因，推导了多步RLVR训练计划，实验验证了相关预测。
2026-10-14 cs.AI cs.LG
Progressive Reinforcement Learning with Distillation for Multi-Skilled Motion Control
University of British Colubia（英属哥伦比亚大学）
深度强化学习已经证明了不断增加的连续控制问题的能力，包括可以在其环境中熟练和敏捷地移动的代理。在这种情况下，一个开放的问题是，制定良好的战略，整合或合并多个技能的政策，其中每一个单独的技能是一个特定的技能和相关的状态分布的专家。我们扩展策略蒸馏方法的连续动作设置，并利用这种技术来结合专家的政策，在不同类别的地形模拟双足运动的域中进行评估。我们还介绍了一种输入注入方法，用于增强现有的政策网络，以利用新的输入功能。最后，我们的方法使用迁移学习来帮助有效地获得新技能。这些方法的组合允许策略使用新技能进行增量增强。我们比较我们的渐进式学习和集成通过蒸馏（PLAID）方法对三个替代基线。
2018-02-13 cs.AI cs.LG cs.RO
ProAS: A Progress-Aware Advantage Shaping Framework for Multi-Turn Agentic Reinforcement Learning
Zhejiang University（浙江大学）；School of Engineering, Westlake University（西湖大学工程学院）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究所）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
ProAS是面向多轮智能体强化学习的即插即用框架，通过ARG、MUI和APR解决无评判者算法的均匀信用分配困境，在Qwen2.5模型上提升了ALFWorld、WebShop任务性能并加快收敛
2026-10-27 cs.AI cs.LG
Progressive Generalization Augmentation with Deeply Coupled RND-PPO and Domain-Prioritized Noise Injection for Robust Crop Management Reinforcement Learning
Chongho Bridge Group Limited（中宏桥梁集团有限公司）
本文提出了一种渐进泛化增强方法，通过深度耦合RND-PPO和领域优先噪声注入，解决农业强化学习中早期学习效率与后期泛化能力的平衡、内在和外在奖励的简单加法结合以及统一噪声注入策略的问题，从而提高作物管理的鲁棒性。
2026-05-17 cs.AI cs.LG
Measuring Progress in Deep Reinforcement Learning Sample Efficiency
ETH Zurich（苏黎世联邦理工学院）；Institute of Science, Technology and Policy（科学、技术与政策研究所）
采样环境转换是深度强化学习（DRL）算法的关键输入。当前的DRL基准通常允许廉价且容易地生成大量样本，使得DRL中的感知进展不一定对应于改进的样本效率。由于模拟真实世界的过程通常是非常困难的，并且收集真实世界的经验是昂贵的，因此样本效率是DRL的经济相关应用的重要指标。我们调查的进展，样本效率的Atari游戏和连续控制任务，通过比较样本的数量，各种算法需要达到一个给定的性能水平，根据相应的出版物中的训练曲线。我们发现样本效率呈指数级增长，估计Atari的倍增时间约为10至18个月，基于状态的连续控制约为5至24个月，基于像素的连续控制约为4至9个月，具体取决于特定的任务和性能水平。
2021-02-09 cs.CY cs.LG
Definition and evaluation of model-free coordination of electrical vehicle charging with reinforcement learning
Ghent University（根特大学）；imec（比利时微电子研究中心）
初始DR研究主要采用模型预测控制，因此需要控制问题的精确模型（例如，客户行为模型），这在很大程度上是不确定的电动汽车的情况。因此，无模型方法，特别是基于强化学习（RL）的方法是一种有吸引力的替代方案。在本文中，我们提出了一个新的马尔可夫决策过程（MDP）制定的RL框架，共同协调一组电动汽车充电站。现有技术的算法要么集中在单个EV上，要么在多个步骤中执行EV的集合的控制（例如，在一个步骤中聚合负载决策，然后是将聚合决策转化为各个连接的EV的步骤）。相反，我们提出了一种RL方法来同时联合控制整组电动汽车。我们贡献了一个新的MDP配方，具有独立于EV充电站数量的可扩展状态表示。此外，我们使用批量强化学习算法，即，拟合Q迭代的实例，以学习最优充电策略。我们分析了其性能的仿真实验的基础上，一个真实世界的电动汽车充电数据。更具体地说，我们（i）探索训练RL策略的各种设置（例如，具有训练数据的时段的持续时间），（ii）将其性能与Oracle全知基准进行比较（提供了业绩的上限，依赖于无法获得或至少在实践中不完善的信息），（iii）分析一段时间内的业绩，在一整年内评估可能的业绩波动（例如，跨不同季节），以及（iv）证明学习的控制策略对较大的充电站集合的泛化能力。
2018-11-28 cs.AI cs.LG stat.ML
Hierarchical Reinforcement Learning with Augmented Step-Level Transitions for LLM Agents
Beijing University of Posts and Telecommunications（北京邮电大学）；China Mobile Group Design Institute Co., Ltd（中国移动集团设计院有限公司）；Singapore Management University（新加坡管理大学）
本文提出STEP-HRL框架，通过仅基于单步转换而非完整交互历史实现步骤级学习，提升LLM代理在复杂任务中的性能和泛化能力，同时减少token使用。
2026-04-15 cs.AI cs.LG
Accuracy-based Curriculum Learning in Deep Reinforcement Learning
Sorbonne Université（索邦大学）；INRIA（法国国家信息与自动化研究所）
在本文中，我们研究了一种新的形式的自动化课程学习的基础上自适应选择的准确性要求，称为基于准确性的课程学习。使用基于深度确定性策略梯度算法的强化学习代理并解决Reacher环境，我们首先表明，使用随机抽样的各种准确性要求训练的代理比要求始终非常准确时更有效地学习。然后，我们表明，自适应选择的准确性要求，根据当地的能力进步的措施，自动生成一个课程的难度逐步增加，从而导致更好的学习效率比随机抽样。
2018-09-21 cs.AI cs.LG stat.ML
Beyond Value-Function Gaps: Improved Instance-Dependent Regret Bounds for Episodic Reinforcement Learning
Google Research（谷歌研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Courant Institute（库朗研究所）
我们提供了改进的间隙依赖遗憾界的强化学习有限情节马尔可夫决策过程。与以前的工作相比，我们的界限取决于间隙的替代定义。这些定义是基于这样的认识，即为了实现有利的遗憾，算法不需要学习如何在最优策略未达到的状态下表现最优。我们证明了更严格的乐观算法的遗憾上限，并伴随着他们与新的信息理论的下界为一大类的MDP。我们的研究结果表明，乐观算法不能达到信息论的下限，即使在确定性的MDP，除非有一个唯一的最优策略。
2021-10-26 cs.LG
The PlayStation Reinforcement Learning Environment (PSXLE)
University of Cambridge（剑桥大学）
我们提出了一个新的基准测试环境，用于评估强化学习（RL）算法：PlayStation学习环境（PSXLE），一个经过修改的PlayStation模拟器，可以暴露一个简单的控制API，从而实现丰富的游戏状态表示。我们认为，PlayStation作为一个合适的进展代理评估，并提出了这样的评估框架。我们为PlayStation游戏构建了一个支持OpenAI Gym接口的动作驱动抽象，并通过运行OpenAI Baselines演示了它的使用。
2019-12-12 cs.AI cs.LG
Variational Inverse Control with Events: A General Framework for Data-Driven Reward Definition
University of California, Berkeley（加州大学伯克利分校）
奖励函数的设计通常对强化学习的实际应用构成重大的实际挑战。反向强化学习等方法试图克服这一挑战，但需要专家演示，这在实践中可能很难或昂贵。我们提出了变分逆控制与事件（VICE），它将逆强化学习方法推广到不需要完整演示的情况下，例如只有期望的目标状态的样本可用。我们的方法基于控制和强化学习的另一种观点，其中代理的目标是最大化一个或多个事件在未来某个时间点发生的概率，而不是最大化累积奖励。我们证明了我们的方法在连续控制任务中的有效性，重点是高维观察，如图像，其中奖励很难甚至不可能指定。
2018-11-12 cs.LG stat.ML
Towards a practical measure of interference for reinforcement learning
University of Alberta（阿尔伯塔大学）；DeepMind；Huawei Technologies（华为技术有限公司）
灾难性干扰在许多基于网络的学习系统中是常见的，并且存在许多减轻它的建议。但是，在我们克服干扰之前，我们必须更好地理解它。在这项工作中，我们提供了一个定义的干扰控制强化学习。我们系统地评估我们的新措施，通过评估与学习性能的几个措施，包括稳定性，样本效率，在线和离线控制性能在各种学习架构的相关性。我们的新干扰度量允许我们对常用的深度学习架构提出新的科学问题。特别是，我们表明，目标网络频率是干扰的主要因素，最后一层的更新导致显着更高的干扰比更新内部的网络。这种新的措施可能是昂贵的计算，我们得出结论，一个有效的代理措施的动机和经验证明，它与我们的干扰定义。
2020-07-07 cs.AI cs.LG stat.ML
Dynamics-Adaptive Continual Reinforcement Learning via Progressive Contextualization
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Research Institute of Tsinghua University in Shenzhen（清华大学深圳研究院）
本文提出DaCoRL框架，通过渐进上下文化将任务流聚类为上下文并结合可扩展多头网络与知识蒸馏，在动态环境中实现持续强化学习的快速自适应与抗遗忘，显著提升了稳定性、性能与泛化能力。
2023-05-23 cs.AI cs.LG
Measuring and Characterizing Generalization in Deep Reinforcement Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Brown University（布朗大学）
深度学习方法在具有挑战性的控制任务中取得了卓越的性能。对结果行为的观察给人的印象是，智能体已经构建了一个支持有见地的行动决策的广义表示。我们重新审视RL中的泛化意味着什么，并根据代理在策略上，策略外和不可达状态下的表现提出了几个定义。我们提出了一套实用的方法来评估这些定义的泛化代理。我们在深度强化学习的一个常见基准任务上演示了这些技术，并且我们表明，学习后的网络对于与策略状态仅略有不同的状态做出了糟糕的决策，即使这些状态没有被对抗性地选择。总之，这些结果对深度Q网络学习广义表征的程度提出了质疑，并表明在支持表示学习的主张之前，需要进行更多的实验和分析。
2018-12-11 cs.AI cs.LG stat.ML
MulFeRL: Enhancing Reinforcement Learning with Verbal Feedback in a Multi-turn Loop
Department of Computer Science and Technology, Tsinghua University, Beijing, China（清华大学计算机科学与技术系，北京，中国）；Quancheng Laboratory（千晨实验室）
针对强化学习中标量奖励稀疏且缺乏信息的问题，提出MulFeRL框架，通过多轮语言反馈引导失败样本的再生、进度信用分配和结构化反馈注入，提升模型推理性能。
2026-05-30 cs.AI
Don't Change the Algorithm, Change the Data: Exploratory Data for Offline Reinforcement Learning
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）；UC Berkeley（加州大学伯克利分校）
深度学习的最新进展依赖于对大型和多样化数据集的访问。这种数据驱动的进展在离线强化学习（RL）中不太明显，因为离线RL数据通常被收集来优化限制数据多样性的特定目标任务。在这项工作中，我们提出了离线RL（ExORL）的探索性数据，这是一种以数据为中心的离线RL方法。ExORL首先使用无监督的无奖励探索生成数据，然后在使用离线RL训练策略之前使用下游奖励重新标记这些数据。我们发现，探索性数据允许香草离线策略RL算法，没有任何离线特定的修改，在下游任务上优于或匹配最先进的离线RL算法。我们的研究结果表明，数据生成与离线RL的算法进步一样重要，因此需要社区仔细考虑。代码和数据可以在https://github.com/denisyarats/exorl上找到。
2022-04-05 cs.AI cs.LG
Optimizing the Neural Architecture of Reinforcement Learning Agents
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
强化学习（RL）在过去几年中取得了重大进展。其中最重要的一步是神经网络的广泛应用。然而，这些神经网络的架构通常是手动构建的。在这项工作中，我们研究了最近提出的神经架构搜索（NAS）方法优化RL代理的架构。我们进行了实验的Atari基准，并得出结论，现代NAS方法发现架构的RL代理优于手动选择的。
2021-04-28 cs.AI cs.LG
CityLearn: Standardizing Research in Multi-Agent Reinforcement Learning for Demand Response and Urban Energy Management
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）
快速城市化、分布式可再生能源、储能和电动汽车的日益整合为电网带来了新的挑战。在美国，建筑物约占总电力需求的70%，需求响应有可能将电力峰值减少约20%。释放这种潜力需要在分布式系统上运行的控制系统，理想情况下是数据驱动和无模型的。为此，强化学习（RL）算法在过去几年中获得了越来越多的关注。然而，需求响应强化学习的研究一直缺乏标准化的水平，推动了强化学习研究在计算机科学社区的巨大进步。为了解决这个问题，我们创建了CityLearn，这是一个OpenAI Gym环境，允许研究人员实现，共享，复制和比较他们的RL实现以进行需求响应。在这里，我们讨论了这种环境和CityLearn挑战赛，这是我们组织的一项RL竞赛，旨在推动该领域的进一步发展。
2020-12-18 cs.AI cs.LG
L2Explorer: A Lifelong Reinforcement Learning Assessment Environment
Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
尽管强化学习在机器人、游戏和其他复杂领域取得了突破性的进展，但将强化学习应用于关键应用领域中经常出现的不断发展的开放世界问题仍然存在重大挑战。强化学习解决方案在接受训练的数据分布之外的新任务时往往泛化能力较差，这促使人们对持续学习算法产生了兴趣。在对持续学习算法进行研究的同时，还需要有挑战性的环境、精心设计的实验和评估研究进展的指标。我们通过引入一个框架来解决后一种需求，该框架使用终身学习资源管理器（L2Explorer）进行持续的学习开发和评估，这是一种新的，基于Unity的第一人称3D探索环境，可以不断重新配置以生成一系列任务和任务变体，这些任务和任务变体结构化为复杂和不断发展的评估课程。与具有随机组件的程序生成的世界相反，我们开发了一种系统的方法来定义课程，以应对受控的变化，并附带评估传输，性能恢复和数据效率的指标。总之，L2Explorer环境和评估方法提供了一个框架，用于开发开放世界环境中的未来评估方法，并严格评估终身学习的方法。
2022-03-14 cs.AI cs.LG
Correlated Proxies: A New Definition and Improved Mitigation for Reward Hacking
University of California, Berkeley（加州大学伯克利分校）
本文基于参考策略下代理与真实奖励相关性的失效定义奖励黑客，理论提出并实验验证对策略占用度量的 $χ^2$ 散度正则化比 KL 惩罚更能缓解 RLHF 等场景中的奖励黑客。
2025-03-13 cs.AI cs.LG
ThinkDrive: Chain-of-Thought Guided Progressive Reinforcement Learning Fine-Tuning for Autonomous Driving
ThinkDrive通过结合显式推理与难度感知的自适应策略优化，提升了自动驾驶中的决策透明度和泛化能力，实验显示其在多个指标上优于现有方法。
2026-01-08 cs.AI
Health-Informed Policy Gradients for Multi-Agent Reinforcement Learning
MIT Lincoln Laboratory（麻省理工学院林肯实验室）；Stanford University（斯坦福大学）
本文提出了一种定义的多个代理优化联合奖励函数的背景下，系统的健康。我们使用这个定义作为策略梯度算法中的信用分配项来区分个体代理对全局奖励的贡献。健康知情的信用分配，然后扩展到多代理变体的近端策略优化算法和粒子和多步行机器人环境，具有系统健康，冒险，半消耗性代理，连续动作空间，和部分可观察性的特点，证明。与不执行多代理信用分配的策略梯度方法相比，我们在学习性能上有了显着的提高。
2021-01-04 cs.AI cs.LG cs.MA
Single-agent Reinforcement Learning Model for Regional Adaptive Traffic Signal Control
本文提出一种基于单代理强化学习的区域自适应交通信号控制模型，利用探测车辆数据有效缓解区域拥堵。
2026-01-12 cs.AI cs.LG
Toward Cost-efficient Adaptive Clinical Trials in Knee Osteoarthritis with Reinforcement Learning
University of Oulu（奥卢大学）；Research Unit of Health Sciences and Technology（健康科学与技术研究单元）
本文提出一种基于强化学习的新型主动感知方法，对膝骨关节炎患者进行多部位动态监测，在最小化成本的同时最大化信息收集，实验表明其性能优于现有最先进模型，为下一代KOA试验奠定基础。
2025-04-08 cs.AI cs.LG
Progress- and Reliability-Oriented Group Policy Optimization for Agentic Reinforcement Learning
Baidu Inc.（百度公司）；Peking University（北京大学）
研究基于组的强化学习，针对步级优势估计对组形成方式敏感的问题，提出ProGPO方法，通过精确前缀动作比较及结合语义扩展与逆方差融合估计势，在任务中改进了基线方法。
2026-07-07 cs.AI
Progress Constraints for Reinforcement Learning in Behavior Trees
Adaptive and Interpretable Learning Systems Lab, Department of Computer Science, Örebro University（奥雷布罗大学计算机科学系自适应与可解释学习系统实验室）；Robotics, Perception and Learning Lab, School of Electrical Engineering and Computer Science, Royal Institute of Technology（皇家理工学院电气工程与计算机科学学院机器人、感知与学习实验室）
本文提出进展约束机制，通过可行性估计器约束动作集，提升行为树与强化学习结合的性能、样本效率和约束满足度。
2026-02-11 cs.AI
RLgraph: Modular Computation Graphs for Deep Reinforcement Learning
University of Cambridge（剑桥大学）；rlcore；Helmut Schmidt University（赫尔穆特·施密特大学）
强化学习（RL）任务的实现、执行和测试具有挑战性，这是由于算法的不稳定性、超参数敏感性和异构分布式通信模式。我们主张分离的逻辑组件组成，后端图形定义，和分布式执行。为此，我们引入RLgraph，一个用于在静态图和运行定义范式中设计和执行强化学习任务的库。由此产生的实现是健壮的，可增量测试的，并在不同的深度学习框架和分布式后端之间产生高性能。
2019-02-28 cs.AI cs.LG stat.ML
PAC: Progress-Augmented Advantage Curriculum for Multi-Task Reinforcement Learning of LLMs
Alibaba Group（阿里巴巴集团）
该研究针对LLM多任务RL后训练的任务分配问题，提出PAC方法结合优势与奖励增益信号，经多场景验证可提升样本效率与最终性能。
2026-09-01 cs.LG
Reinforcement Learning with Information-Theoretic Actuation
Australian National University（澳大利亚国立大学）；Deepmind
强化学习通过观察、奖励和行动来形式化具体代理与环境的交互。但这些行动从何而来？动作通常被认为是代表外部的东西，如肢体的运动，棋子，或更一般地说，执行器的输出。在这项工作中，我们探索和形式化的对比视图，即行动最好认为是一个序列的内部选择相对于一个行动模型的输出。这种观点特别适合利用大序列模型的最新进展作为多任务强化学习问题的先验知识。我们在这项工作中的主要贡献是展示如何增加标准的MDP形式主义与内部行动的顺序概念，使用信息理论的技术，这导致自洽的定义内部和外部的行动价值函数。
2021-09-30 cs.AI cs.LG
P2DT: Mitigating Forgetting in task-incremental Learning with progressive prompt Decision Transformer
Tsinghua Shenzhen International Graduate School, Tsinghua University, China（清华大学深圳国际研究生院）；Ping An Technology (Shenzhen) Co., Ltd., Shenzhen, China（平安科技（深圳）有限公司）；Peng Cheng Laboratory, Shenzhen, China（鹏城实验室）
针对大模型控制的智能体在任务增量学习中面临的灾难性遗忘问题，提出渐进式提示决策Transformer P2DT，通过动态附加决策令牌培育任务专属策略，利用全任务轨迹保留旧知识，有效缓解遗忘且适配任务规模扩展。
2025-09-03 cs.AI cs.LG
Back to the Definition: Estimating Step-Level Advantages via Trajectory Graphs for Agentic Reinforcement Learning
School of Information Science and Electronic Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）；Tencent AI Platform Department（腾讯AI平台部）；MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院教育部人工智能重点实验室）
针对GRPO等组强化学习方法在步骤级优势估计上的系统性偏差，提出基于轨迹图的忠实步骤级信用分配框架GRAFT，通过图上的贝尔曼迭代恢复状态值并分配信用，并扩展Graph GAE降低偏差，在多轮智能体基准上优于GRPO。
2026-09-25 cs.AI stat.ML
A Survey of Inverse Reinforcement Learning: Challenges, Methods and Progress
University of Georgia（佐治亚大学）
逆强化学习（IRL）是在给定代理的策略或观察到的行为的情况下推断代理的奖励函数的问题。类似于RL，IRL被认为既是一个问题，也是一类方法。通过分类调查IRL的当前文献，本文可作为机器学习及其他领域的研究人员和实践者的参考，以了解IRL的挑战并选择最适合手头问题的方法。该调查正式介绍了IRL问题及其核心挑战，如难以进行准确的推理及其可推广性，对先验知识的敏感性，以及解决方案复杂性与问题大小不成比例的增长。本文阐述了当前的方法如何缓解这些挑战。我们进一步讨论了传统的IRL方法的扩展处理：不准确和不完整的感知，不完整的模型，多个奖励函数和非线性奖励函数。本次调查的结论与研究领域的一些广泛的进展和目前开放的研究问题的讨论。
2020-11-18 cs.LG stat.ML
A learning gap between neuroscience and reinforcement learning
Ghent University – imec（根特大学-imec）；IDLab, Department of Information Technology（IDLab，信息技术系）
从历史上看，人工智能从神经科学中汲取了许多灵感，推动了该领域的进步。然而，目前强化学习的进展主要集中在基准问题上，这些问题未能捕捉到当今神经科学中感兴趣的许多方面。我们通过扩展神经科学中的T迷宫任务来说明这一点，该任务与强化学习算法一起使用，并表明最先进的算法无法解决这个问题。最后，我们指出神经科学的见解可以帮助解释遇到的一些问题。
2021-05-04 cs.AI cs.LG
Non-vacuous Generalization Bounds for Reinforcement Learning with Verifiable Rewards
UIUC（伊利诺伊大学厄巴纳 - 香槟分校）；MIT（麻省理工学院）；Bridgewater AIA Labs（布里奇沃特人工智能实验室）
研究针对具有可验证奖励的强化学习在十亿参数规模下泛化性差的问题，通过将PAC-贝叶斯压缩界限与Gumbel-max重参数化技巧结合，并提出渐进式RLVR框架，在多领域建立非空泛化界限，性能优于基础模型且接近微调模型。
2026-07-17 cs.AI cs.LG
Combining Local Symmetry Exploitation and Reinforcement Learning for Optimised Probabilistic Inference -- A Work In Progress
本文针对图模型概率推断中最优消元顺序的组合优化难题，将张量网络收缩顺序的强化学习方法适配到图模型，并利用局部对称性对中间结果进行紧凑编码以改进代价函数，使智能体能探索更高效的收缩顺序。
2025-03-11 cs.AI
Fairness Definitions and Metrics in Deep Reinforcement Learning for Drug Discovery in Healthcare: A Rapid Evidence Review
Department of Electrical and Software Engineering, Schulich School of Engineering, University of Calgary（电气与软件工程系，Schulich工程学院，卡尔加里大学）
本文通过快速证据综述，系统总结了深度强化学习在药物分子生成中公平性的定义、测量指标，并分析了数据集组成、奖励设计对公平性的影响。
2026-06-01 cs.CY cs.LG
Benchmarking Deep Reinforcement Learning for Continuous Control
University of California, Berkeley（加州大学伯克利分校）；Ghent University（根特大学）；OpenAI
最近，研究人员已经取得了重大进展，将深度学习的进步与强化学习相结合，用于学习特征表示。一些值得注意的例子包括训练代理基于原始像素数据玩Atari游戏，并使用原始感官输入获得高级操作技能。然而，由于缺乏一个共同采用的基准，难以量化持续控制领域的进展。在这项工作中，我们提出了一个基准套件的连续控制任务，包括经典的任务，如车杆摆动，具有非常高的状态和动作维度的任务，如3D人形运动，任务与部分观察，任务与层次结构。我们报告了新的发现的基础上，一系列的实施强化学习算法的系统评估。基准和参考实现都在https://github.com/rllab/rllab上发布，以促进实验的可重复性，并鼓励其他研究人员采用。
2016-05-27 cs.AI cs.LG cs.RO
Offline Reinforcement Learning of High-Quality Behaviors Under Robust Style Alignment
Ubisoft La Forge, Bordeaux, France（育碧La Forge，法国波尔多）
本文提出SCIQL方法，通过结合离线目标条件RL技术与新的门控优势加权回归机制，在保持风格对齐的同时提升任务性能。
2026-06-28 cs.AI cs.LG cs.RO
Observe-R1: Unlocking Reasoning Abilities of MLLMs with Dynamic Progressive Reinforcement Learning
Zhejiang University（浙江大学）
针对强化学习适配多模态数据的挑战，提出Observe-R1框架，通过渐进学习范式、多模态格式约束、动态加权奖励机制提升MLLM推理能力，实验表现优于更大规模模型。
2025-05-18 cs.AI cs.CV cs.LG
