Optimizing Medical Treatment for Sepsis in Intensive Care: from Reinforcement Learning to Pre-Trial Evaluation
Imperial College London（帝国理工学院）
我们的目标是建立一个框架，其中强化学习（RL）的优化干预措施回顾性地允许我们的监管合规的途径，在临床部署的前瞻性临床测试的学习政策。我们专注于重症监护病房的感染，这是死亡的主要原因之一，由于复杂和不透明的患者动态，以及临床上有争议的，每个患者所需的高度分歧的干预政策，而重症监护病房自然数据丰富。在我们的工作中，我们建立在医疗保健中的RL方法（“AI临床医生”）的基础上，并使用部分可观察MDP（POMDP）下的历史重症监护数据来学习用于脓毒症治疗的药物的政策外连续给药政策。POMPD通过吸收所有历史信息更好地捕捉患者状态的不确定性，从而产生有效的表示，我们通过消融进行调查。我们弥补了缺乏探索，在我们的回顾性数据，评估每个遇到的状态，最好的优先树搜索。我们减轻状态分布的转变，优化我们的政策在附近的临床医生的复合政策。至关重要的是，我们不仅使用传统的政策评估来评估我们的模型建议，而且还使用了一个新的框架，该框架包含了人类专家：一种与模型无关的临床前评估方法，用于评估临床医生的决策与我们的系统建议的准确性和不确定性，当面对相同的个体患者病史时（“阴影模式”）。
2020-03-18 cs.AI cs.LG
Beyond Prediction: Steering VLM Agents with Retrospective World Modeling
The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong Polytechnic University（香港理工大学）；China University of Geoscience（中国地质大学）
本文提出回顾性世界建模范式，通过估计状态转换的回顾性归因分布并构建自一致性奖励，引导VLM智能体产生物理一致且任务有效的行动，显著提升策略鲁棒性与泛化能力。
2026-10-01 cs.AI cs.LG
Multitask Adaptation by Retrospective Exploration with Learned World Models
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Artificial Intelligence Research Institute（人工智能研究所）
基于模型的强化学习（MBRL）允许以样本高效的方式解决复杂的任务。然而，在任务之间没有信息被重用。在这项工作中，我们提出了一个元学习寻址模型称为RAMa，提供训练样本的MBRL代理采取不断增长的任务不可知存储。通过从存储中选择有希望的轨迹来解决先前的任务，该模型被训练以最大化预期代理的性能。我们表明，这种回顾性的探索可以加快MBRL代理的学习过程，更好地通知学习动态和提示代理与探索轨迹。我们在DeepMind控制套件、Metaworld多任务基准测试以及我们使用机器人NVIDIA Isaac模拟器实现的定制环境中测试了我们的方法在多个领域的性能，以测试模型在逼真的光线跟踪环境中的行为能力。
2021-10-25 cs.LG
Retrospective Distillation Attribution via Normalized Response Similarity
提出仅基于输出的SCOUT方法，通过聚合句法模式并校准距离，实现对经历后续训练的蒸馏模型进行有效溯源归因，并发现教师句法特征在训练中持续存在。
2026-09-29 cs.AI cs.CL cs.CR
Reverse Forward Curriculum Learning for Extreme Sample and Demonstration Efficiency in Reinforcement Learning
University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文提出RFCL方法，通过逐示范反向课程生成初始策略以克服稀疏奖励探索困难，再用前向课程扩展到完整初始状态分布，显著提升示范与样本效率，并解决此前无法完成的高精度控制任务。
2024-05-06 cs.AI cs.LG cs.RO
(Re)$^2$H2O: Autonomous Driving Scenario Generation via Reversely Regularized Hybrid Offline-and-Online Reinforcement Learning
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
针对自动驾驶测试场景生成需求，提出(Re)$^2$H2O反向正则化混合离线-在线强化学习方法，结合真实与仿真数据优势，生成更多样且具对抗性的高风险场景，可泛化多模型并用于AV性能微调。
2023-06-10 cs.AI cs.LG
TD3 with Reverse KL Regularizer for Offline Reinforcement Learning from Mixed Datasets
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Macquarie University（麦考瑞大学）
我们考虑一个离线强化学习（RL）设置，其中代理需要从通过推出多个行为策略收集的数据集中学习。这种设置存在两个挑战：1）由于不同行为策略引起的动作覆盖的变化，优化RL信号和行为克隆（BC）信号之间的最佳权衡在不同状态上变化。以前的方法无法通过仅控制全局权衡来处理这一点。2)对于给定的状态，不同行为策略生成的动作分布可能有多种模式。许多以前的方法中的BC正则化器是均值寻求的，导致在模式中间选择分布外（OOD）动作的策略。在本文中，我们通过使用自适应加权的反向Kullback-Leibler（KL）发散作为基于TD 3算法的BC正则化器来解决这两个挑战。我们的方法不仅用每个状态的权重来权衡RL和BC信号（即，在具有窄动作覆盖的状态上进行强BC正则化，反之亦然），而且由于反向KL的模式搜索特性，还避免了选择OOD动作。从经验上讲，我们的算法可以优于现有的离线RL算法在MuJoCo运动任务与标准的D4 RL数据集，以及混合数据集，结合标准数据集。
2022-12-05 cs.AI cs.LG stat.ML
Temp-R1: A Unified Autonomous Agent for Complex Temporal KGQA via Reverse Curriculum Reinforcement Learning
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）；ZJU-Ant Group Joint Lab of Knowledge Graph（浙江大学-蚂蚁集团知识图谱联合实验室）
本文提出Temp-R1，首个通过强化学习训练的时间知识图谱问答自主代理，通过扩展动作空间和反向课程学习提升复杂问题的推理能力，在MultiTQ和TimelineKGQA上取得最佳性能。
2026-04-21 cs.AI cs.CL cs.LG
Deep Reinforcement Learning for Optimal Critical Care Pain Management with Morphine using Dueling Double-Deep Q Networks
Harvard-MIT Health Sciences and Technology（哈佛-麻省理工学院健康科学与技术）；Massachusetts Institute of Technology (MIT)（麻省理工学院）；Massachusetts General Hospital（麻省总医院）；Columbia University（哥伦比亚大学）
阿片类药物是重症监护室治疗疼痛的首选药物。虽然治疗不足会导致疼痛无法缓解和临床结果不佳，但过度使用阿片类药物会使患者面临多种不良反应的风险。在这项工作中，我们提出了一个基于深度强化学习的阿片类药物给药顺序决策框架。它提供实时临床可解释的剂量建议，根据每个患者的疼痛和生理状况的变化进行个性化。我们专注于吗啡，最常见的阿片类药物之一。为了训练和评估模型，我们使用了来自公开的MIMIC-3数据库的回顾性数据。我们的研究结果表明，强化学习可用于通过提供个性化的疼痛管理干预来帮助重症监护环境中的决策。
2019-04-25 cs.AI cs.LG
Improving Sepsis Treatment Strategies by Combining Deep and Kernel-Based Reinforcement Learning
Harvard University（哈佛大学）；Imperial College London（帝国理工学院）；MIT（麻省理工学院）
脓毒症是ICU死亡的主要原因。这是具有挑战性的管理，因为个别患者对治疗的反应不同。因此，为个体患者量身定制治疗对于获得最佳结果至关重要。在本文中，我们通过应用专家混合框架来实现这一目标，以个性化脓毒症治疗。混合模型根据患者的当前病史选择性地在基于邻居（内核）和深度强化学习（DRL）专家之间交替。在一个大型回顾性队列中，这种基于混合的方法优于医生、仅内核和仅DRL专家。
2019-01-15 cs.AI cs.LG stat.ML
Reverse Curriculum Generation for Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；Oxford Robotics Institute（牛津机器人研究所）；OpenAI；ICSI（国际计算机科学研究所）
许多相关的任务需要一个代理达到一定的状态，或操纵对象到所需的配置。例如，我们可能想要一个机器人将齿轮对准并组装到轴上，或者将钥匙插入并转动锁中。这些面向目标的任务对强化学习提出了相当大的挑战，因为它们的自然奖励函数是稀疏的，并且需要大量的探索才能达到目标并接收一些学习信号。过去的方法解决这些问题，利用专家示范或手动设计一个特定于任务的奖励塑造功能，以指导学习代理。相反，我们提出了一种方法来学习这些任务，而不需要任何先验知识，而不是获得一个单一的状态，在其中实现的任务。机器人被反向训练，逐渐学习从一组越来越远离目标的开始状态到达目标。我们的方法自动生成一个课程的开始状态，适应代理的性能，导致有效的培训目标为导向的任务。我们展示了我们的方法对困难的模拟导航和细粒度的操作问题，无法解决的最先进的强化学习方法。
2018-07-23 cs.AI cs.LG cs.NE
Successor-Predecessor Intrinsic Exploration
Institute of Cognitive Neuroscience（认知神经科学研究所）；Gatsby Computational Neuroscience Unit（盖茨比计算神经科学研究所）；UCL（伦敦大学学院）；Department of Psychology, Harvard University（哈佛大学心理学系）
本文提出后继-前驱内在探索算法 SPIE，通过结合前瞻与回溯信息构造内在奖励，提升稀疏奖励和瓶颈状态环境中的探索效率，并在 Atari 游戏上取得优于现有方法的性能。
2024-01-25 cs.LG
Improving RL Exploration for LLM Reasoning through Retrospective Replay
Fudan University, Shanghai, China（复旦大学）
针对大语言模型强化学习中早期有前景解题思路被过早抑制的问题，提出基于回顾性重放的强化学习算法RRL，通过动态重放早期有前景状态提升探索效率，并在数学推理、代码生成和RLHF任务中验证了其有效性。
2025-07-05 cs.CL cs.LG
MURPHY: Feedback-Aware GRPO with Retrospective Credit Assignment for Multi-Turn Code Generation
Massachusetts Institute of Technology（麻省理工学院）；AWS AI（AWS人工智能）
MURPHY通过构建反馈条件化的rollout树，实现多轮自修正代码生成，采用最大奖励和平均奖励策略，并引入post-rollout剪枝机制，提升多轮优化效率。
2026-05-09 cs.AI cs.LG
ReversedQ: Opportunities for Faster Q-Learning in Episodic Online Reinforcement Learning
University of Maryland（马里兰大学）
本文研究了在回合有限的马尔可夫决策过程（MDPs）中使用无模型Q学习的效率问题，提出了ReversedQ方法，通过改进价值函数更新顺序、更新频率和初始化来提升学习速度，实验表明其在多个任务中均优于现有方法。
2026-05-20 cs.LG
Revisiting the Minimalist Approach to Offline Reinforcement Learning
Tinkoff
针对离线强化学习中微小设计选择对基线影响研究不足的问题，提出在TD3+BC基础上集成此类设计元素的极简算法ReBRAC，在多个基准上达到无集成方法的最优性能。
2023-10-24 cs.AI cs.LG
Deep Offline Reinforcement Learning for Real-world Treatment Optimization Applications
Microsoft（微软）；Singapore General Hospital（新加坡综合医院）
针对真实世界医疗治疗优化中离线强化学习的动作不平衡问题，提出有理论依据的转移采样方法，在糖尿病和脓毒症任务上较DDQN、CQL基准显著提升健康结果且符合安全规范。
2023-06-13 cs.LG
Training Large Language Models for Reasoning through Reverse Curriculum Reinforcement Learning
School of Computer Science, Fudan University（复旦大学计算机科学学院）；ByteDance Research（字节跳动研究部）；Institute of Modern Languages and Linguistics, Fudan University（复旦大学现代语言与语言学研究所）
提出R$^3$方法，通过反向课程强化学习仅用结果监督实现过程监督效果，在八个推理任务上平均提升4.1点，并在GSM8K上超越基线4.2点。
2024-03-17 cs.AI cs.CL cs.LG
RetroAgent: From Solving to Evolving via Retrospective Dual Intrinsic Feedback
Shanghai AI Lab（上海人工智能实验室）；National University of Singapore（新加坡国立大学）；Independent Researcher（独立研究者）
RetroAgent通过逆向双重内在反馈机制，使大语言模型代理在交互环境中通过持续进化而非单纯完成任务来提升性能，实现更强的适应与泛化能力。
2026-06-09 cs.AI
Per-Context Reverse Curricula for Sparse-Reward Reinforcement Learning
SCOUT是为每个上下文提供独立重置课程的在线控制器，在六类任务中解决了全局进度无法适配学习差异的问题，无需组标签即可提升稀疏奖励强化学习效果。
2026-10-14 cs.LG
Looking Backward: Retrospective Backward Synthesis for Goal-Conditioned GFlowNets
Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）
针对目标条件GFlowNets训练中稀疏奖励和轨迹覆盖不足的问题，提出回顾式反向合成（RBS）方法，通过合成反向轨迹丰富训练数据，显著提升样本效率并超越多个基准上的强基线。
2025-02-23 cs.LG
Forward and inverse reinforcement learning sharing network weights and hyperparameters
ATR Computational Neuroscience Laboratories（ATR计算神经科学实验室）；Okinawa Institute of Science and Technology Graduate University（冲绳科学技术大学院大学）
本文提出了一种无模型的模仿学习，称为熵正则化模仿学习（ERIL），最大限度地减少反向Kullback-Leibler（KL）分歧。ERIL在熵正则化马尔可夫决策过程的框架下结合了正向和反向强化学习（RL）。逆RL步骤通过评估两个二进制鉴别器来计算两个分布之间的对数比。第一个识别器将前向RL步骤生成的状态与专家的状态区分开来。第二种方法利用熵正则化理论构造，将学习者产生的状态-动作-下一状态元组与专家元组区分开来。一个值得注意的特点是第二个递归函数与前向递归函数共享超参数，这可以用来控制递归函数的能力。前向RL步骤最小化由逆RL步骤估计的逆KL。我们表明，最小化反向KL分歧相当于找到一个最优的政策。我们的实验结果MuJoCo模拟环境和基于视觉的机械臂达到任务表明，ERIL是更有效的样本比基线方法。我们将该方法应用于执行杆平衡任务的人类行为，并描述了估计的奖励函数如何显示每个受试者如何实现她的目标。
2022-05-31 cs.AI cs.LG cs.RO
POPCORN: Partially Observed Prediction COnstrained ReiNforcement Learning
Harvard SEAS（哈佛大学哈佛约翰·A·保尔森工程与应用科学学院）；Tufts University（塔夫茨大学）
许多医疗决策任务可以被框架为部分可观察马尔可夫决策过程（POMDP）。然而，流行的两阶段方法（首先学习POMDP，然后解决它）通常会失败，因为最适合数据的模型可能不太适合规划。我们引入了一个新的优化目标，该目标（a）产生高性能的策略和高质量的生成模型，即使某些观察结果与规划无关，以及（b）在医疗保健中典型的批量非策略设置中这样做，当只有回顾性数据可用时。我们展示了我们的方法合成的例子和一个具有挑战性的医疗决策问题。
2020-03-31 cs.LG stat.ML
Fairness Aware Reinforcement Learning via Proximal Policy Optimization
针对多智能体系统的奖励公平分配问题，提出融合回顾性与前瞻性惩罚分量的Fair-PPO算法，在两个测试场景中实现了优于PPO的公平性，性能比肩现有先进公平强化学习算法。
2025-09-02 cs.LG cs.MA
KL-Regularized Reinforcement Learning is Designed to Mode Collapse
New York University（纽约大学）；École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院）
本文证明KL正则化强化学习中反向/前向KL的选择决定目标分布族，模式覆盖取决于正则化强度等，并据此提出一个简单算法，在不改变奖励幅度下提升语言模型后训练的多样性与质量。
2025-10-23 cs.LG
medDreamer: Model-Based Reinforcement Learning with Latent Imagination on Complex EHRs for Clinical Decision Support
National University of Singapore（新加坡国立大学）
medDreamer通过结合潜在想象和自适应特征集成模块，实现基于复杂电子病历的模型驱动强化学习，以提升个性化治疗推荐的性能。
2025-12-02 cs.AI cs.LG
Optimistic Reinforcement Learning by Forward Kullback-Leibler Divergence Optimization
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
将强化学习（RL）中的传统优化方法解释为使用反向KL发散的优化问题，并推导出一种使用前向KL发散代替反向KL发散的优化方法。虽然强化学习最初的目标是通过优化策略间接地最大化收益，但Levine最近的工作提出了一个不同的推导过程，明确考虑了作为随机变量的最优性。本文遵循这一概念，将传统的价值函数和策略的学习律都表示为包含最优性的逆KL发散优化问题。针对KL散度的不对称性，导出了具有前向KL散度的新的优化问题。值得注意的是，这种新的优化问题可以被视为乐观RL。这种乐观情绪直观地由一个从不确定性参数转换而来的超参数来表示。此外，当它与优先经验重放和资格跟踪集成时，它可以得到增强，这两者都可以加速学习。这种预期的乐观的影响进行了研究，通过学习倾向的数值模拟使用Pybullet。结果，适度的乐观加速了学习，并带来了更高的回报。在一个现实的机器人仿真中，所提出的方法与适度的乐观优于国家的最先进的RL方法之一。
2022-04-22 cs.LG
SeqRoute: Global Budget-Aware Sequential LLM Routing via Offline Reinforcement Learning
Department of Operations Research and Industrial Engineering（运筹学与工业工程系）
提出SeqRoute框架，将多轮LLM路由建模为有限时域马尔可夫决策过程，通过离线强化学习（CQL）和事后预算重标记（HBR）学习延迟满足，在全局预算约束下优化成本与质量，降低破产率至1%以下。
2026-05-25 cs.AI cs.LG
Reinforcement Learning via Self-Distillation
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；MIT（麻省理工学院）；Stanford（斯坦福大学）
通过自我蒸馏策略优化（SDPO）提升强化学习在可验证环境中的样本效率和准确性，利用自身反馈改进策略。
2026-02-16 cs.AI cs.LG
On Safer Reinforcement Learning for Sedation and Analgesia in Intensive Care
BCN MedTech, Complex Systems Lab Universitat Pompeu Fabra Barcelona, Spain（BCN医疗科技，复杂系统实验室 巴塞罗那自治大学 巴塞罗那）
本文提出一种离线深度强化学习框架，用于优化重症监护中的镇痛和镇静，通过减少疼痛或联合减少疼痛和30天出院后死亡率来提升治疗安全性。
2026-05-16 cs.AI cs.LG
The impact of temporal resampling on the safety of clinical reinforcement learning: A simulated trial
University College London（伦敦大学学院）；University College London Hospitals NHS Foundation Trust（伦敦大学学院医院国家健康服务基金会信托）
本文研究了时间重采样对临床强化学习性能的影响，发现重采样会降低模型表现，建议未来研究应优先使用自然临床决策时间的 dataset。
2026-10-16 cs.LG
Reinforcement Learning Assisted Oxygen Therapy for COVID-19 Patients Under Intensive Care
Northeastern University（东北大学）；New York University School of Medicine（纽约大学医学院）
患有严重冠状病毒疾病19（COVID-19）的患者通常需要补充氧气作为基本治疗。我们开发了一种基于深度强化学习（RL）的机器学习算法，用于重症监护下重症患者的氧气流量持续管理，该算法可以识别最佳个性化氧气流量，相对于当前临床实践，该氧气流量具有降低死亡率的强大潜力。基本上，我们将COVID-19患者的氧气流轨迹及其健康结果建模为马尔可夫决策过程。基于个体患者特征和健康状况，学习基于强化学习的氧气控制策略，并实时推荐氧气流量以降低死亡率。我们通过交叉验证评估了拟议方法的性能，使用了2020年4月至2021年1月期间来自纽约大学Langone Health门诊护理的1，372名具有电子健康记录的COVID-19重症患者的回顾性队列。RL算法下的平均死亡率比标准治疗低2.57%（95% CI：2.08- 3.06）降低（P<0.001）从标准治疗下的7.94%降至我们算法下的5.37%，平均推荐氧气流速为1.28 L/min（95% CI：1.14-1.42）低于实际交付给患者的比率。因此，RL算法可能会导致更好的重症监护治疗，可以降低死亡率，同时节省氧气稀缺资源。于COVID-19疫情期间，可减少氧气短缺问题及改善公众健康。
2021-11-07 cs.AI cs.LG
Reverse Flow Matching: A Unified Framework for Online Reinforcement Learning with Diffusion and Flow Policies
Zeyang Li（李泽阳）；Sunbochen Tang（唐顺波晨）；Navid Azizan（阿齐兹安纳维）
针对在线强化学习中扩散与流策略缺乏目标样本的问题，提出反向流匹配框架，通过后验均值估计和Langevin Stein算子构造控制变量，统一了噪声期望与梯度期望两类方法，并扩展到流策略，提升训练效率与稳定性。
2026-06-11 cs.LG cs.SY eess.SY
Personalized Multimorbidity Management for Patients with Type 2 Diabetes Using Reinforcement Learning of Electronic Health Records
Northeastern University（东北大学）；University of Maryland（马里兰大学）；New York University School of Medicine（纽约大学医学院）；NYU Langone Health（纽约大学朗格尼健康中心）
2型糖尿病患者中常见慢性并发症。我们开发了一种基于强化学习（RL）的人工智能算法，用于个性化糖尿病和多种疾病管理，具有改善当前临床实践相关健康结局的强大潜力。在本文中，我们使用2009年至2017年来自纽约大学Langone Health门诊医疗电子健康记录的16，665例2型糖尿病患者的回顾性队列，将血压和心血管疾病（CVD）风险建模为健康结局。我们训练了一个RL处方算法，该算法推荐了一种治疗方案，该方案使用患者每次就诊时的个人特征和病史来优化患者的累积健康结果。RL建议在一个独立的患者子集上进行评估。结果表明，所提出的针对2型糖尿病的个性化强化学习处方框架与临床医生的处方具有高度一致性，并且在糖尿病、血压、心血管疾病风险结局方面有实质性改善。
2020-10-29 cs.CY cs.LG
Insulin4RL: Real-Time Insulin Management in the Intensive Care Unit for Offline Reinforcement Learning
Institute of Health Informatics（健康信息学研究所）；University College London（伦敦大学学院）
针对电子健康记录离散化导致模型泛化性差的问题，提出基于真实临床轨迹的离线强化学习数据集Insulin4RL，包含375,000+决策和12,209名患者，用于评估模型在真实采样假设下的性能。
2026-06-19 cs.LG
GRACE: A Language Model Framework for Explainable Inverse Reinforcement Learning
Apple（苹果公司）
GRACE通过大型语言模型和进化搜索，从专家轨迹中逆向工程可解释的代码奖励函数，实现高效准确的奖励学习并生成强大策略。
2026-01-28 cs.AI cs.LG
DiffusionNFT: Online Diffusion Reinforcement with Forward Process
Tsinghua University（清华大学）；NVIDIA；Stanford University（斯坦福大学）
DiffusionNFT通过正向过程优化扩散模型，结合正负生成对比提升强化学习效率，无需CFG且比FlowGRPO更高效。
2026-02-16 cs.AI cs.CV cs.LG
Revisiting Regularized Policy Optimization for Stable and Efficient Reinforcement Learning in Two-Player Games
The University of Tokyo, Japan（东京大学）；RIKEN Center for Advanced Intelligence Project, Japan（日本RIKEN高级智能项目中心）
本文重新审视了带有反向Kullback-Leibler正则化和熵正则化的策略优化方法，在双人零和设置中从理论和经验角度分析其组合，提供了新的收敛保证并通过合成游戏的数值实验验证了理论结果，并基于正则化策略优化推导出一种实用的模型无关强化学习算法，通过在五个棋盘游戏中进行的全面实验验证了算法的训练效率。
2026-05-21 cs.AI cs.LG
Semi-Markov Offline Reinforcement Learning for Healthcare
Microsoft Research（微软研究院）；University of Toronto（多伦多大学）；Hamilton Health Sciences（汉密尔顿健康科学中心）；Population Health Research Institute（人口健康研究所）；Duke University（杜克大学）；Massachusetts Institute of Technology（麻省理工学院）
强化学习（RL）任务通常被构建为马尔可夫决策过程（MDP），假设决策是在固定的时间间隔内做出的。然而，包括医疗保健在内的许多非常重要的应用程序并不满足这一假设，但它们通常在对数据进行人工重塑后被建模为MDP。此外，大多数医疗保健（和类似）问题本质上是离线的，只允许进行回顾性研究。为了解决这两个挑战，我们首先讨论半MDP（SMDP）框架，它正式处理可变时间的动作。接下来，我们提出了一种正式的方法，将SMDP修改应用于几乎任何给定的基于值的离线RL方法。我们使用这一理论，介绍了三个SMDP为基础的离线RL算法，即SDQN，SDDQN，SBCQ。然后，我们通过实验证明，只有这些SMDP为基础的算法学习的最优策略在可变时间的环境中，而他们的MDP同行没有。最后，我们将我们的新算法应用于与华法林预防中风剂量有关的真实离线数据集，并展示了类似的结果。
2022-03-21 cs.LG
From Novelty to Imitation: Self-Distilled Rewards for Offline Reinforcement Learning
ReLOAD通过自蒸馏生成内在奖励，解决离线强化学习中显式奖励标注的难题，实现稳健的策略学习并达到传统方法的性能水平。
2025-12-22 cs.LG
Variance-Optimal State Resampling for Reinforcement Learning with Verifiable Rewards
Northwestern University（西北大学）
针对带可验证奖励的强化学习中回合预算浪费问题，提出VSR方法，通过方差最优状态重采样改进GRPO，在数学推理及Sokoban、BabyAI等任务上性能优于GRPO、GiGPO且生成token更少。
2026-10-14 cs.AI cs.LG
Unlocking Reasoning Capabilities in LLMs via Reinforcement Learning Exploration
Westlake University（西湖大学）
针对RLVR训练模型随采样预算增加优势减弱的问题，提出RAPO算法，通过前向KL惩罚和参考策略重加权促进更广泛且聚焦的探索，使模型超越基座性能上限并解决更多难题。
2025-10-31 cs.AI cs.CL cs.LG
Steady State Analysis of Episodic Reinforcement Learning
Rakuten Institute of Technology（乐天技术研究所）
本文证明了在任何行为策略下，每个有限时域决策任务的情景学习环境都具有唯一的稳态，并且在基本上所有的情景学习过程中，智能体输入的边际分布确实收敛于稳态分布。这一观察结果支持了一种与传统观点相反的有趣的思维方式：虽然在持续学习中经常假设存在独特的稳态，但在情景学习中却被认为不太相关，但事实证明，它们的存在对后者来说是有保证的。基于这一认识，本文围绕这两种强化学习形式主义中分别对待的几个重要概念，统一了情景强化学习和连续强化学习。在实践中，存在唯一的和可接近的稳定状态，使一个一般的方法来收集数据的情景RL任务，本文适用于策略梯度算法作为示范，基于一个新的稳态策略梯度定理。最后，本文还提出并实验验证了一种扰动方法，有利于在现实世界的RL任务的快速稳态收敛。
2021-01-13 cs.AI cs.LG
Multi-market Energy Optimization with Renewables via Reinforcement Learning
本文提出深度强化学习框架，将含储能的可再生能源电厂多市场运营优化建模为分层MDP，通过动作投影满足约束，适配复杂储能模型，经美印市场数据验证效果优于基线策略。
2023-06-13 cs.LG
RLSynC: Offline-Online Reinforcement Learning for Synthon Completion
The Ohio State University（俄亥俄州立大学）
本文提出离线-在线强化学习方法 RLSynC，通过为每个合成子分配同步决策智能体并结合正向合成模型指导动作搜索，在合成子补全任务上超越现有方法，最高提升14.9%。
2024-03-29 cs.AI cs.LG
Diffusion-Augmented Markov Decision Processes for Maximum Entropy Reinforcement Learning
Munich Institute of Robotics and Machine Intelligence (MIRMI), Technical University Munich（慕尼黑机器人与机器智能研究所（MIRMI），技术大学慕尼黑）；Practical Project Student Exchange Program, Technical University Munich（技术大学慕尼黑实践项目学生交换计划）；MIT World Peace University（MIT和平大学）
本文通过将最大熵强化学习扩展到扩散过程，提出扩散增强马尔可夫决策过程（DA-MDPs），以最小化反向KL散度的上界来学习最优策略轨迹分布，并成功将PPO、WPO和REPPO适配为扩散变体，在连续控制和多模态基准上取得与基线相当或更优的性能。
2026-10-01 cs.AI cs.LG stat.ML
A Tighter Convergence Proof of Reverse Experience Replay
Purdue University（普渡大学）
本文针对反向经验回放（RER）现有理论仅适用于小学习率和短序列的局限，提出更紧的收敛性分析，证明其在更大学习率和更长序列下仍能收敛。
2024-08-30 cs.LG stat.ML
CRAFT: Counterfactual Credit Assignment from Free Sibling Rollouts for Self-Distilled Agentic Reinforcement Learning
提出CRAFT方法，通过反事实令牌重要性、非对称控制器和极化KL惩罚三个支柱，解决自蒸馏强化学习中信用分配信号的双重局限性，提升智能体性能。
2026-06-28 cs.AI cs.LG
Time Reversal Symmetry for Efficient Robotic Manipulations in Deep Reinforcement Learning
Global College Shanghai Jiao Tong University（上海交通大学全球学院）；Digital Innovation Research Center Duke Kunshan University（杜克大学昆山分校数字创新研究中心）
针对DRL忽视时间对称性的问题，提出TR-DRL框架，通过可逆轨迹反演增强和反演任务奖励塑形提升机器人操作的样本效率与最终性能。
2025-10-21 cs.LG cs.RO
The Choice of Divergence: A Neglected Key to Mitigating Diversity Collapse in Reinforcement Learning with Verifiable Reward
Fudan University（复旦大学）；INFLY TECH（INFLY科技）；Griffith University（格里菲斯大学）；University of Waterloo（滑铁卢大学）；Shanghai Innovation Institute（上海创新研究院）；Shanghai Academy of Artificial Intelligence for Science（上海人工智能科学研究院）
本文提出DPH-RL框架，通过利用f散度作为复习机制，解决强化学习中多样性崩溃问题，提升模型在不同领域的表现。
2026-03-03 cs.AI cs.LG
Partner Approximating Learners (PAL): Simulation-Accelerated Learning with Explicit Partner Modeling in Multi-Agent Domains
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Institute of Control Systems (IRS)（控制系统研究所 (IRS)）
混合的合作-竞争控制场景，如人机交互与交互伙伴的个人目标是非常具有挑战性的强化学习代理。为了有助于直观的人机协作，我们专注于连续状态和控制域中的问题，其中没有明确的通信被认为是和代理不知道别人的目标或控制律，但只感觉到他们的控制输入回顾。我们提出的框架结合了一个学习的合作伙伴模型的基础上，在线数据与强化学习代理，在模拟环境中训练，包括合作伙伴模型。因此，我们克服了独立学习器的缺点，此外，还受益于强化学习所需的真实世界数据量的减少，这在人机环境中至关重要。我们最后分析了一个例子，证明了我们提出的框架的优点，它学习速度快，由于模拟环境和适应不断变化的合作伙伴，由于合作伙伴近似。
2020-03-02 cs.AI cs.LG cs.MA
Symmetric Reinforcement Learning Loss for Robust Learning on Diverse Tasks and Model Scales
Department of Computer Science and Engineering, The Ohio State University（计算机科学与工程系，俄亥俄州立大学）；Department of Computer Science（计算机科学系）；Engineering, The Ohio State University（工程系，俄亥俄州立大学）
本研究提出对称强化学习损失（基于反向交叉熵），通过SA2C和SPPO在离散与连续动作任务及RLHF大语言模型任务中验证了训练稳定性和性能提升。
2025-06-23 cs.AI cs.LG
IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking
UC Davis（加州大学戴维斯分校）；Virginia Tech（弗吉尼亚理工大学）；Salesforce（Salesforce公司）；Meta AI
IR3通过对比逆强化学习重建隐含奖励并修正模型，有效识别和缓解奖励黑客问题，提升模型对齐性能。
2026-02-23 cs.AI cs.LG
Parallelized Reverse Curriculum Generation
National Taiwan University（台湾大学）
对于强化学习（RL），由于稀疏的奖励，智能体掌握需要特定一系列动作的任务是具有挑战性的。为了解决这个问题，反向课程生成（RCG）提供了一个反向扩展的方法，自动生成一个课程的代理学习。更具体地说，随着训练的进行，RCG将初始状态分布从目标的邻域调整到距离。然而，为每次迭代生成的初始状态分布可能是有偏的，从而使策略过拟合或减慢反向扩展速率。在为基于行动者-评论者（AC）的RL算法训练RCG时，AC对之间的紧密耦合可能导致这种较差的泛化和缓慢的收敛。因此，我们提出了一种并行化的方法，同时训练多个AC对，并定期交换他们的批评。实验表明，该方法可以提高RCG的性能和收敛性，它也可以应用到其他AC为基础的RL算法与适应的初始状态分布。
2021-08-04 cs.LG cs.RO
