Mitigating Distribution Shift in Model-based Offline RL via Shifts-aware Reward Learning
UCAS（中国科学技术大学）
本文提出一种基于偏移感知奖励学习的模型离线强化学习方法，通过统一概率推断框架分离模型偏差与策略偏移，缓解分布偏移并提升策略性能。
2025-10-26 cs.LG stat.ML
How to Fine-tune the Model: Unified Model Shift and Model Bias Policy Optimization
Tongji University（同济大学）
本文提出了一种统一模型偏移与模型偏差的优化目标及微调过程，并开发了USB-PO算法，通过自适应调整模型更新在避免过拟合的同时保证性能改进，在多个基准任务上取得最优表现。
2023-10-24 cs.AI cs.LG
On the Theory of Policy Gradient Methods: Optimality, Approximation, and Distribution Shift
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Princeton University（普林斯顿大学）；University of California San Diego（加州大学圣地亚哥分校）
策略梯度方法是解决具有大状态和/或动作空间的强化学习问题的最有效方法之一。然而，人们对它们最基本的理论收敛性质知之甚少，包括：它们是否收敛到全局最优解以及收敛速度有多快，或者它们如何处理由于使用一类受限的参数策略而导致的近似误差。这项工作提供了可证明的表征的计算，近似，和样本大小属性的策略梯度方法的背景下，折扣马尔可夫决策过程（MDP）。我们专注于两者：“表格”策略参数化，其中最优策略包含在类中，并且我们显示全局收敛到最优策略;和参数策略类（考虑对数线性和神经策略类），其可能不包含最优策略，并且我们提供不可知的学习结果。这项工作的一个核心贡献是在提供近似保证，是平均情况下-避免明确的最坏情况下的依赖关系的状态空间的大小-通过正式连接到监督学习下分布偏移。这种表征显示了估计误差、近似误差和探索（通过精确定义的条件数表征）之间的重要相互作用。
2020-10-14 cs.LG stat.ML
Invariant Policy Learning: A Causal Perspective
University of Copenhagen（哥本哈根大学）
上下文强盗和强化学习算法已经成功地用于各种交互式学习系统，如在线广告，推荐系统和动态定价。然而，它们尚未在高风险应用领域（如医疗保健）中广泛采用。一个原因可能是，现有的方法假设基础机制是静态的，在这个意义上，它们不会随着不同的环境而改变。然而，在许多现实世界的系统中，这些机制会在不同的环境中发生变化，这可能会使静态环境假设失效。在本文中，我们采取了一个步骤来解决环境变化的问题，考虑离线上下文土匪的框架。我们通过因果关系的镜头来看待环境变化问题，并提出多环境背景的强盗，允许改变的基本机制。我们采用的概念不变性的因果关系文献，并介绍了政策不变性的概念。我们认为，政策的不变性是唯一相关的，如果未观察到的变量存在，并表明，在这种情况下，一个最佳不变的政策是保证在适当的假设下，跨环境推广。我们的研究结果建立了因果关系，不变性和上下文土匪之间的具体联系。
2022-09-22 cs.AI cs.LG stat.ML
Safe Policy Improvement with Soft Baseline Bootstrapping
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院 LTCI）；Microsoft Research Montréal（蒙特利尔微软研究院）
批处理强化学习（Batch RL）包括使用与另一个策略（称为行为策略）一起收集的轨迹来训练策略。安全策略改进（SPI）提供了高概率的保证，即经过训练的策略比行为策略表现得更好，在这种情况下也称为基线。以前的工作表明，SPI目标提高了平均性能相比，使用基本RL目标，归结为解决MDP与最大似然。在这里，我们在这项工作的基础上，通过允许在更广泛的策略集上进行策略搜索，更精确地改进了SPI与基线引导算法（SPIBB）。而不是二进制分类的状态-动作对成两个集合（\textit{uncertain}和\textit{safe-to-train-on}的），我们采用了一种更软的策略，通过限制政策的变化，根据本地模型的不确定性，控制在值估计的误差。该方法可以承担更多的风险，不确定的行动，同时保持可证明的安全，因此是保守性比国家的最先进的方法。我们提出了两种算法（一个最佳的和一个近似的）来解决这个约束优化问题，经验表明，显着改善现有的SPI算法的有限MDP和无限MDP与神经网络函数近似。
2019-07-11 cs.AI cs.LG stat.ML
Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation
Alibaba Cloud Computing（阿里云计算）
Waypoint-OPD通过门控在线策略蒸馏，利用教师模型训练中早期与后期策略偏移的方向一致性优化端点偏移，在数学与代码推理的6种设置下均优于对比蒸馏方法。
2026-10-16 cs.CL cs.LG
Distributionally Robust Policy Evaluation under General Covariate Shift in Contextual Bandits
Johns Hopkins University（约翰斯·霍普金斯大学）；Caltech（加州理工学院）
针对上下文赌博机在上下文与策略分布同时偏移时的离线评估问题，提出基于稳健回归奖励模型的直接与双重稳健估计量，并给出有限样本偏差界和显著优于基线的实验结果。
2024-08-09 cs.LG
Context Shift Reduction for Offline Meta-Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；Cambricon Technologies（寒武纪科技）；University of Chinese Academy of Sciences（中国科学院大学）；Intelligent Software Research Center, Institute of Software, CAS（中国科学院软件研究所智能软件研究中心）；Shanghai Innovation Center（上海创新中心）
针对离线元强化学习中训练与测试阶段上下文分布偏移导致的任务推断错误、泛化能力下降问题，提出仅用离线数据的CSRO方法，通过两阶段策略影响消减机制，有效降低偏移并提升泛化性能。
2023-11-07 cs.AI cs.LG
Distributional Shift-Aware Off-Policy Interval Estimation: A Unified Error Quantification Framework
University of California Irvine（加州大学欧文分校）；University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对无限时域MDP离线策略评估中的分布偏移与误差量化问题，提出统一边缘化重要性权重错误设定误差和采样不确定性的区间估计框架，借助判别器与局部鞅结构获得紧致、鲁棒且可证明收敛的置信区间。
2023-10-02 cs.LG stat.ML
Off-Policy Deep Reinforcement Learning by Bootstrapping the Covariate Shift
Google Brain（谷歌大脑）
在本文中，我们重新审视了由Hallak等人（2017）开创的强化学习（COP-TD）的政策外校正方法。在这种方法下，在线更新的价值函数被重新加权，以避免发散问题典型的离策略学习。而Hallak等人的解是吸引人的，它不能容易地转移到非线性函数逼近。首先，它需要一个投影到概率单纯形上的步骤;其次，即使描述离策略学习算法的预期行为的算子是收敛的，但它并不知道是一个收缩映射，因此在实践中可能更不稳定。我们通过在COP-TD中引入折扣因子来解决这两个问题。我们分析了贴现COP-TD的行为，发现它从理论上表现得更好。我们还提出了一种替代的软归一化惩罚，可以最大限度地减少在线和避免需要一个明确的投影步骤。我们补充我们的分析与实证评估的两种技术在关闭政策设置的游戏乒乓从雅达利域，我们发现折扣COP-TD在实践中表现得更好，比软正常化处罚。最后，我们在Atari域的5个游戏中对折扣COP-TD进行了更广泛的评估，在那里我们找到了我们方法的性能增益。
2019-01-27 cs.LG stat.ML
Towards Robust Off-Policy Evaluation via Human Inputs
New York University（纽约大学）；Harvard University（哈佛大学）
政策外评估（OPE）方法是评估高风险领域（如医疗保健）政策的重要工具，在这些领域，直接部署通常是不可行的，不道德的或昂贵的。当部署环境预计会发生变化（即数据集变化）时，OPE方法必须在这些变化中对策略进行健壮的评估。现有的方法考虑对一个大类的变化，可以任意改变任何可观察到的环境属性的鲁棒性。这通常会导致对实用程序的高度悲观的估计，从而使可能在部署中有用的策略无效。在这项工作中，我们解决了上述问题，通过调查领域知识如何可以帮助提供更现实的估计政策的效用。我们利用人类输入的环境方面可能会发生变化，并调整OPE方法，只考虑这些方面的变化。具体来说，我们提出了一个新的框架，鲁棒OPE（ROPE），它考虑了基于用户输入的数据中的协变量子集的变化，并估计这些变化下的最坏情况下的效用。然后，我们开发计算效率高的算法OPE是强大的上下文土匪和马尔可夫决策过程的上述变化。我们还从理论上分析了这些算法的样本复杂度。对来自医疗保健领域的合成和真实世界数据集的广泛实验表明，我们的方法不仅准确地捕捉了现实的数据集变化，而且还导致了不那么悲观的政策评估。
2022-09-18 cs.LG stat.ML
Stabilizing Off-Policy Q-Learning via Bootstrapping Error Reduction
UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
非策略强化学习旨在利用从先前策略中收集的经验进行样本有效学习。然而，在实践中，常用的非策略近似动态规划方法的基础上Q-学习和actor-critic方法是高度敏感的数据分布，只能取得有限的进展，而不收集额外的政策上的数据。作为迈向更强大的离线策略算法的一步，我们研究了离线策略体验是固定的并且没有与环境进一步交互的设置。我们确定自举错误的一个关键来源，在目前的方法不稳定。自举错误是由于从位于训练数据分布之外的动作进行自举，并且它通过Bellman备份操作符累积。我们从理论上分析了自举错误，并论证了如何在备份中仔细地约束动作选择来减轻它。基于我们的分析，我们提出了一个实用的算法，自举错误累积减少（BEAR）。我们证明了BEAR能够在一系列连续控制任务中从不同的非策略分布（包括随机和次优演示）中鲁棒地学习。
2019-11-25 cs.LG stat.ML
DIRECT: Learning from Sparse and Shifting Rewards using Discriminative Reward Co-Training
LMU Munich（慕尼黑大学）
我们提出了区分奖励协同训练（DIRECT）作为深度强化学习算法的扩展。基于自模仿学习（SIL）的概念，我们引入了一个模仿缓冲区来存储由策略产生的收益轨迹。与策略同时训练一个递归网络，以区分当前策略生成的轨迹和先前策略生成的有益轨迹。最后，利用决策者的判断来构造一个用于优化策略的奖励信号。通过插值先前的经验，DIRECT能够充当代理，将策略优化转向奖励景观中更有价值的区域，从而学习最优策略。我们的研究结果表明，直接优于国家的最先进的算法在稀疏和转移奖励环境能够提供一个替代奖励的政策和指导的优化有价值的领域。
2023-01-18 cs.LG
State Regularized Policy Optimization on Data with Dynamics Shift
Nanyang Technological University（南洋理工大学）；Kuaishou Technology（快手科技）
针对动力学偏移导致样本效率低的问题，提出SRPO算法，利用相似结构环境下最优策略平稳状态分布的正则化实现数据重用，并可附加于在线与离线上下文RL算法，显著提升数据效率和整体性能。
2024-02-22 cs.AI cs.LG
Operator Shifting for Model-based Policy Evaluation
Stanford University（斯坦福大学）
在基于模型的强化学习中，转移矩阵和奖励向量通常是从受噪声影响的随机样本中估计的。即使估计模型是真实基础模型的无偏估计，根据估计模型计算的价值函数也是有偏的。我们引入了一个算子移位方法，以减少估计模型引入的误差。当误差在残差范数范围内时，我们证明了移位因子总是正的，并且上界为$1+O\left(1/n\right)$，其中$n$是学习转移矩阵每行所用的样本数.我们还提出了一个实用的数值算法，实现运营商转移。
2023-02-07 cs.LG cs.NA math.NA
Evaluation-Time Policy Switching for Offline Reinforcement Learning
University of Warwick（华威大学）；Nanyang Technological University（南洋理工大学）
本文提出离线RL评估时策略切换方法，利用认知与偶然不确定性在离策略RL和BC智能体间动态选择，提升多基准表现并可安全扩展至离线到在线微调。
2025-03-15 cs.AI cs.LG stat.ML
Vector preference-based contextual bandits under distributional shifts
Department of EECS, University of Michigan（电子工程与计算机科学系，密歇根大学）；Department of ECE, Texas A&M University（电气与计算机工程系，德克萨斯阿姆大学）
本文研究分布漂移下基于向量偏好的上下文赌博机问题，提出自适应离散化与乐观消除策略，并引入基于帕累托前沿距离的偏好遗憾概念，给出推广现有结果的遗憾上界。
2025-08-21 cs.LG cs.SY eess.SY
Survival of the Fittest: Evolutionary Adaptation of Policies for Environmental Shifts
University of Southern California（南加州大学）
针对环境随机动态发生剧烈分布变化导致原RL策略失效的问题，提出受进化博弈论启发的ERPO自适应再训练算法，并证明其收敛性与实验优势。
2024-10-22 cs.AI cs.GT cs.LG
COptiDICE: Offline Constrained Reinforcement Learning via Stationary Distribution Correction Estimation
KAIST（韩国科学技术院）；DeepMind（深度思维）
我们考虑离线约束强化学习（RL）问题，其中智能体的目标是计算一个政策，最大化预期收益，同时满足给定的成本约束，学习只从预先收集的数据集。这种问题设置在许多现实世界的场景中是有吸引力的，在这些场景中，与环境的直接交互是昂贵的或有风险的，并且由此产生的策略应该符合安全约束。然而，计算保证满足离线RL设置中的成本约束的策略具有挑战性，因为偏离策略的评估本质上存在估计误差。在本文中，我们提出了一个离线约束RL算法，优化的政策在空间的平稳分布。我们的算法，COptiDICE，直接估计的平稳分布校正的最优策略的回报，同时限制成本上界，与实际的约束满足产生一个成本保守的政策的目标。实验结果表明，COptiDICE算法在约束满足和收益最大化方面均优于基准算法.
2022-04-19 cs.AI cs.LG
Conformal Prediction Beyond the Horizon: Distribution-Free Inference for Policy Evaluation
KLATASDS - MOE School of Statistics East China Normal University（KLATASDS - 教育部统计学系华东师范大学）
可靠的不确定性量化对于高风险环境中的强化学习（RL）至关重要。我们提出了一个统一的共形预测框架的无限地平线的政策评估，构建分布免费的预测区间{回报}在政策和政策设置。我们的方法集成了分布式RL与共形校准，解决了未观察到的回报，时间依赖性和分布变化等挑战。我们提出了一个模块化的伪返回构造截断推出和时间感知的校准策略，使用经验重放和加权子采样的基础上。这些创新减轻了模型偏差，恢复了近似的互换性，即使在政策变化的情况下也能量化不确定性。我们的理论分析提供了覆盖保证，占模型误指定和重要性权重估计。实证结果，包括在合成和基准环境中的实验，如山地车，表明我们的方法显着提高了覆盖率和可靠性超过标准的分布式RL基线。
2025-10-29 cs.LG stat.ML
Low-Rank Adaptation for Critic Learning in Off-Policy Reinforcement Learning
University of Connecticut（康涅狄格大学）；University of California San Diego（加州大学圣地亚哥分校）；University of Texas at Arlington（德克萨斯理工大学）；Qualcomm（高通）
本文提出利用低秩适应（LoRA）作为结构正则化方法，通过冻结基础矩阵并优化低秩适配器，约束批评学习更新到低维子空间，实验表明该方法有效降低批评损失并提升整体策略性能。
2026-10-30 cs.AI cs.LG
A Unified Framework for Rethinking Policy Divergence Measures in GRPO
本文提出了一种统一的裁剪框架，通过KL3估计器改进GRPO，提升训练稳定性和性能。
2026-02-07 cs.AI cs.LG
General Flexible $f$-divergence for Challenging Offline RL Datasets with Low Stochasticity and Diverse Behavior Policies
North Carolina State University（北卡罗来纳州立大学）
本文提出通用灵活的f-分歧度方法，用于解决低随机性和多样化行为策略的离线RL数据集问题，通过平衡RL目标与约束，提升算法性能。
2026-02-11 cs.AI cs.LG
Triply Robust Off-Policy Evaluation
Caltech（加州理工学院）
我们提出了一个强大的回归方法，离线政策评估（OPE）的上下文土匪。我们将OPE框架为协变量偏移问题，并利用现代强大的回归工具。我们的方法是一个通用的方法，可以用来增强任何现有的OPE方法，利用直接方法。当增广双鲁棒方法时，我们称所得到的方法为三重鲁棒。我们证明了上界的偏差和方差，以及推导出新的极大极小界的基础上强大的极大极小分析的协变量偏移。我们的稳健回归方法与深度学习兼容，因此适用于需要强大函数逼近器的复杂OPE设置。最后，我们在标准的OPE基准测试中展示了优越的经验性能，特别是在日志记录策略未知并且必须从数据中估计的情况下。
2019-11-16 cs.LG stat.ML
A Temporal-Difference Approach to Policy Gradient Estimation
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
策略梯度定理（Sutton等人，2000）规定了在目标策略下使用累积贴现状态分布来近似梯度。基于该定理的大多数算法在实践中打破了这一假设，引入了可能导致收敛到差解的分布偏移。在本文中，我们提出了一种新的方法，重建的策略梯度从开始状态，而不需要一个特定的采样策略。这种形式的策略梯度计算可以根据梯度临界点来简化，由于新的梯度Bellman方程，可以递归地估计梯度临界点。通过使用时间差更新的梯度评论家从一个关闭的政策数据流，我们开发的第一个估计，回避了分布偏移的问题，在一个无模型的方式。我们证明，在一定的可实现性条件下，我们的估计是无偏的，无论抽样策略。我们的经验表明，我们的技术实现了优越的偏差方差权衡和性能的存在下，关闭政策的样本。
2022-07-07 cs.AI cs.LG
Discretizing Continuous Action Space with Unimodal Probability Distributions for On-Policy Reinforcement Learning
Nanjing University（南京大学）；Research Center for Novel Technology of Intelligent Equipment, Nanjing University（南京大学智能装备新技术研究中心）；Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出利用 Poisson 单峰概率分布约束离散策略，以保留连续动作空间的顺序与连续性，从而降低策略梯度方差并提升同策略强化学习在复杂控制任务中的收敛速度与性能。
2024-08-01 cs.AI cs.LG
Bridging Distributionally Robust Learning and Offline RL: An Approach to Mitigate Distribution Shift and Partial Data Coverage
California Institute of Technology（加州理工学院）；Texas A&M University（德克萨斯A&M大学）；Amazon（亚马逊）
本文利用分布鲁棒学习的极小极大化框架解决离线强化学习中的分布偏移问题，针对表格型和线性函数逼近两种设置提出算法，并在单一策略集中性假设下给出样本复杂度分析与仿真验证。
2023-10-27 cs.LG stat.ML
Minimax Model Learning
Caltech（加州理工学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一种新的off-policy损失函数，用于学习基于模型的强化学习中的过渡模型。值得注意的是，我们的损失来自政策外政策评估目标，重点是纠正分布偏移。与以前的基于模型的技术相比，我们的方法允许更大的鲁棒性下的模型误指定或分布偏移引起的学习/评估政策，是不同于数据生成的政策。我们提供了一个理论分析，并显示现有的基于模型的政策外评估方法的实证改进。我们提供了进一步的分析，表明我们的损失可以用于离线优化（OPO），并展示了它与OPO中最近的改进的集成。
2021-03-02 cs.AI cs.LG cs.RO
Double Horizon Model-Based Policy Optimization
Advanced Telecommunications Research Institute（先进电信研究所）；Kyoto University（京都大学）；The University of Tokyo（东京大学）
双视界模型驱动策略优化通过分阶段rollout策略，平衡分布偏移、模型偏差和梯度稳定性，在连续控制任务中提升样本效率和运行效率。
2025-12-17 cs.AI cs.LG
Co-adaptive Rule Routing and Constraining for Structured Knowledge Retrieval
University of Georgia（佐治亚大学）；Michigan State University（密歇根州立大学）；Georgia Institute of Technology（佐治亚理工学院）；Amazon（亚马逊）；Adobe Systems（奥多比系统公司）；PNNL（太平洋西北国家实验室）；Texas A&M University（德克萨斯农工大学）
针对现有结构化知识检索依赖的预定义查询-规则监督难以获取的问题，提出CoRE模型，通过路由智能体与规则约束检索器的协同自适应，在STaRK-QA数据集上验证了其有效性。
2026-10-20 cs.AI cs.IR
A Conservative Q-Learning approach for handling distribution shift in sepsis treatment strategies
KCIS, IIIT Hyderabad（海得拉巴国际信息技术研究所知识中心与智能系统实验室）
脓毒症是死亡的主要原因，其治疗非常昂贵。脓毒症的治疗也非常具有挑战性，因为对于什么样的干预措施效果最好没有共识，而且不同的患者对相同的治疗反应非常不同。深度强化学习方法可用于为反映医生行为的治疗策略提出最佳策略。在医疗保健场景中，可用数据大多是离线收集的，与环境没有交互，这就需要使用离线RL技术。离线RL范例遭受动作分布偏移，这反过来又对学习治疗的最佳策略产生负面影响。在这项工作中，使用保守Q学习（CQL）算法来减轻这种转变，其相应的策略比传统的深度Q学习更接近医生策略。该策略可以帮助重症监护室的临床医生在治疗脓毒症患者时做出更好的决策，提高生存率。
2022-03-25 cs.LG
Revisiting Estimation Bias in Policy Gradients for Deep Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Tencent Inc.（腾讯公司）；The University of Manchester（曼彻斯特大学）
本文从深度强化学习（DRL）的角度重新审视了折扣情景马尔可夫决策过程（MDP）的策略梯度估计偏差。理论上，该目标被表述为在时间范围内贴现的预期收益。一个主要的策略梯度偏差是状态分布偏移：用于估计梯度的状态分布与理论公式不同，因为它没有考虑贴现因子。现有关于该偏倚影响的讨论仅限于文献中的表格和softmax病例。因此，在本文中，我们将其扩展到DRL设置的政策参数化，并证明这种偏见如何可能导致次优政策理论。然后，我们讨论了为什么经验不准确的实现与移位状态分布仍然是有效的。我们表明，尽管这样的状态分布偏移，策略梯度估计偏差可以减少以下三种方式：1）一个小的学习率; 2）自适应学习率为基础的优化器;和3）KL正则化。具体来说，我们表明，一个较小的学习率，或自适应学习率，如亚当和RSMProp优化器使用的，使政策优化的偏见。我们进一步绘制优化器和优化正则化之间的联系，以表明KL和反向KL正则化都可以显着纠正这种偏差。此外，我们提供了大量的连续控制任务的实验，以支持我们的分析。我们的论文揭示了成功的PG算法如何在DRL设置中优化策略，并有助于深入了解DRL中的实际问题。
2023-02-10 cs.AI cs.LG
Beyond Policy Support: Interaction Constrained Offline Reinforcement Learning for Autonomous Driving
KTH Royal Institute of Technology（瑞典皇家理工学院）
针对自动驾驶离线强化学习中的交互分布偏移问题，提出交互约束驾驶策略（ICDP），通过对比密度比估计分解联合支持退化，无需联合密度建模或模拟器 rollout，在 nuPlan、Interplan 和真实卡车实验中提升交互关键场景性能。
2026-10-14 cs.AI cs.LG cs.RO
PLAS: Latent Action Space for Offline Reinforcement Learning
Robotics Institute（机器人研究所）；Carnegie Mellon University（卡内基梅隆大学）
离线强化学习的目标是从固定的数据集中学习策略，而无需与环境进行进一步的交互。对于机器人等强化学习的现实应用来说，这种设置将成为一个越来越重要的范例，其中数据汇集速度缓慢，并且具有潜在的危险。现有的离线策略算法由于来自分布外动作的外推误差而在静态数据集上具有有限的性能。这导致了在训练期间将策略约束为在数据集的支持下选择动作的挑战。我们建议简单地在潜在动作空间（PLAS）中学习策略，以便自然满足此要求。我们评估我们的方法在模拟和可变形物体的物理机器人操作任务的连续控制基准。我们证明了我们的方法在各种连续控制任务和不同类型的数据集上始终提供有竞争力的性能，优于现有的具有显式约束的离线强化学习方法。视频和代码可在https://sites.google.com/view/latent-policy上获得。
2020-11-14 cs.AI cs.LG cs.RO
Towards Safe Reinforcement Learning via Constraining Conditional Value-at-Risk
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）；Tsinghua University-China Mobile Communications Group Co., Ltd. Joint Institute（清华大学-中国移动通信集团有限公司联合研究院）
针对深度强化学习在转移和观测扰动下的安全问题，提出基于CVaR约束的CPPO算法，在MuJoCo连续控制任务中实现更高奖励和更强鲁棒性。
2022-09-17 cs.AI cs.LG
Warp: Structured Output-Space Adaptation for Frozen Robot Policies
University of Sydney（悉尼大学）；NVIDIA（英伟达）
针对残差强化学习在动力学偏移下无法调整分布形状的问题，提出Warp RL方法，通过可逆状态条件变换重塑基础策略的动作分布，在ManiSkill3任务和真实机器人插销任务中优于残差校正。
2026-11-05 cs.LG cs.RO
Policy Constraint by Only Support Constraint for Offline Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；Institute of Software, CAS（中国科学院软件研究所）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
针对离线强化学习中策略约束过度保守的问题，本文提出仅支持约束OSC，通过最大化学习策略在行为策略支持集内的总概率并利用扩散模型刻画支持集，在多个基准上显著提升性能。
2025-03-07 cs.AI cs.LG
Anytime-Competitive Reinforcement Learning with Policy Prior
UC Riverside（加州大学河滨分校）；CUHK Shenzhen（香港中文大学（深圳））；Caltech（加州理工学院）
本文提出ACRL算法，解决随时竞争马尔可夫决策过程，在保证每轮成本有界的同时优化期望奖励，并通过碳智能计算实验验证其性能。
2024-02-02 cs.LG
Efficient Off-Policy Safe Reinforcement Learning Using Trust Region Conditional Value at Risk
Seoul National University（首尔大学）
本文提出离策略TRC方法，通过新颖替代函数和自适应信赖域约束缓解分布偏移，在CVaR约束下实现样本高效的安全强化学习，并在仿真和真实机器人任务中快速满足安全约束且获得高回报。
2023-12-01 cs.AI cs.LG
Federated Offline Policy Optimization with Dual Regularization
Tsinghua University（清华大学）；Beijing Institute of Technology（北京理工大学）；Zhongguancun Laboratory（中关村实验室）
本文提出离线联邦策略优化算法DRPO，通过双重正则化应对离线FRL中的双层分布偏移，使智能体无需环境交互即可协作学习，并确保每轮联邦学习中的严格策略改进。
2024-05-29 cs.AI cs.LG
Conformal Policy Learning for Sensorimotor Control Under Distribution Shifts
University of California, Berkeley（加州大学伯克利分校）
本文提出保形策略学习，利用保形分位数切换或增强机器人控制策略，以在分布偏移下获得形式化统计保证，并通过自动驾驶和四足机器人实验验证其优于五个基线。
2023-11-02 cs.AI cs.RO
Reactive Exploration to Cope with Non-Stationarity in Lifelong Reinforcement Learning
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）；Dynatrace Research（Dynatrace研究院）；Institute of Advanced Research in Artificial Intelligence (IARAI)（高级人工智能研究所（IARAI））
在终身学习中，智能体在不断变化的环境中终生学习，而不会重置，就像我们人类一样。因此，终身学习带来了大量的研究问题，如持续的领域转移，这导致非静态奖励和环境动态。这些非平稳性由于其连续性而难以检测和处理。因此，需要能够跟踪稳定的域转移并适应它们的探索策略和学习方法。我们提出了反应式探索来跟踪和应对终身强化学习中的持续领域变化，并相应地更新策略。为此，我们进行实验，以研究不同的探索策略。我们的经验表明，政策梯度家庭的代表更适合终身学习，因为他们更快地适应分布偏移比Q学习。因此，策略梯度方法从反应式探索中获益最多，并在持续领域转移的终身学习中表现出良好的效果。我们的代码可在https://github.com/ml-jku/reactive-exploration上获取。
2022-09-22 cs.AI cs.LG
Ratio-Variance Regularized Policy Optimization
Department of Foundation Model, 2012 Labs, Huawei（华为基础模型部门，2012实验室）；Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University（上海智能自主系统研究院，同济大学）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院）
提出R²VPO方法，通过约束策略比率方差作为信任区域的局部近似，替代启发式裁剪，在LLM和机器人控制任务中提升性能与样本效率。
2026-05-26 cs.AI cs.LG
CROP: Conservative Reward for Model-based Offline Policy Optimization
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统全国重点实验室，中国科学院自动化研究所）
本文提出CROP算法，通过同时最小化估计误差和随机动作奖励，实现保守奖励估计，缓解离线强化学习中的分布偏移问题。
2026-04-13 cs.AI cs.LG
Efficient and Sharp Off-Policy Evaluation in Robust Markov Decision Processes
Morgan Stanley（摩根士丹利）；Cornell University（康奈尔大学）
该研究针对MDP环境偏移下的策略评估问题，将MSM扩展到无限视野RL，提出扰动模型下策略价值的精确界及半参数高效估计器，兼具鲁棒性、正交性和统计推断能力，可实现可靠的离策略评估。
2024-11-01 cs.AI stat.ML
MHPO: Modulated Hazard-aware Policy Optimization for Stable Reinforcement Learning
The University of Hong Kong（香港大学）；Tencent Youtu Lab（腾讯优图实验室）
MHPO通过引入Log-Fidelity Modulator和Decoupled Hazard Penalty，实现对策略偏差的精细调控，提升强化学习的稳定性和性能。
2026-03-22 cs.AI cs.CL cs.LG
Ratio-Variance Regularized Policy Optimization for Efficient LLM Fine-tuning
Department of Foundation Model, 2012 Labs, Huawei（华为2012实验室基础模型部门）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院）
R²VPO通过正则化策略比率的方差，提升LLM微调的稳定性和数据效率。
2026-01-06 cs.AI cs.LG
MOBODY: Model Based Off-Dynamics Offline Reinforcement Learning
Johns Hopkins University（约翰霍普金斯大学）；Duke University（杜克大学）
MOBODY通过学习目标动态过渡探索目标领域，优化策略以避免仅依赖低动态位移过渡，提升在显著动态位移或最优轨迹不在低位移区域的场景中的性能。
2026-03-18 cs.AI cs.LG cs.RO
Amortized Off-Policy Evaluation for LLMs
RBC Borealis；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
针对LLM持续部署中的策略与奖励偏移问题，提出PFN-OPE摊销式离线策略评估方法，在两个数据集上较基线误差降低2.0至9.3倍。
2026-10-09 cs.LG
Approximate Next Policy Sampling: Replacing Conservative Target Policy Updates in Deep RL
提出近似下一策略采样（ANPS）方法，通过修改训练分布而非约束策略更新来解决强化学习中的“鸡生蛋”问题，并基于此设计稳定值近似策略迭代（SV-API）算法，在Atari和连续控制任务上实现更大目标策略更新且性能匹配或提升。
2026-06-19 cs.LG
Stabilizing Policy Gradients for Stochastic Differential Equations via Consistency with Perturbation Process
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；ByteDance Research（字节跳动研究）
本文提出通过约束随机微分方程与其扰动过程一致性来稳定策略梯度，解决数据稀缺区域策略行为失控问题，并在药物设计任务上取得最佳Vina分数-9.07。
2024-06-26 cs.LG
Simple Policy Optimization
The Hong Kong University of Science（香港科学与技术大学）；Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心）；ETH Zurich（苏黎世联邦理工学院）
本文提出无约束一阶算法 SPO，通过改进 PPO 的比率裁剪策略损失，在保持简单高效实现的同时增强信赖域约束与理论保证，并在大型复杂网络端到端训练中优于 PPO。
2025-07-26 cs.LG
Proximal Supervised Fine-Tuning
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）；Large Language Model Department, Tencent（腾讯大语言模型部）；University of Macau（澳门大学）
本文提出近端监督微调（PSFT），通过引入信任区域方法约束策略漂移，提升模型在新领域中的泛化能力，实验显示其在跨领域泛化和长期稳定性方面优于传统监督微调。
2026-04-12 cs.AI cs.CL cs.LG
Conformal Off-Policy Evaluation in Markov Decision Processes
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出一种基于共形预测的离线策略评估方法，通过输出具有规定确定性水平的区间来估计目标策略的真实奖励，并针对分布偏移提出多种处理策略，在保持确定性水平的同时缩短了区间长度。
2023-09-19 cs.AI cs.LG cs.SY
