Score Regularized Policy Optimization through Diffusion Behavior
Tsinghua University（清华大学）；Pazhou Laboratory (Huangpu)（琶洲实验室（黄埔））
针对扩散策略采样缓慢的问题，提出从评论家与预训练扩散行为模型提取确定性推理策略，用行为分布得分函数正则化策略梯度，在D4RL任务上提速超25倍且性能最优。
2024-03-15 cs.LG
Contrastive Policy Gradient: Aligning LLMs on sequence-level scores in a supervised-friendly fashion
Cohere（科here公司）
针对现有直接对齐方法无法优化任意奖励、传统RL微调采样成本高的问题，提出无需重要性采样的离策略算法CoPG，可推广IPO与经典策略梯度，在老虎机问题和摘要任务微调中验证了特性。
2025-01-16 cs.LG
CDSA: Conservative Denoising Score-based Algorithm for Offline Reinforcement Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文提出保守去噪评分算法CDSA，利用去噪评分模型建模数据集密度梯度以调整预训练策略生成的动作，在D4RL数据集上显著提升离线强化学习基线性能并具备即插即用能力。
2024-06-11 cs.LG
Process Rewards for Outcome-Guided Reasoning Steps in LLM Reinforcement Learning
Amazon Science（亚马逊科学）
PROGRS框架通过过程奖励相对偏好优化，提升数学推理准确性，减少错误引导，优于仅基于结果的基线方法。
2026-10-14 cs.AI cs.LG
Shrinking the Variance: Shrinkage Baselines for Reinforcement Learning with Verifiable Rewards
本文提出了一种基于收缩估计的基线方法，用于改进具有可验证奖励的强化学习中策略梯度估计器的方差，通过结合每个提示和跨提示的均值来提高估计准确性。
2026-02-18 cs.LG
Learning to Score Behaviors for Guided Policy Optimization
UC Berkeley（加州大学伯克利分校）；University of Oxford（牛津大学）；Columbia University（哥伦比亚大学）；NYU（纽约大学）；Google Brain Robotics（谷歌大脑机器人团队）
我们引入了一种新的方法来比较强化学习政策，使用Wasserstein距离（WD）在一个新定义的潜在行为空间。我们表明，通过利用WD的双重制定，我们可以学习分数函数的政策行为，反过来可以用来引导政策优化（或远离）（非）所需的行为。结合平滑WD，对偶公式使我们能够设计出有效的算法，通过WD正则化器采取随机梯度下降步骤。我们将这些正则化到两个新的政策算法，行为引导的策略梯度和行为引导的演化策略，我们证明可以在各种具有挑战性的环境中优于现有的方法。我们还提供了一个开源的demo。
2020-03-04 cs.LG stat.ML
Sample-Efficient Policy Constraint Offline Deep Reinforcement Learning based on Sample Filtering
Guangdong Key Laboratory of Intelligent Morphing Mechanisms（广东智能变形机制与自适应机器人重点实验室）；the Harbin Institute of Technology Shenzhen（哈尔滨工业大学深圳研究院）；Faculty of Robot Science and Engineering（机器人科学与工程学院）；Northeastern University（东北大学）；School of Systems Engineering（系统工程学院）；City University of Hong Kong（香港城市大学）
本文提出一种基于样本过滤的策略约束离线深度强化学习方法，通过筛选高分转移样本提升样本效率和性能。
2025-12-23 cs.LG
Efficient Online Reinforcement Learning for Diffusion Policy
Harvard University（哈佛大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出重加权分数匹配（RSM）方法，通过重新加权损失函数解决在线强化学习中扩散策略训练无法从最优策略采样及反向传播成本高的问题，并基于此提出DPMD和SDAC算法，在MuJoCo基准上表现优异。
2025-06-30 cs.LG
Target Policy Optimization
TPO通过分离策略更新与目标分布构建，改进了策略梯度方法在稀疏奖励下的性能，适用于表格任务、Transformer序列任务和大模型强化学习。
2026-04-07 cs.LG
Long Live The Balance: Information Bottleneck Driven Tree-based Policy Optimization
Alibaba Cloud Computing, Alibaba Group（阿里云计算，阿里巴巴集团）
针对在线强化学习中探索-利用不平衡问题，提出基于信息瓶颈理论的IB-Score指标和IB-TPO框架，通过树采样策略提升优化稳定性和性能。
2026-05-27 cs.LG
3SPO: State-Score-Supervised Policy Optimization for LLM Agents
School of Computer Science and Technology, East China Normal University（东华大学计算机科学与技术学院）；Fudan University（复旦大学）；KAUST（卡塔尔人工智能研究学院）；Fuzhou University（福州大学）
提出3SPO算法，通过动态状态分数监督实现逐步骤策略优化，解决多轮智能体任务中奖励稀疏和信用分配问题，在ALFWorld和WebShop上分别比GRPO提升22.6%和15.6个百分点。
2026-06-08 cs.AI cs.LG
Score-Based One-step MeanFlow Policy Optimization
Korea University, Decision Making Lab（韩国大学，决策实验室）；Gauss Labs Inc.（Gauss实验室）
提出SOM算法，通过分数估计和概率流ODE从Q函数构建目标速度场，实现单步生成，在在线强化学习中达到最优性能并大幅减少训练和推理时间。
2026-05-22 cs.AI cs.LG
Deterministic Policy Optimization by Combining Pathwise and Score Function Estimators for Discrete Action Spaces
Department of Computer Science, Stanford University（斯坦福大学计算机科学系）
策略优化方法在解决复杂的强化和模仿学习任务方面显示出巨大的潜力。虽然无模型方法广泛适用，但它们通常需要许多样本来优化复杂的策略。基于模型的方法大大提高了样本效率，但代价是泛化能力差，需要为每个任务精心手工制作系统动态模型。最近，混合方法已经成功地在改善样本复杂性的适用性之间进行权衡。然而，这些都局限于连续的动作空间。在这项工作中，我们提出了一种新的混合动力方法的基础上近似的动态下一个状态下的当前政策的期望。这种放松使我们能够得到一个新的混合策略梯度估计，结合得分函数和路径导数估计，这是适用于离散的行动空间。我们在样本复杂性方面取得了显着的进步，范围在$1.7$和$25\times$之间，在学习Cart Pole，Acrobot，Mountain Car和Hand Mass上的参数化策略时。我们的方法是适用于离散和连续的行动空间，当竞争路径方法仅限于后者。
2017-11-21 cs.AI cs.LG
Amortized Score-Hamiltonian Policy Iteration: A Grid-Free Scheme for Relaxed Stochastic Control Problems
Florida State University（佛罗里达州立大学）；Worcester Polytechnic Institute（伍斯特理工学院）
本文提出摊销无网格的得分-哈密顿策略迭代算法，用于熵正则化松弛随机控制问题，通过共享条件采样器和参数化评论家实现耦合演员-评论家学习，并给出误差界限与高维数值验证。
2026-11-09 cs.LG math.OC
On Advantage Estimates for Max@K Policy Gradients
The University of Tokyo（东京大学）
针对稀疏奖励下推理模型后训练困难，提出一种新的优势估计方法 MaxPO，通过 Leave-Two-Out 基线实现中心化优势，降低梯度方差并提升性能。
2026-06-04 cs.AI cs.CL cs.LG
Support-Constrained RL Enables Real-World Policy Improvement without Real-World Experience
University of Washington（华盛顿大学）；Amazon FAR（亚马逊FAR）
提出SCORE框架，通过流导向约束模拟中的强化学习到真实数据预训练生成策略的支持集，实现无需真实世界经验即可改进真实世界操作策略，在八项灵巧操作任务中成功率从37.8%提升至89.9%。
2026-06-29 cs.LG cs.RO
Score-Based Diffusion Policy Compatible with Reinforcement Learning via Optimal Transport
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Shanghai Jiao Tong University（上海交通大学）
针对扩散策略在分布偏移下鲁棒性不足的问题，提出结合最优传输的OTPR方法，通过Q函数作传输代价、掩码匹配及兼容性重采样实现扩散策略与RL的高效稳定微调，在仿真任务中性能更优。
2025-02-21 cs.AI cs.LG
V-MPO: On-Policy Maximum a Posteriori Policy Optimization for Discrete and Continuous Control
深度强化学习在离散和连续控制领域的一些最成功的应用已经在策略设置中使用了策略梯度方法。然而，策略梯度可能遭受可能限制性能的大方差，并且在实践中需要仔细调整熵正则化以防止策略崩溃。作为策略梯度算法的替代方案，我们引入了V-MPO，最大后验策略优化（MPO）的策略适应，基于学习的状态-价值函数执行策略迭代。我们表明，V-MPO在多任务环境中超过了之前报告的Atari-57和DMLab-30基准套件的分数，并且在没有重要性加权、熵正则化或基于群体的超参数调整的情况下也能可靠地做到这一点。在个人DMLab和Atari水平上，所提出的算法可以实现比以前报告的分数高得多的分数。V-MPO也适用于高维连续动作空间的问题，我们在学习控制模拟人形机器人的背景下证明了这一点，其中来自全状态观测的自由度为22自由度，来自像素观测的自由度为56自由度，以及示例OpenAI Gym任务，其中V-MPO实现了比以前报告的更高的渐近分数。
2019-09-26 cs.AI cs.LG
ProRL: Effective Reinforcement Learning for Proactive Recommendation via Rectified Policy Gradient Estimation
School of Data Science, Fudan University, Shanghai, China（复旦大学数据科学学院，上海，中国）
针对主动推荐系统中策略梯度估计存在的长度依赖偏差和高方差问题，提出ProRL框架，通过逐步奖励中心化和位置特定优势估计两个机制修正梯度，显著提升推荐效果。
2026-05-28 cs.AI cs.LG
Offline Multi-agent Reinforcement Learning via Sequential Score Decomposition
School of Data Science, The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）数据科学学院）；School of Computer Science, Tongji University, Shanghai, China（同济大学计算机科学学院）；Vector Institute（向量研究所）
针对离线合作多智能体强化学习中联合动作空间高维和异质行为数据导致的策略分布偏移问题，提出序列得分函数分解方法，利用扩散模型从多模态离线数据中学习每个智能体的正则化信号，指导策略更新至高分、分布内区域，在多个粒子环境和多智能体MuJoCo基准上实现最先进性能。
2026-05-28 cs.LG cs.MA
Consistency Models as a Rich and Efficient Policy Class for Reinforcement Learning
Princeton University（普林斯顿大学）
本文提出将一致性模型作为强化学习中的高效策略类，通过演员-评论家算法应用于离线、离线到在线及在线三种设置，实现计算加速且性能优于扩散策略。
2024-03-14 cs.LG
Score-Aware Policy-Gradient and Performance Guarantees using Local Lyapunov Stability
LAAS–CNRS, Université de Toulouse, CNRS（LAAS–CNRS，图卢兹大学，CNRS）；Eindhoven University of Technology（埃因霍温理工大学）；LAAS-CNRS, IRIT, and Université de Toulouse（LAAS-CNRS，IRIT，图卢兹大学）
本文提出了适用于基于模型的强化学习的分数感知梯度估计器SAGE，无需值函数估计即可估计策略梯度，证明了其局部收敛性与遗憾界，实验显示其比actor-critic方法更快找到近优策略。
2025-10-29 cs.LG cs.PF math.OC
In-Context Learning as Implicit Policy Gradient
MBZUAI（穆罕默德·本·扎耶德人工智能大学）
研究大语言模型上下文学习现象，证明分数条件上下文学习与策略梯度优化有结构对应，通过自注意力机制等进行分析推导，经多模型实验验证，表明大语言模型能利用分数信息优化输出分布，注意力权重与示例分数相关。
2026-07-28 cs.AI cs.CL cs.LG
Privileged Likelihood Is Not Automatically Value: Three Checks for Token Credit in On-Policy Self-Distillation
Salesforce AI Research（Salesforce AI研究院）
该研究针对在线自蒸馏中 token 信用问题，通过三项检验分析特权似然与价值的关系，实验表明 token 分数变体效果不及仅结果对照组，需单独验证分数等因素的有效性。
2026-08-27 cs.AI cs.LG
Improved Off-policy Reinforcement Learning in Biological Sequence Design
Mila - Quebec AI Institute（魁北克人工智能研究所）；Valence Labs（Valence实验室）
针对生物序列设计中代理模型分布外易偏差的问题，提出$δ$-保守搜索的离策略强化学习方法，通过限制探索区域、自适应调整保守度提升鲁棒性，在多类生物序列设计任务中优于现有方法。
2025-06-16 cs.LG q-bio.BM
Improving Sample Efficiency in Evolutionary RL Using Off-Policy Ranking
Indian Institute of Science（印度科学学院）
演化策略是一种基于自然进化思想的黑箱优化技术。在每一次迭代中，关键的一步需要根据一些适应度得分对候选解决方案进行排名。对于强化学习（RL）中的ES方法，该排名步骤需要评估多个策略。这目前是通过基于策略的方法来完成的：每个策略的得分是通过使用该策略与环境进行多次交互来估计的。这导致了大量浪费的交互，因为一旦完成排名，只有与排名最高的策略相关联的数据用于后续学习。为了提高样本效率，我们提出了一种新的关闭政策的替代排名，基于适应度函数的局部近似。我们证明了我们的想法的背景下，一个国家的最先进的ES方法称为增强随机搜索（ARS）。在MuJoCo任务中的模拟表明，与原始ARS相比，我们的非策略变体在达到奖励阈值方面具有相似的运行时间，但只需要大约70%的数据。它的表现也优于最近的信任区域ES。我们相信我们的想法应该是可扩展的其他ES方法。
2023-02-21 cs.AI cs.LG
Learning Individualized Treatment Rules with Estimated Translated Inverse Propensity Score
Siemens AG（西门子股份公司）；LMU Munich（慕尼黑大学）；ETH Zurich（苏黎世联邦理工学院）
随机对照试验通常分析治疗的有效性，目的是为患者亚组提供治疗建议。随着电子健康记录的发展，在临床实践中收集了各种各样的数据，从而能够根据观察数据评估治疗和治疗策略。在本文中，我们专注于学习个性化治疗规则（ITR），以获得一个治疗策略，预计将产生一个更好的结果为个别患者。在我们的框架中，我们将ITRs学习作为一个上下文强盗问题，并最大限度地减少治疗策略的预期风险。我们在模拟研究和现实世界的数据集的基础上进行实验与建议的框架。在后一种情况下，我们应用我们提出的方法来学习静脉（IV）液体和血管加压药（VP）给药的最佳ITR。基于各种离线评估方法，我们可以证明，与医生和其他基线（包括简单的治疗预测方法）相比，在我们的框架中导出的策略表现出更好的性能。作为一个长期的目标，我们的衍生政策可能最终导致更好的临床指南，为管理IV和VP。
2020-07-02 cs.LG stat.ML
Policy Gradient using Weak Derivatives for Reinforcement Learning
Cornell University（康奈尔大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
本文考虑连续状态-动作强化学习问题中的策略搜索。通常，使用称为策略梯度定理的策略梯度的经典表达式来计算搜索方向，该定理将价值函数的梯度分解为两个因子：得分函数和Q函数。本文给出了四个结果：（i）一个可供选择的策略梯度定理（ii）证明了由此导出的随机梯度估计是无偏的，并给出了几乎必然收敛到强化学习问题的非凸价值函数的稳定点的算法;（iii）推导了该算法的样本复杂度，并证明了其为$O(1/\sqrt(k))$ ;（iv）最后，证明了用弱导数得到的梯度估计的期望方差低于用流行的得分函数方法得到的梯度估计。在OpenAI健身房摆环境下的实验表明，该算法具有较好的性能。
2020-04-09 cs.LG cs.MA cs.SY
Revisiting Reinforcement Learning with Verifiable Rewards from a Contrastive Perspective
Beijing Institute of Technology（北京理工大学）；Qwen Business Unit of Alibaba（阿里巴巴Qwen业务部）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出ConSPO方法，通过对比序列级策略优化，解决GRPO在目标函数上的似然错配和信用分配不敏感问题，在推理任务上超越强基线。
2026-09-21 cs.AI cs.LG
CATPO: Critique-Augmented Tree Policy Optimization
Indian Institute of Technology Roorkee（印度理工学院罗尔基分校）；Vision and Language Group（视觉与语言组）
提出CATPO方法，通过树信息性评分和批评引导修复，解决树结构强化学习中低效树浪费计算的问题，在数学推理任务上提升准确率。
2026-06-06 cs.CL cs.LG
Policy-Invariant Reward Shaping from LLM Feedback: A Framework for Hybrid RL Agents
AI Research and Innovation Nexus for Africa (AIRINA Labs)（非洲AI研究与创新中心（AIRINA实验室））；Sefako Makgatho Health Sciences University (SMU)（塞法科·马加托健康科学大学）；African Center for Advanced Studies (ACAS)（非洲高级研究中心）；African Institute for Mathematical Sciences（非洲数学科学学院）
该研究针对LLM衍生奖励信号的理论模糊问题，提出基于LLM反馈的策略不变奖励塑形框架，将混合架构形式化为目标增强MDP，证明其最优策略集保留保证更强，并通过数值实验验证了结果。
2026-08-19 cs.AI cs.LG
K-Score: Kalman Filter as a Principled Alternative to Reward Normalization in Reinforcement Learning
University of Bern, Bern, Switzerland（伯恩大学）
本文提出一种简单有效的奖励归一化替代方法，通过整合一维卡尔曼滤波进行在线奖励估计，递归估计潜在奖励均值，降低高方差回报并适应非平稳环境，实验表明其加速收敛并减少训练方差。
2026-04-24 cs.AI cs.LG
Transfer Reward Learning for Policy Gradient-Based Text Generation
University of Liverpool（利物浦大学）
特定于任务的分数通常用于优化和评估条件文本生成系统的性能。然而，这样的分数是不可微的，并且不能在标准的监督学习范例中使用。因此，使用策略梯度方法，因为可以在不需要可微目标的情况下计算梯度。然而，我们认为，目前的n-gram重叠作为奖励的措施，可以通过使用基于模型的奖励，直接比较句子对的相似性的任务转移。这些奖励模型要么输出整个预测句子和目标句子之间的句子级句法和语义相似度的分数作为预期回报，要么输出中间短语作为分段累积奖励。我们证明，使用一个\textit{Transferable Reward Learner}导致改进的结果语义评价措施的政策梯度模型的图像描述任务。我们的InferSent actor-critic模型在MSCOCO上的BLEU训练的actor-critic模型上进行了6.97点的Word Mover距离相似性度量评估，也提高了滑动窗口余弦相似性度量10.48点。在较小的Flickr-30 k数据集上也获得了类似的性能改进，证明了所提出的迁移学习方法的普遍适用性。
2019-09-09 cs.CL cs.CV cs.LG
Turning Off-Policy Tokens On-Policy: A Plug-in Approach for Improving LLM Alignment
Renmin University of China（中国人民大学）
研究针对大语言模型强化学习后训练中离策略数据问题，提出选择性重要性采样（SIS），受拒绝采样启发，以离策略模型为提议分布进行令牌级拒绝测试，理论证明可减少梯度估计差距，实验验证其有效性。
2026-08-19 cs.AI cs.CL cs.LG
RRPO: Reference-Relative Policy Optimization with Stratified Conditional Rollouts
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Adobe Research（Adobe研究院）
研究提出RRPO，通过参考相对对比比较推广GRPO。用分层条件展开构建锚集，训练投影头定义对比优势，在策略优化中评估。不依赖任务真实验证器，在多种设置下有竞争力，优于弱监督基线，监督微调后有额外收益。
2026-07-22 cs.AI cs.LG
It Is Not Seeing the Hazard: A Frozen Vision-Language Safety Score Measures Its Caption Bank
Iowa State University（爱荷华州立大学）
本研究通过受控实验评估冻结CLIP安全分数，发现其下降主要反映与字幕库的场景相似度而非真实危险，策略收益不能证明危险感知能力。
2026-10-08 cs.CV cs.LG
Let the Batch Decide, On- or Off-Policy: Effective Sample Size for RL Post-Training
Boson AI
本文提出一种自适应策略优化方法，通过动态调整策略更新的信任区域和下策略正则化强度，以提高强化学习在训练后对数据分布变化的鲁棒性。
2026-10-20 cs.AI cs.LG
Continuous Q-Score Matching: Diffusion Guided Reinforcement Learning for Continuous-Time Control
Southern University of Science and Technology（南方科技大学）；Huawei Technologies Co., Ltd（华为技术有限公司）
针对连续时间控制问题，本文提出 CQSM 算法，通过鞅条件刻画 Q 函数并将扩散策略分数与其动作梯度关联，实现无需时间离散化的策略改进，并给出 LQ 控制闭式解与仿真验证。
2025-10-20 cs.LG math.OC
On the Hidden Biases of Policy Mirror Ascent in Continuous Action Spaces
University of Maryland, College Park（马里兰大学帕克分校）；Microsoft Research（微软研究院）；U.S. Army Research Laboratory（美国陆军研究实验室）；Amazon（亚马逊）
我们专注于连续动作空间上的参数化策略搜索强化学习。通常，假设与策略相关联的得分函数是有界的，即使对于高斯策略也不成立。为了正确地解决这个问题，必须引入一个勘探公差参数来量化它所处的区域。这样做会导致一个持续的偏差，出现在预期的策略梯度范数的衰减率，这是成反比的行动空间的半径。为了减轻这种隐藏的偏差，可以使用重尾策略参数化，其表现出有界的得分函数，但这样做可能会导致算法更新的不稳定性。为了解决这些问题，在这项工作中，我们研究了重尾参数化下的策略梯度算法的收敛性，我们建议将镜像上升型更新和梯度跟踪相结合来稳定该算法。我们的主要理论贡献是建立，该计划收敛于恒定的步长和批量大小，而以前的作品需要这些参数分别收缩到零或增长到无穷大。实验上，该计划下的重尾政策参数化产生改进的奖励积累在各种设置相比，标准的基准。
2022-01-31 cs.AI cs.LG math.OC
A Privileged Teacher That Only Scores Cannot Search: Critique-Conditioned On-Policy Self-Distillation for Reasoning
Dublin City University（都柏林城市大学）
该研究发现在线策略自蒸馏的评分信号无法有效纠正推理错误，提出基于批判的自蒸馏方法，通过生成批判优化信号，提升了错误定位与数学问题求解能力。
2026-10-12 cs.AI cs.CL cs.LG
Scalable Multi-Objective and Meta Reinforcement Learning via Gradient Estimation
本文提出PolicyGradEx算法，通过梯度估计实现多目标强化学习的高效优化，实验表明其在机器人控制和Meta-World基准测试中优于现有方法，效率提升达26倍。
2026-02-23 cs.AI cs.LG
Policy as Data: Replay-Based Policy Dual Averaging via Advantage Regression
Harvard University（哈佛大学）；Carnegie Mellon University（卡内基梅隆大学）
提出RDA2C算法，将重放数据作为对偶目标，通过优势回归累积策略改进，在MuJoCo和Atari基准上超越PPO等基线。
2026-10-06 cs.AI cs.LG math.OC
Low-complexity modular policies: learning to play Pac-Man and a new framework beyond MDPs
在本文中，我们提出了一种学习玩吃豆人的方法。我们定义了一组高级观察和动作模块。动作在时间上被延长，并且多个动作模块可以同时生效。代理的决策被表示为基于规则的策略。对于学习，我们应用交叉熵方法，最近的全局优化算法。学习的策略比手工制定的策略得分更高，接近人类玩家的平均得分。我们认为，学习是成功的，主要是因为（i）政策空间包括个人行动的组合，因此它是足够丰富的，（ii）搜索是偏向于低复杂度的政策和低复杂度的解决方案，可以很快找到，如果它们存在。基于这些原则，我们制定了一个新的理论框架，可以在附录中找到作为支持材料。
2006-10-30 cs.AI cs.LG
Deep Reinforcement Learning for Cost-Effective Medical Diagnosis
Princeton University（普林斯顿大学）；Northwestern University（西北大学）
当医学测试昂贵或耗时时，动态诊断是可取的。在这项工作中，我们使用强化学习（RL）来找到一种动态策略，该策略根据先前的观察结果顺序选择实验室测试面板，以低成本确保准确的测试。临床诊断数据通常高度不平衡;因此，我们的目标是最大化$F_1$评分，而不是出错率。然而，优化非凹$F_1$分数不是经典的RL问题，因此使标准RL方法无效。为了解决这个问题，我们开发了一个奖励塑造的方法，利用属性的$F_1$分数和二元性的政策优化，可证明地找到一组所有帕累托最优的政策，不受约束的$F_1$分数最大化。为了处理组合复杂的状态空间，我们提出了一个基于半模型的深度诊断策略优化（SM-DDPO）框架，该框架与端到端训练和在线学习兼容。SM-DDPO在不同的临床任务中进行测试：铁蛋白异常检测，脓毒症死亡率预测和急性肾损伤诊断。使用真实世界数据的实验验证了SM-DDPO有效地训练并识别所有Pareto前沿解决方案。在所有任务中，SM-DDPO能够实现最先进的诊断准确性（在某些情况下高于传统方法），同时降低测试成本高达$85\%$。该代码可在[https：//github.com/Zheng321/Deep-Reinforcement-Learning-for-Cost-Procuretive-Medical-Diagnosis]获得。
2023-02-28 cs.AI cs.LG
Loop-Free Inverse Reinforcement Learning via Sequential Value Recovery with Q-Score Matching
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；University of Auckland（奥克兰大学）
本文提出无循环逆强化学习（LFIRL），通过扩散策略编码的动作梯度结构，将奖励学习转化为顺序价值恢复问题，消除策略优化循环，实现2-3倍加速并保持高质量奖励恢复。
2026-10-01 cs.AI cs.LG
Batch Policy Gradient Methods for Improving Neural Conversation Models
Carnegie Mellon University（卡内基梅隆大学）；DigitalGenius Ltd.（DigitalGenius有限公司）；Microsoft Research（微软研究院）
我们研究了具有递归神经网络架构的聊天机器人的强化学习，当奖励是嘈杂的和昂贵的获得。例如，用于自动化客户服务支持的聊天机器人可以由质量保证代理进行评分，但这个过程可能是昂贵的，耗时的和嘈杂的。以前用于自然语言处理的强化学习工作使用策略更新和/或针对在线学习设置而设计。我们的经验表明，这样的策略是不适合这种设置，并开发了一个关闭政策批量政策梯度方法（BPG）。我们通过一系列的合成实验和Amazon Mechanical Turk在餐厅推荐数据集上的实验证明了我们方法的有效性。
2017-02-10 cs.LG stat.ML
Pessimistic Off-Policy Multi-Objective Optimization
AWS AI Labs（亚马逊云科技人工智能实验室）；Amazon（亚马逊）；Amazon Visiting Scholar（亚马逊访问学者）
本文针对离线多目标策略优化问题，提出一种基于逆倾向评分的悲观估计器，可嵌入超体积计算并通过策略梯度优化，在理论和实验上均优于朴素IPS方法。
2023-10-28 cs.LG stat.ML
Constrained Flow Policy Updates: A Generalized Schrödinger Bridge View
针对在线安全强化学习中多模态动作分布与原始-对偶方法不稳定的问题，提出基于广义薛定谔桥的流策略更新方法RAFALE，直接微分增广目标并采用无密度动能正则化，在七个Safety-Gymnasium任务上实现奖励与安全约束的平衡。
2026-09-29 cs.LG cs.RO
Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach
Georgia Institute of Technology（佐治亚理工学院）；Google Brain（谷歌大脑）；Google Cloud AI（谷歌云人工智能）
在交互式环境下对对话系统进行可靠的自动评估是一个长期的问题。评估对话系统的理想环境，也称为图灵测试，需要涉及人类交互，这通常是大规模实验所无法承受的。尽管研究人员试图使用度量（例如，困惑，BLEU）或一些基于基于模型的强化学习方法（例如，自我评价），但这些方法在实践中仅显示出与实际人类评价的非常弱的相关性。为了弥补这一差距，我们提出了一个新的框架，名为ENIGMA估计人类的评价分数的基础上，在强化学习的政策外评价的最新进展。ENIGMA只需要少量预先收集的经验数据，因此在评估过程中不涉及人类与目标策略的交互，使自动评估成为可能。更重要的是，ENIGMA是无模型的，并且对收集体验数据的行为策略不可知（详见第2节），这大大降低了对复杂对话环境和人类行为建模的技术难度。我们的实验表明，ENIGMA在与人类评估分数的相关性方面显着优于现有方法。
2021-09-21 cs.AI cs.CL cs.LG
Score-Calibrated Flow for Sampling from Unnormalized Densities with Applications to Generative Online Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Qualcomm AI Research（高通人工智能研究院）
针对在线强化学习中从非归一化密度采样训练生成式策略的难题，提出分数校准流（SCF）算法，利用自一致性和分数校准条件，无需重要性采样，在RL基准上匹配或超越现有方法并显著降低训练时间。
2026-10-06 cs.LG cs.SY eess.SY
Explainable Autonomous Cyber Defense using Adversarial Multi-Agent Reinforcement Learning
Adelaide University（阿德莱德大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61）
本文提出C-MADF框架，通过因果建模与对抗性双策略控制，提升网络防御的可解释性和准确性，在真实数据集上显著降低误报率。
2026-04-06 cs.CR cs.LG cs.MA
Fine-Tuning Discrete Diffusion Models with Policy Gradient Methods
Imperial College London（帝国理工学院）
本文提出SEPO算法，用于高效微调离散扩散模型，通过理论支持和实验验证展示了其在非可微奖励下的有效性。
2025-12-18 cs.AI cs.CL cs.LG
Competitive Policy Optimization
ETH Zürich（苏黎世联邦理工学院）；California Institute of Technology（加州理工学院）
在竞争马尔可夫决策过程中，策略优化的一个核心挑战是设计具有理想收敛性和稳定性的有效优化方法。为了解决这个问题，我们提出了竞争政策优化（CoPO），一种新的策略梯度的方法，利用竞争游戏的博弈论性质，以获得政策更新。受竞争梯度优化方法的启发，我们得到了一个双线性近似的游戏目标。相比之下，现成的策略梯度方法仅利用线性近似，因此不捕获参与者之间的交互。我们以两种方式实例化CoPO：（i）竞争性策略梯度，以及（ii）信任区域竞争性策略优化。我们从理论上研究了这些方法，并在一组全面的，但具有挑战性的，竞争性的游戏上实证研究了它们的行为。我们观察到，他们提供了稳定的优化，收敛到复杂的战略，以及更高的分数时，发挥对基线策略梯度方法。
2020-06-18 cs.GT cs.LG cs.MA
Scaling Properties of Same-Family On-Policy Distillation
本研究探讨在线策略蒸馏在弱到强等设置中的缩放性质，发现早期训练存在有用转移阶段，学生峰值分数可超教师，并拟合幂律揭示教师规模与转移效果的关系。
2026-09-29 cs.LG
