Semi-Supervised Off Policy Reinforcement Learning
Harvard University（哈佛大学）；Massachusetts General Hospital（麻省总医院）
强化学习（RL）在估计考虑患者异质性的序贯治疗策略方面取得了巨大成功。然而，作为强化学习方法奖励的健康结果信息通常没有很好地编码，而是嵌入在临床笔记中。提取精确的结果信息是一项资源密集型任务，因此大多数可用的注释良好的队列都很小。为了解决这个问题，我们提出了一个半监督学习（SSL）的方法，有效地利用一个小规模的标记数据与观察到的真实结果，和一个大的未标记的数据与结果代理。特别是，我们提出了一个半监督的，有效的方法来Q学习和双鲁棒关闭政策值估计。将SSL推广到顺序治疗方案带来了有趣的挑战：1）Q学习的特征分布是未知的，因为它包括以前的结果。2)我们在改进的SSL框架中利用的代理变量可以预测结果，但不能为最优策略或价值函数提供信息。我们提供的理论结果，我们的Q-函数和价值函数估计，了解到什么程度的效率可以从SSL。我们的方法至少与监督方法一样有效，而且安全，因为它对插补模型的错误指定具有鲁棒性。
2021-02-23 cs.AI cs.LG stat.ME
Fine-Tuning Discrete Diffusion Models with Policy Gradient Methods
Imperial College London（帝国理工学院）
本文提出SEPO算法，用于高效微调离散扩散模型，通过理论支持和实验验证展示了其在非可微奖励下的有效性。
2025-12-18 cs.AI cs.CL cs.LG
Proximal Policy Optimization for Amortized Discrete Sampling
HSE University（高等经济学院）；Constructor University（康斯特大学）；CMAP, CNRS, École polytechnique, IPP（CMAP，CNRS，巴黎综合理工学院，IPP）
本文在生成流网络框架下，推导了策略梯度算法并首次应用近端策略优化，提升了离散概率分布采样的收敛速度和数据效率。
2026-11-03 cs.AI cs.LG stat.ML
Policy Evaluation and Optimization with Continuous Treatments
Cornell University（康奈尔大学）；Cornell Tech（康奈尔理工学院）
我们研究的问题，政策评估和学习批量上下文土匪数据时，治疗是连续的，超越了以前的工作离散治疗。以前的工作离散治疗/行动空间的重点是逆概率加权（IPW）和双鲁棒（DR）的方法，使用一个拒绝抽样方法进行评估和学习的等效加权分类问题。在连续设置中，这种简化失败了，因为我们几乎肯定会拒绝所有的观察。为了解决连续治疗的情况下，我们扩展的IPW和DR方法的连续设置使用核函数，利用治疗接近衰减离散拒绝。我们的政策估计是一致的，我们的特点是最佳带宽。由此产生的连续策略优化器（CPO）的方法，使用我们的估计器实现收敛的遗憾，并接近最好的同类政策的可学习的政策类。我们证明了估计器表现良好，特别是优于基于离散化的基准。我们进一步研究了我们的策略优化器的性能在个性化给药的案例研究的基础上的数据集的Warcraft患者，他们的协变量，和最终的治疗剂量。我们学习的政策优于基准，并接近甲骨文最好的线性政策。
2018-02-16 cs.LG stat.ML
Simplifying Deep Reinforcement Learning via Self-Supervision
Texas A&M University（德克萨斯农工大学）
监督回归示范已被证明是训练深层政策网络的稳定方法。我们的动机是研究如何充分利用监督损失函数来稳定地训练深度强化学习代理。这是一项具有挑战性的任务，因为目前还不清楚如何收集训练数据以改进政策。在这项工作中，我们提出了自我监督强化学习（SSRL），一个简单的算法，优化政策与纯粹的监督损失。我们证明，没有策略梯度或价值估计，"标签”数据和监督回归的迭代过程足以推动稳定的政策改进。通过选择和模仿具有高情节奖励的轨迹，SSRL与当代算法相比具有更稳定的性能和更少的运行时间，显示出用监督学习技术解决强化学习的潜力。代码可在https://github.com/daochenzha/SSRL上获得
2021-06-10 cs.LG
Model Selection in Batch Policy Optimization
Stanford University（斯坦福大学）；Google Research, Brain Team（谷歌研究院 Brain 团队）
我们研究了批量策略优化中的模型选择问题：给定一个固定的部分反馈数据集和$M$模型类，学习一个性能与来自最佳模型类的策略具有竞争力的策略。我们通过识别任何模型选择算法都应该最佳权衡以具有竞争力的三个错误来源，在具有线性模型类的上下文Bandit设置中将问题形式化：（1）近似误差，（2）统计复杂性和（3）覆盖范围。前两个来源在监督学习的模型选择中是常见的，其中最佳地权衡这些属性是很好的研究。相比之下，第三个源是批处理策略优化所特有的，并且是由于设置所固有的数据集偏移。我们首先表明，没有批处理策略优化算法可以实现同时解决所有三个保证，揭示了批处理策略优化的困难和监督学习的积极成果之间的鲜明对比。尽管这个负面的结果，我们表明，放宽任何一个三个错误源，使算法的设计实现近预言的不平等的其余两个。我们的结论与实验证明这些算法的有效性。
2021-12-23 cs.LG stat.ML
Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning
Netflix（奈飞）；Université Paris Descartes（巴黎笛卡尔大学）；Cornell University（康奈尔大学）；University of California, Berkeley（加州大学伯克利分校）
经验风险最小化（ERM）是机器学习的主力，无论是用于分类和回归还是用于离线策略学习，但当我们使用自适应收集的数据时，其模型不可知的保证可能会失败，例如运行上下文强盗算法的结果。我们研究了一个通用的重要性抽样加权ERM算法，使用自适应收集的数据，以最小化损失函数的平均假设类，并提供第一种泛化保证和快速收敛速度。我们的研究结果是基于一个新的最大不等式，仔细利用重要性抽样结构，以获得正确的依赖于数据中的勘探率的利率。对于回归，我们提供了利用平方误差损失的强凸性的快速速率。对于政策学习，我们提供了速率最优的遗憾保证，关闭现有文献中的一个开放的差距，每当勘探衰减到零，是土匪收集的数据的情况下。实证研究验证了我们的理论。
2021-06-03 cs.LG math.ST stat.ML
On-Policy RL Meets Off-Policy Experts: Harmonizing Supervised Fine-Tuning and Reinforcement Learning via Dynamic Weighting
Alibaba Group（阿里巴巴集团）
本文提出CHORD框架，通过动态加权将监督微调与强化学习统一，解决传统方法在整合时可能破坏响应模式和过拟合专家数据的问题，实验表明其在多个任务中具有稳定高效的性能。
2026-03-17 cs.AI cs.LG
Self-Supervised On-Policy Reinforcement Learning via Contrastive Proximal Policy Optimisation
InstaDeep；AIMS；University of Stellenbosch（斯特伦博斯大学）
本文提出CPPO算法，通过对比性Q值直接优化策略优势，无需奖励函数或回放缓冲区，在连续和离散环境中均表现出色，超越现有CRL基线并在多项任务中达到与PPO相当的性能。
2026-05-13 cs.AI cs.LG
On Reinforcement Learning for Turn-based Zero-sum Markov Games
MIT（麻省理工学院）；Cornell University（康奈尔大学）
研究了两人回合制零和博弈的纳什均衡求解问题。受AlphaGo Zero（AGZ）算法的启发，我们开发了一种基于强化学习的方法。具体来说，我们提出了探索-改进-监督（EIS）方法，结合“探索”，“政策改进”“和“监督学习“，以找到价值函数和政策相关的纳什均衡。我们确定这样的方法的收敛性和正确性的充分条件。对于EIS的一个具体实例，其中随机策略用于“探索”，蒙特卡罗树搜索用于“策略改进”，最近邻用于“监督学习“，我们建立了这种方法找到一个$\varepsilon$ -近似价值函数的纳什均衡在$\widetilde{O}(\varepsilon^{-(d+4)})$步骤时，潜在的状态空间的游戏是连续的和$d$维。这几乎是最优的，因为我们为任何策略建立了$\widetildeΩ(\varepsilon^{-(d+2)})$的下限。
2020-02-25 cs.LG stat.ML
Contrastive Policy Gradient: Aligning LLMs on sequence-level scores in a supervised-friendly fashion
Cohere（科here公司）
针对现有直接对齐方法无法优化任意奖励、传统RL微调采样成本高的问题，提出无需重要性采样的离策略算法CoPG，可推广IPO与经典策略梯度，在老虎机问题和摘要任务微调中验证了特性。
2025-01-16 cs.LG
Improving and Accelerating Offline RL in Large Discrete Action Spaces with Structured Policy Initialization
University of Virginia（弗吉尼亚大学）；MBZUAI（马克斯·普朗克智能系统研究所）
SPIN通过结构化策略初始化方法，在大型离散动作空间中提升离线强化学习性能，显著提高平均回报并加速收敛。
2026-01-27 cs.LG
Reward-Conditioned Policies
University of California, Berkeley（加州大学伯克利分校）
强化学习提供了自动获取复杂行为技能的希望。然而，与常用且易于理解的监督学习方法相比，强化学习算法可能很脆弱，难以使用和调整，并且对看似无害的实施决策很敏感。相比之下，模仿学习利用标准的和良好理解的监督学习方法，但需要接近最佳的专家数据。我们能通过监督学习学习有效的策略而不需要演示吗？我们在这项工作中探索的主要思想是，从次优策略中收集的非专家轨迹可以被视为最优监督，不是为了最大化奖励，而是为了匹配给定轨迹的奖励。然后，通过将策略设定在奖励的数值上，我们可以得到一个推广到更大回报的策略。我们将展示如何将这种方法作为策略搜索的原则方法，讨论几种变体，并将该方法与标准基准上的各种当前强化学习方法进行实验比较。
2019-12-31 cs.LG stat.ML
Self-Supervised Policy Adaptation during Deployment
IRI, CSIC-UPC（加泰罗尼亚理工大学西班牙国家研究委员会机器人研究所）；UC Berkeley（加州大学伯克利分校）；NYU（纽约大学）；UC San Diego（加州大学圣迭戈分校）；Technical University of Denmark（丹麦技术大学）
在大多数真实世界场景中，在一个环境中通过强化学习训练的策略需要部署在另一个可能完全不同的环境中。然而，在不同的环境中推广是困难的。一个自然的解决方案是在新环境中部署后继续训练，但如果新环境没有提供奖励信号，这就无法做到。我们的工作探索了自我监督的使用，允许政策在部署后继续培训，而不使用任何奖励。虽然以前的方法明确地预测在新的环境中的变化，我们假设没有这些变化的先验知识，但仍然获得显着的改进。经验评估是在DeepMind Control套件和ViZDoom的各种模拟环境中进行的，以及在不断变化的环境中进行的真实机器人操作任务，从未校准的相机中进行观察。我们的方法在36个环境中的31个环境中提高了各种任务的泛化能力，并在大多数环境中优于域随机化。
2021-04-09 cs.CV cs.LG cs.RO
Direct Policy Gradients: Direct Optimization of Policies in Discrete Action Spaces
Technion（以色列理工学院）；DeepMind；Google Research, Brain Team（谷歌研究院大脑团队）
直接优化是一种有吸引力的框架，它用随机目标的优化来代替积分，用于近似具有离散随机变量的模型中的梯度。$^\star$采样是用于在大空间上优化这种随机目标的框架。我们展示了如何结合这些技术来产生一个强化学习算法，该算法通过寻找优化随机目标的轨迹来近似策略梯度。我们称之为“直接策略梯度“（DirPG）算法。DirPG算法的一个主要优点是，它们允许在训练时以返回到去的上界的形式插入领域知识，就像在启发式搜索中使用的那样，同时仍然直接计算策略梯度。我们进一步分析了它们的属性，表明与REINFORCE相比，DirPG在某些情况下具有指数级更大的采样信息梯度概率。我们还表明，有一个内置的方差减少技术，以前被视为一个数值近似的参数可以被解释为控制风险的敏感性。从经验上讲，我们评估的关键自由度的影响，并表明该算法表现良好，说明域相比，基线。
2020-10-23 cs.AI cs.LG stat.ML
3SPO: State-Score-Supervised Policy Optimization for LLM Agents
School of Computer Science and Technology, East China Normal University（东华大学计算机科学与技术学院）；Fudan University（复旦大学）；KAUST（卡塔尔人工智能研究学院）；Fuzhou University（福州大学）
提出3SPO算法，通过动态状态分数监督实现逐步骤策略优化，解决多轮智能体任务中奖励稀疏和信用分配问题，在ALFWorld和WebShop上分别比GRPO提升22.6%和15.6个百分点。
2026-06-08 cs.AI cs.LG
Policy Gradient Stock GAN for Realistic Discrete Order Data Generation in Financial Markets
The University of Tokyo（东京大学）
本文提出了一种新的生成对抗网络（GAN），用于生成金融市场中的真实订单。在以前的一些工作中，由于GAN架构的学习限制，金融市场的GANs在连续空间中生成假订单。然而，在现实中，订单是离散的，例如订单价格，其具有最小订单价格单位，或订单类型。因此，在本研究中，我们改变了生成方法，将生成的假订单放置到离散空间中。由于这一变化禁用了普通的GAN学习算法，因此本研究采用了强化学习中常用的策略梯度用于学习算法。通过我们的实验，我们表明，我们提出的模型优于以前的模型生成的顺序分布。作为引入策略梯度的附加益处，所生成的策略的熵可以用于检查GAN的学习状态。在未来，更高性能的GANs，更好的评估方法，或我们的GANs的应用可以解决。
2022-04-28 cs.LG q-fin.CP
Reinforcement Learning via Advantage Guidance
UC Berkeley（加州大学伯克利分校）
本文提出Advantage Guidance方法，结合监督学习的稳定性与RL的高性能，通过条件训练和对比扩散引导，在26个长视野稀疏奖励任务上优于现有SOTA RL方法。
2026-10-20 cs.LG
Learning to Reach Goals via Iterated Supervised Learning
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
当前的强化学习（RL）算法可能很脆弱且难以使用，特别是在从稀疏奖励中学习达到目标的行为时。尽管监督模仿学习提供了一种简单而稳定的替代方案，但它需要获得来自人类监督者的演示。在本文中，我们研究RL算法，使用模仿学习从头开始获得目标达到政策，而不需要专家演示或价值函数。代替演示，我们利用任何轨迹都是在同一轨迹中达到最终状态的成功演示的属性。我们提出了一个简单的算法，在该算法中，代理不断重新标记和模仿它生成的轨迹，以逐步从头开始学习达到目标的行为。每次迭代，代理使用最新的策略收集新的轨迹，并在实际达到的目标下最大化沿着这些轨迹的动作的可能性，从而改进策略。我们正式表明，这种迭代的监督学习过程优化了约束的RL目标，获得性能界限的学习政策，并实证证明改进的目标达成性能和鲁棒性在几个基准任务的RL算法。
2020-10-02 cs.AI cs.LG stat.ML
V-MPO: On-Policy Maximum a Posteriori Policy Optimization for Discrete and Continuous Control
深度强化学习在离散和连续控制领域的一些最成功的应用已经在策略设置中使用了策略梯度方法。然而，策略梯度可能遭受可能限制性能的大方差，并且在实践中需要仔细调整熵正则化以防止策略崩溃。作为策略梯度算法的替代方案，我们引入了V-MPO，最大后验策略优化（MPO）的策略适应，基于学习的状态-价值函数执行策略迭代。我们表明，V-MPO在多任务环境中超过了之前报告的Atari-57和DMLab-30基准套件的分数，并且在没有重要性加权、熵正则化或基于群体的超参数调整的情况下也能可靠地做到这一点。在个人DMLab和Atari水平上，所提出的算法可以实现比以前报告的分数高得多的分数。V-MPO也适用于高维连续动作空间的问题，我们在学习控制模拟人形机器人的背景下证明了这一点，其中来自全状态观测的自由度为22自由度，来自像素观测的自由度为56自由度，以及示例OpenAI Gym任务，其中V-MPO实现了比以前报告的更高的渐近分数。
2019-09-26 cs.AI cs.LG
SEMI: Self-supervised Exploration via Multisensory Incongruity
Carnegie Mellon University（卡内基梅隆大学）；ShanghaiTech University（上海科技大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Tsinghua University（清华大学）
有效探索是强化学习中的一个长期问题，因为外部奖励通常是稀疏或缺失的。这个问题的一个流行的解决方案是给智能体提供新颖的信号作为内在奖励。在这项工作中，我们介绍了SEMI，一个自我监督的探索政策，通过激励代理最大限度地提高一个新的新奇信号：多感官不协调，这可以从两个方面来衡量，感知不协调和行动不协调。前者代表了多感官输入的错位，而后者代表了不同的感官输入下的代理人的政策的变化。具体而言，对齐预测器被学习以检测多个感觉输入是否对齐，其误差被用来测量感知不一致性。策略模型将多感官观察的不同组合作为输入和输出动作进行探索。动作的方差进一步被用来衡量动作不一致性。使用这两种不协调作为内在奖励，SEMI允许代理通过以自我监督的方式探索而无需任何外部奖励来学习技能。我们进一步表明，SEMI是兼容的外部奖励，它提高了策略学习的样本效率。SEMI的有效性在各种基准环境中得到了证明，包括对象操作和视听游戏。
2022-05-19 cs.LG cs.RO stat.ML
Boosted Off-Policy Learning
Amazon（亚马逊）
该研究提出首个日志老虎机反馈下的离策略提升算法，直接优化策略期望回报估计，证明弱学习条件下超额经验风险可快速下降，可复用决策树等监督学习基学习器，实验显示其性能优于深度神经网络离策略学习及简单回报回归方法。
2023-05-02 cs.IR cs.LG stat.ML
A Geometric Perspective on Self-Supervised Policy Adaptation
University of Cambridge（剑桥大学）；Google（谷歌）；Google Research（谷歌研究院）
现实世界强化学习（RL）最具挑战性的方面之一是大量不可预测和不断变化的干扰，这些干扰可能会使智能体偏离其训练环境中的任务。虽然智能体可以从奖励信号中学习并忽略它们，但现实世界的复杂性可能会使奖励难以获得，或者充其量是非常稀疏。最近的一类自我监督方法已经表明，在具有挑战性的干扰下，无奖励适应是可能的。然而，以前的工作集中在一个短的一集适应设置。在本文中，我们考虑了一个长期的适应设置，更类似于现实世界的具体情况，并提出了一个几何角度的自我监督适应。我们经验性地描述了在这个适应过程中嵌入空间中发生的过程，揭示了它对性能的一些不良影响，并展示了如何消除它们。此外，我们从理论上研究了如何基于演员和演员免费代理可以进一步推广到目标环境，通过操纵演员和评论家功能所描述的流形的几何形状。
2020-11-14 cs.AI cs.LG
Efficient Offline Reinforcement Learning: First Imitate, then Improve
University of Edinburgh（爱丁堡大学）；Microsoft Research Cambridge（微软研究院剑桥分部）
本文提出了一种结合监督学习和离策略强化学习的方法，通过预训练提升离策略算法的效率和稳定性。
2025-12-28 cs.LG
RASFT: Rollout-Adaptive Supervised Fine-Tuning for Reasoning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；New Jersey Institute of Technology（新泽西理工学院）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
提出RASFT框架，通过基于策略rollout的问题级可解性校准专家监督，在模型困难时加强指导、表现可靠时放松模仿并纳入自生成轨迹，同时使用裁剪逆比约束策略漂移，在多个推理基准上优于SFT和RL方法。
2026-06-05 cs.CL cs.LG
Policy Optimization in Hybrid Discrete-Continuous Action Spaces via Mixed Gradients
Graduate School of Business Columbia University（哥伦比亚大学商学院）
本文提出混合策略优化方法HPO，通过混合梯度估计器解决高维空间中离散-连续动作的策略优化问题，实验显示其在库存控制和切换线性二次调节问题中优于PPO。
2026-05-14 cs.AI cs.LG math.OC
An Analysis of the Value of Information when Exploring Stochastic, Discrete Multi-Armed Bandits
University of Florida（佛罗里达大学）
在本文中，我们提出了一个信息理论的探索策略，随机，离散的多武装土匪，实现最佳的遗憾。我们的战略是基于信息价值标准。这个标准衡量政策信息和可获得的奖励之间的权衡。大量的政策信息与空间的探索主导搜索相关联，并产生高回报。少量的政策信息有利于利用现有的知识。在这一标准中，信息是由一个参数量化的，这个参数在搜索过程中可以变化。我们证明了这个参数的模拟退火更新，具有足够快的冷却时间表，导致一个最佳的遗憾，这是对数相对于情节的数量。
2018-03-03 cs.AI cs.LG stat.ML
Policy Gradient Methods for Discrete Time Linear Quadratic Regulator With Random Parameters
Fudan University（复旦大学）；Shanghai Center for Mathematical Sciences（上海数学中心）
针对参数随时间独立同分布的离散时间线性二次控制问题，提出无需参数统计知识的策略梯度方法，证明状态次高斯性与全局线性收敛，并通过数值实验验证。
2024-03-01 cs.LG math.OC
Deterministic Policy Optimization by Combining Pathwise and Score Function Estimators for Discrete Action Spaces
Department of Computer Science, Stanford University（斯坦福大学计算机科学系）
策略优化方法在解决复杂的强化和模仿学习任务方面显示出巨大的潜力。虽然无模型方法广泛适用，但它们通常需要许多样本来优化复杂的策略。基于模型的方法大大提高了样本效率，但代价是泛化能力差，需要为每个任务精心手工制作系统动态模型。最近，混合方法已经成功地在改善样本复杂性的适用性之间进行权衡。然而，这些都局限于连续的动作空间。在这项工作中，我们提出了一种新的混合动力方法的基础上近似的动态下一个状态下的当前政策的期望。这种放松使我们能够得到一个新的混合策略梯度估计，结合得分函数和路径导数估计，这是适用于离散的行动空间。我们在样本复杂性方面取得了显着的进步，范围在$1.7$和$25\times$之间，在学习Cart Pole，Acrobot，Mountain Car和Hand Mass上的参数化策略时。我们的方法是适用于离散和连续的行动空间，当竞争路径方法仅限于后者。
2017-11-21 cs.AI cs.LG
V-tableR1: Process-Supervised Multimodal Table Reasoning with Critic-Guided Policy Optimization
School of Astronautics Beihang University（北航航天学院）；Longcat Interaction Team Meituan（美团长猫交互团队）；Tianmushan Laboratory Beihang University（北航天门实验室）
V-tableR1通过过程监督强化学习框架，利用表格的确定性网格结构，提升多模态大语言模型的推理能力，通过批评引导策略优化方法，实现更严谨的逻辑推导，取得开放源代码模型在复杂表格基准上的最佳性能。
2026-04-22 cs.AI cs.LG
Generative Modeling of Discrete Latent Structures via Dynamic Policy Gradients
University of California, Berkeley（加州大学伯克利分校）
提出GReinSS框架，使用动态缩放奖励学习潜在状态分布以最大化观测数据似然，在模拟潜在集和图重建中优于基线，并在RNA测序数据中比RSEM更准确地重建异构体。
2026-06-05 cs.LG
Distance Weighted Supervised Learning for Offline Interaction Data
Stanford University（斯坦福大学）
针对序列决策中离线交互数据利用难题，提出距离加权监督学习DWSL方法，通过监督学习建模状态时间步分布近似最短路径提取策略，理论上可收敛至数据约束下的最优策略，实验中在多数据集尤其是高维图像领域性能优于现有目标条件IL和RL算法。
2023-04-26 cs.LG
Model-free policy gradient for discrete-time mean-field control
Mathematical Institute, University of Oxford（牛津大学数学研究所）；École Polytechnique（巴黎政治学院）
本文提出了一种无模型策略梯度算法MF-REINFORCE，用于解决离散时间均场控制问题，通过引入状态分布流扰动方案，实现了对策略梯度的估计，并建立了偏差和均方误差的量化界限。
2026-01-27 cs.LG math.OC
Discretizing Continuous Action Space with Unimodal Probability Distributions for On-Policy Reinforcement Learning
Nanjing University（南京大学）；Research Center for Novel Technology of Intelligent Equipment, Nanjing University（南京大学智能装备新技术研究中心）；Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出利用 Poisson 单峰概率分布约束离散策略，以保留连续动作空间的顺序与连续性，从而降低策略梯度方差并提升同策略强化学习在复杂控制任务中的收敛速度与性能。
2024-08-01 cs.AI cs.LG
Policy Learning of MDPs with Mixed Continuous/Discrete Variables: A Case Study on Model-Free Control of Markovian Jump Systems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
马尔可夫跳变线性系是一类重要的动力系统，在许多控制应用中得到了广泛的应用。在本文中，我们介绍了控制未知（离散时间）MJLS的问题作为一个新的基准基于政策的强化学习马尔可夫决策过程（MDP）与混合连续/离散状态变量。与传统的线性二次型调节器（LQR）相比，我们提出的问题导致了一个特殊的混合MDP（与混合连续和离散变量），并提出了重大的新的挑战，由于一个潜在的马尔可夫跳变参数的出现，管理模式的系统动态。具体而言，MJLS的状态不形成马尔可夫链，因此不能将MJLS控制问题作为仅具有连续状态变量的MDP来研究。然而，可以增加状态和跳跃参数以获得具有混合连续/离散状态空间的MDP。我们讨论了如何控制理论揭示了政策参数化的混合MDP。然后，我们修改了广泛使用的自然策略梯度法，直接学习最优状态反馈控制策略的MJLS没有识别系统的动态或切换参数的转移概率。我们在不同的MJLS示例上实现了（数据驱动的）自然策略梯度法。我们的仿真结果表明，自然梯度法可以有效地学习最优控制器的MJLS与未知动态。
2020-07-15 cs.LG cs.SY eess.SY
Proximal Supervised Fine-Tuning
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）；Large Language Model Department, Tencent（腾讯大语言模型部）；University of Macau（澳门大学）
本文提出近端监督微调（PSFT），通过引入信任区域方法约束策略漂移，提升模型在新领域中的泛化能力，实验显示其在跨领域泛化和长期稳定性方面优于传统监督微调。
2026-04-12 cs.AI cs.CL cs.LG
Reinforcement Learning for a Discrete-Time Linear-Quadratic Control Problem with an Application
University of California, Berkeley（加州大学伯克利分校）；College of Computing, Data Science, and Society（计算、数据科学与社会学院）
本文利用熵度量探索成本，证明离散时间LQ控制问题的最优策略为高斯型，并将其应用于均值-方差资产负债管理，验证了RL算法的改进性与收敛性。
2025-02-04 cs.LG math.OC stat.ML
Safe Policy Improvement Approaches on Discrete Markov Decision Processes
Ludwig-Maximilians University（慕尼黑大学）；Technical University of Munich（慕尼黑工业大学）；Siemens Technology（西门子科技）
安全策略改进（SPI）旨在可证明的保证，学习的策略至少近似于给定的基线策略。基于Nadjahi等人的SPI with Soft Baseline Bootstrapping（Soft-SPIBB），我们在他们的方法中发现了理论问题，提供了一个正确的理论，并推导出一个新的算法，该算法在有限马尔可夫决策过程（MDP）上可证明是安全的。此外，我们提供了一个启发式算法，表现出最好的性能在两个不同的基准上的许多国家的最先进的SPI算法。此外，我们介绍了SPI算法的分类和经验表明两类SPI算法的一个有趣的属性：而平均性能的算法，将不确定性作为一个惩罚的动作值是较高的，积极限制的政策集更一致地产生良好的政策，因此，更安全。
2022-01-28 cs.AI cs.LG
Contextual Bandits in Payment Processing: Non-uniform Exploration and Supervised Learning
Adyen
本文在Adyen支付处理的真实工业背景下，分析了结合非均匀探索与监督学习的回归预言机方法，发现其虽能提升性能，但会因奖励分布偏移和类别不平衡引发策略迭代的振荡效应，强调需开发更稳定的自适应算法。
2025-07-10 cs.IR cs.LG
Model-free optimal control of discrete-time systems with additive and multiplicative noises
University of Science and Technology of China（中国科学技术大学）；University of Alberta（阿尔伯塔大学）
研究了一类离散随机系统在加性和乘性噪声作用下的最优控制问题。建立了一个随机李雅普诺夫方程和一个随机代数Riccati方程，证明了最优容许控制策略的存在性。提出了一种无模型强化学习算法，利用系统状态和输入数据学习最优容许控制策略，而不需要系统矩阵的任何知识。证明了学习算法收敛于最优容许控制策略。无模型算法的实现是基于批量最小二乘和数值平均。通过数值算例说明了该算法的有效性，结果表明该算法优于其他策略迭代算法。
2020-08-20 cs.LG cs.SY eess.SY
Self-Supervised Online Reward Shaping in Sparse-Reward Environments
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Oden Institute for Computational Engineering and Sciences（奥登计算工程与科学研究所）
我们引入了自监督在线奖励塑造（SORS），其目的是通过自动加密奖励来提高稀疏奖励环境中任何RL算法的样本效率。所提出的框架交替基于分类的奖励推理和策略更新步骤-原始稀疏奖励通过对代理观察到的轨迹进行排名来提供用于奖励推理的自我监督信号，而策略更新则使用新推断的，通常密集的奖励函数来执行。我们引入的理论表明，在某些条件下，这种改变的奖励函数不会改变原来的MDP的最优策略，同时可能会显着提高学习速度。在几个稀疏奖励环境中的实验结果表明，在多个域中，该算法不仅比使用稀疏奖励的标准RL基线具有更高的样本效率，而且有时还实现了与使用手工设计的密集奖励函数时相似的样本效率。
2021-07-26 cs.LG cs.RO
From Weak Data to Strong Policy: Q-Targets Enable Provable In-Context Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）；University at Buffalo（纽约州立大学布法罗分校）
提出QTPT方法，用Q目标替代行为克隆进行上下文强化学习预训练，在理论和实验上证明其对弱数据更鲁棒，优于监督行为预测。
2026-09-28 cs.LG
Discrete Flow Matching Policy Optimization
Northwestern University（西北大学）；National Taiwan University（国立台湾大学）
本文提出DoMinO框架，将离散流匹配模型的采样过程视为多步马尔可夫决策过程，通过统一强化学习方法优化奖励最大化，避免偏差估计器，提升DNA序列设计效果。
2026-04-07 cs.AI cs.CE cs.LG
Deep Reinforcement Learning For Modeling Chit-Chat Dialog With Discrete Attributes
Mila, Université de Montréal（蒙特利尔大学Mila）；Google Research（谷歌研究院）
开放域对话系统面临的挑战是重复的，并产生通用的反应。在本文中，我们表明，通过调节可解释的离散对话属性和组成属性的响应生成，它有助于提高模型的困惑，并导致不同的和有趣的非冗余的响应。我们建议将对话属性预测公式化为强化学习（RL）问题，并使用策略梯度方法来优化使用长期奖励的话语生成。与现有的RL方法，制定令牌预测作为一个政策，我们的方法通过限制动作空间对话属性，从而降低了策略优化的复杂性，使策略优化更实用和样本效率。我们证明了这一点与实验和人类的评价。
2019-09-14 cs.CL cs.LG
A Continuous-Time Reinforcement Learning Framework for Fine-Tuning Discrete Diffusion Models
Columbia University（哥伦比亚大学）
该研究提出连续时间强化学习框架，推导策略梯度方法得到PPO和GRPO的连续时间变体。以此开发框架微调离散扩散模型，无需奖励信号可微，能纳入中间奖励或优势信号，还为MDM提供统一视角，用轨迹子采样技术降低计算成本，在相关任务中验证了方法有效性。
2026-09-29 cs.LG
SofT-GRPO: Surpassing Discrete-Token LLM Reinforcement Learning via Gumbel-Reparameterized Soft-Thinking Policy Optimization
School of Computing, National University of Singapore, Singapore（新加坡国立大学计算机学院）；Department of Statistics, University of Oxford, United Kingdom（英国牛津大学统计系）；School of Intelligence Science（智能科学学院）；Technology, Nanjing University, China（技术学院，南京大学，中国）
SofT-GRPO通过引入Gumbel噪声和重新参数化技巧，在软思考模式下提升LLM推理性能，使其在Pass@1和Pass@32任务中分别优于离散标记GRPO。
2026-01-29 cs.AI cs.LG
Sample-Efficient Model-Free Reinforcement Learning with Off-Policy Critics
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
基于值的学习算法在无模型的离散动作设置中提供了最先进的结果，并且往往优于actor-critic算法。我们认为，演员批评家的算法是有限的，他们需要一个对政策的批评。我们提出了Bootstrapped双策略迭代（BDPI），一种新的无模型强化学习算法的连续状态和离散的行动，与演员和几个关闭政策的批评。政策外的批评是兼容的经验重放，确保高采样效率，而不需要政策外的校正。演员，通过慢慢地模仿平均贪婪的政策的批评，导致高质量和国家特定的探索，我们比较汤普森抽样。因为演员和评论家是完全解耦的，BDPI非常稳定，并且对它的超参数异常鲁棒。在离散、连续和基于像素的任务中，BDPI的采样效率明显高于Bootstrapped DQN、PPO和ACKTR。源代码：https://github.com/vub-ai-lab/bdpi。
2019-06-12 cs.AI cs.LG
Efficient Communication via Self-supervised Information Aggregation for Online and Offline Multi-agent Reinforcement Learning
Nanjing University（南京大学）
利用来自队友的消息可以提高协作多智能体强化学习（MARL）中的协调性。以前的作品通常将队友的原始消息与本地信息相结合，作为策略的输入。然而，忽略消息聚合会导致策略学习效率低下。受表示学习的最新进展的启发，我们认为，有效的消息聚合是合作MARL良好协调的必要条件。在本文中，我们提出了多智能体通信通过自监督信息聚合（MASIA），其中代理可以聚集接收到的消息到紧凑的表示与高相关性，以增强本地的政策。具体来说，我们设计了一个置换不变的消息编码器，从消息中生成公共信息聚合表示，并通过重建和拍摄未来的信息，在一个自我监督的方式进行优化。因此，每个代理将利用聚合表示的最相关的部分，通过一种新的消息提取机制进行决策。此外，考虑到离线学习在现实世界中的应用潜力，我们建立了多智能体通信的离线基准测试，这是我们所知道的第一个。实验结果表明，我们的方法在在线和离线设置的优越性。我们还发布了本文中构建的离线基准测试，作为通信能力验证的测试平台，以促进未来的进一步研究。
2023-02-19 cs.LG cs.MA
StaQ: a Finite Memory Approach to Discrete Action Policy Mirror Descent
本文针对离散动作空间提出StaQ算法，仅保留最后M个Q函数，经理论与实证验证，该方法可抵消策略评估误差，性能随M提升至阈值后接近精确PMD，是PMD的实用实现。
2026-08-03 cs.AI cs.LG
Optimization Landscape of Policy Gradient Methods for Discrete-time Static Output Feedback
University of Science and Technology Beijing（北京科技大学）；National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）
本文分析了离散时间LTI系统静态输出反馈控制中策略梯度方法的优化景观，利用代价函数的强制性、L-光滑性和Lipschitz连续Hessian性质，证明了三种策略梯度方法的收敛性及普通策略梯度在局部极小值附近的线性收敛。
2023-10-29 cs.LG cs.SY eess.SY
Bi-level Off-policy Reinforcement Learning for Volt/VAR Control Involving Continuous and Discrete Devices
Tsinghua University（清华大学）
在有源配电网的电压无功控制中，既有慢时标离散设备（STDD），也有快时标连续设备（FTCD）。有载分接开关（OLTC）等STDD和分布式发电机等FTCD应按时间顺序进行协调。这样的VCC被制定为两个时间尺度的优化问题，以联合优化ADN中的FTCD和STDD。传统的优化方法在很大程度上是基于系统的精确模型，但有时不切实际，因为他们负担不起的建模工作。在本文中，一种新的双层离政策强化学习（RL）算法，提出了解决这个问题的无模型的方式。定义了一个双层马尔可夫决策过程（BMDP）来描述两时间尺度的VVC问题，并为慢时间尺度和快时间尺度的子问题分别设置了智能体。对于快速时间尺度子问题，我们采用了一种具有高采样效率的非策略强化学习方法软行动者-批评者。对于慢的一个，我们开发了一个政策外的多离散软演员批评（MDSAC）算法来解决各种STDD的维数灾难。针对两个智能体学习过程中存在的非平稳性问题，提出了一种采用重要抽样技术的多时间尺度策略外修正方法。综合的数值研究不仅表明，所提出的方法可以实现稳定和令人满意的优化STDD和FTCD没有任何模型信息，但也支持所提出的方法优于现有的两个时标VVC方法。
2021-04-13 cs.AI cs.LG cs.SY
Dialogue for Prompting: a Policy-Gradient-Based Discrete Prompt Generation for Few-shot Learning
Xi’an Jiaotong University（西安交通大学）
本文提出DP2O方法，通过GPT-4多轮对话生成可读提示、线性复杂度筛选高质量提示，并用策略梯度强化学习框架匹配提示与输入，在少样本任务中以极小参数量超越SOTA方法。
2024-01-16 cs.CL cs.LG
Constraint-Generation Policy Optimization (CGPO): Nonlinear Programming for Policy Optimization in Mixed Discrete-Continuous MDPs
University of Toronto（多伦多大学）；Ben Gurion University of the Negev（内盖夫本古里安大学）
本文提出CGPO框架，将混合离散-连续MDP中的策略优化转化为对抗式约束生成的双层混合整数非线性规划，可给出误差、最优性差距与高概率性能保证，并支持反事实诊断。
2025-03-14 cs.LG cs.RO cs.SC
Soft Decomposed Policy-Critic: Bridging the Gap for Effective Continuous Control with Discrete RL
针对离散强化学习应用于连续控制时的维度爆炸问题，提出结合软RL、演员-评论家技术与离散RL的SDPC架构，通过独立离散化动作维度和共享评论家网络支持两类策略，在多个连续控制任务上优于现有最优连续RL算法。
2023-08-20 cs.AI cs.LG
