A Batch, Off-Policy, Actor-Critic Algorithm for Optimizing the Average Reward
North Carolina State University（北卡罗来纳州立大学）；University of Alberta（阿尔伯塔大学）；University of New Mexico（新墨西哥大学）；University of Michigan（密歇根大学）
我们开发了一个关闭政策的演员-评论家算法学习的最佳策略，从训练集组成的数据来自多个人。该算法的开发，以期其在移动医疗中的使用。
2016-07-18 cs.LG stat.ML
Improving and Accelerating Offline RL in Large Discrete Action Spaces with Structured Policy Initialization
University of Virginia（弗吉尼亚大学）；MBZUAI（马克斯·普朗克智能系统研究所）
SPIN通过结构化策略初始化方法，在大型离散动作空间中提升离线强化学习性能，显著提高平均回报并加速收敛。
2026-01-27 cs.LG
Provably Convergent Two-Timescale Off-Policy Actor-Critic with Function Approximation
University of Oxford（牛津大学）；Auburn University（奥本大学）；Huawei Technologies（华为技术有限公司）
我们提出了第一个可证明收敛的两个时间尺度的非策略行动者-评论家算法（COF-PAC）与函数逼近。COF-PAC的关键是引入了一种新的评论家，强调评论家，它是通过梯度强调学习（GEM）训练的，梯度时间差学习和强调时间差学习的关键思想的新组合。在重点批评和规范价值函数批评的帮助下，我们证明了COF-PAC的收敛性，其中批评者是线性的，演员可以是非线性的。
2020-11-23 cs.LG stat.ML
Direct Policy Gradients: Direct Optimization of Policies in Discrete Action Spaces
Technion（以色列理工学院）；DeepMind；Google Research, Brain Team（谷歌研究院大脑团队）
直接优化是一种有吸引力的框架，它用随机目标的优化来代替积分，用于近似具有离散随机变量的模型中的梯度。$^\star$采样是用于在大空间上优化这种随机目标的框架。我们展示了如何结合这些技术来产生一个强化学习算法，该算法通过寻找优化随机目标的轨迹来近似策略梯度。我们称之为“直接策略梯度“（DirPG）算法。DirPG算法的一个主要优点是，它们允许在训练时以返回到去的上界的形式插入领域知识，就像在启发式搜索中使用的那样，同时仍然直接计算策略梯度。我们进一步分析了它们的属性，表明与REINFORCE相比，DirPG在某些情况下具有指数级更大的采样信息梯度概率。我们还表明，有一个内置的方差减少技术，以前被视为一个数值近似的参数可以被解释为控制风险的敏感性。从经验上讲，我们评估的关键自由度的影响，并表明该算法表现良好，说明域相比，基线。
2020-10-23 cs.AI cs.LG stat.ML
Online Meta-Critic Learning for Off-Policy Actor-Critic Methods
The University of Edinburgh（爱丁堡大学）；National University of Defense Technology（国防科技大学）；Samsung AI Centre, Cambridge（三星人工智能中心（剑桥））
Off-Policy Actor-Critic（Off-PAC）方法已被证明在各种连续控制任务中是成功的。通常，批评家的动作-价值函数使用时间差来更新，并且批评家反过来为演员提供损失，演员训练它采取具有更高预期回报的动作。在本文中，我们介绍了一种新颖而灵活的元批评家，观察学习过程和元学习的演员，加速和提高演员批评家学习的额外损失。与普通评论家相比，元评论家网络被明确地训练以加速学习过程;与现有的元学习算法相比，元评论家可以快速在线学习单个任务，而不是缓慢地学习一系列任务。至关重要的是，我们的元批评框架是为基于政策的学习者设计的，目前提供了最先进的强化学习样本效率。我们证明，在线元批评学习导致的改进，在各种连续控制环境中，结合当代的非PAC方法DDPG，TD 3和国家的最先进的SAC。
2020-11-02 cs.LG stat.ML
Policy Gradient Stock GAN for Realistic Discrete Order Data Generation in Financial Markets
The University of Tokyo（东京大学）
本文提出了一种新的生成对抗网络（GAN），用于生成金融市场中的真实订单。在以前的一些工作中，由于GAN架构的学习限制，金融市场的GANs在连续空间中生成假订单。然而，在现实中，订单是离散的，例如订单价格，其具有最小订单价格单位，或订单类型。因此，在本研究中，我们改变了生成方法，将生成的假订单放置到离散空间中。由于这一变化禁用了普通的GAN学习算法，因此本研究采用了强化学习中常用的策略梯度用于学习算法。通过我们的实验，我们表明，我们提出的模型优于以前的模型生成的顺序分布。作为引入策略梯度的附加益处，所生成的策略的熵可以用于检查GAN的学习状态。在未来，更高性能的GANs，更好的评估方法，或我们的GANs的应用可以解决。
2022-04-28 cs.LG q-fin.CP
V-MPO: On-Policy Maximum a Posteriori Policy Optimization for Discrete and Continuous Control
深度强化学习在离散和连续控制领域的一些最成功的应用已经在策略设置中使用了策略梯度方法。然而，策略梯度可能遭受可能限制性能的大方差，并且在实践中需要仔细调整熵正则化以防止策略崩溃。作为策略梯度算法的替代方案，我们引入了V-MPO，最大后验策略优化（MPO）的策略适应，基于学习的状态-价值函数执行策略迭代。我们表明，V-MPO在多任务环境中超过了之前报告的Atari-57和DMLab-30基准套件的分数，并且在没有重要性加权、熵正则化或基于群体的超参数调整的情况下也能可靠地做到这一点。在个人DMLab和Atari水平上，所提出的算法可以实现比以前报告的分数高得多的分数。V-MPO也适用于高维连续动作空间的问题，我们在学习控制模拟人形机器人的背景下证明了这一点，其中来自全状态观测的自由度为22自由度，来自像素观测的自由度为56自由度，以及示例OpenAI Gym任务，其中V-MPO实现了比以前报告的更高的渐近分数。
2019-09-26 cs.AI cs.LG
Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality
The Ohio State University（俄亥俄州立大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
设计非策略强化学习算法通常是一项非常具有挑战性的任务，因为期望的迭代更新通常涉及对策略分布的期望。现有的非策略行动者-批评者（AC）算法已经引入了一种新的批评者，该批评者使用密度比来调节分布失配以稳定收敛，但是由于密度比和价值函数两者的估计误差而潜在地引入高偏差。在本文中，我们开发了一个双重强大的关闭政策AC（DR-关闭PAC）折扣MDP，它可以利用学习滋扰功能，以减少估计误差。此外，DR-Off-PAC采用单时间尺度结构，其中演员和评论家都以恒定的步长同时更新，因此比采用两个时间尺度或嵌套循环结构的现有算法更具样本效率。研究了DR-Off-PAC算法的有限时间收敛速度和样本复杂度，以获得$ε$ -精确的最优策略.我们还表明，DR-Off-PAC的整体收敛性对仅取决于逼近函数的表达能力的逼近误差具有双重鲁棒性。据我们所知，我们的研究建立了第一个整体样本复杂性分析一个单一的时间尺度的政策外AC算法。
2021-07-18 cs.LG stat.ML
DoMo-AC: Doubly Multi-step Off-policy Actor-Critic Algorithm
Google DeepMind（谷歌DeepMind）；Omron Sinic X（欧姆龙Sinic X）
针对多步学习在最优控制中应用受限的问题，提出双重多步离策略VI（DoMo-VI）及其实例化DoMo-AC，结合多步策略改进与评估，保证收敛加速，并在Atari-57基准上优于基线。
2026-10-06 cs.LG stat.ML
Policy Optimization in Hybrid Discrete-Continuous Action Spaces via Mixed Gradients
Graduate School of Business Columbia University（哥伦比亚大学商学院）
本文提出混合策略优化方法HPO，通过混合梯度估计器解决高维空间中离散-连续动作的策略优化问题，实验显示其在库存控制和切换线性二次调节问题中优于PPO。
2026-05-14 cs.AI cs.LG math.OC
Policy Gradient Methods for Discrete Time Linear Quadratic Regulator With Random Parameters
Fudan University（复旦大学）；Shanghai Center for Mathematical Sciences（上海数学中心）
针对参数随时间独立同分布的离散时间线性二次控制问题，提出无需参数统计知识的策略梯度方法，证明状态次高斯性与全局线性收敛，并通过数值实验验证。
2024-03-01 cs.LG math.OC
An Analysis of the Value of Information when Exploring Stochastic, Discrete Multi-Armed Bandits
University of Florida（佛罗里达大学）
在本文中，我们提出了一个信息理论的探索策略，随机，离散的多武装土匪，实现最佳的遗憾。我们的战略是基于信息价值标准。这个标准衡量政策信息和可获得的奖励之间的权衡。大量的政策信息与空间的探索主导搜索相关联，并产生高回报。少量的政策信息有利于利用现有的知识。在这一标准中，信息是由一个参数量化的，这个参数在搜索过程中可以变化。我们证明了这个参数的模拟退火更新，具有足够快的冷却时间表，导致一个最佳的遗憾，这是对数相对于情节的数量。
2018-03-03 cs.AI cs.LG stat.ML
Deterministic Policy Optimization by Combining Pathwise and Score Function Estimators for Discrete Action Spaces
Department of Computer Science, Stanford University（斯坦福大学计算机科学系）
策略优化方法在解决复杂的强化和模仿学习任务方面显示出巨大的潜力。虽然无模型方法广泛适用，但它们通常需要许多样本来优化复杂的策略。基于模型的方法大大提高了样本效率，但代价是泛化能力差，需要为每个任务精心手工制作系统动态模型。最近，混合方法已经成功地在改善样本复杂性的适用性之间进行权衡。然而，这些都局限于连续的动作空间。在这项工作中，我们提出了一种新的混合动力方法的基础上近似的动态下一个状态下的当前政策的期望。这种放松使我们能够得到一个新的混合策略梯度估计，结合得分函数和路径导数估计，这是适用于离散的行动空间。我们在样本复杂性方面取得了显着的进步，范围在$1.7$和$25\times$之间，在学习Cart Pole，Acrobot，Mountain Car和Hand Mass上的参数化策略时。我们的方法是适用于离散和连续的行动空间，当竞争路径方法仅限于后者。
2017-11-21 cs.AI cs.LG
Bayesian policy gradient and actor-critic algorithms
Adobe Research & Inria（Adobe研究与法国国家信息与自动化研究所）；Rafael Advanced Defence System（拉斐尔高级防御系统）；Inria Lille — SequeL team（法国国家信息与自动化研究所里尔分校——SequeL团队）
本文提出基于高斯过程的贝叶斯策略梯度框架，减少采样需求并提供自然梯度和梯度协方差估计，结合非参数贝叶斯critics改进马尔可夫性质，通过实验验证方法有效性。
2026-10-06 cs.LG stat.ML
Generalized Off-Policy Actor-Critic
University of Oxford（牛津大学）
我们提出了一个新的目标，反事实的目标，统一现有的目标，政策外的策略梯度算法在持续的强化学习（RL）设置。通常使用的偏移目标，这可能会误导部署时的目标策略的性能相比，我们的新目标更好地预测这样的性能。我们证明了广义的政策外策略梯度定理来计算反事实目标的策略梯度，并使用一个无偏的方法来获得一个无偏的样本，从这个策略梯度，产生广义的政策外Actor-Critic（Geoff-PAC）算法。我们展示了Geoff-PAC在Mujoco机器人仿真任务中优于现有算法的优点，这是在流行的深度RL基准测试中首次成功的经验性算法。
2019-10-28 cs.AI cs.LG stat.ML
Generative Modeling of Discrete Latent Structures via Dynamic Policy Gradients
University of California, Berkeley（加州大学伯克利分校）
提出GReinSS框架，使用动态缩放奖励学习潜在状态分布以最大化观测数据似然，在模拟潜在集和图重建中优于基线，并在RNA测序数据中比RSEM更准确地重建异构体。
2026-06-05 cs.LG
Model-free policy gradient for discrete-time mean-field control
Mathematical Institute, University of Oxford（牛津大学数学研究所）；École Polytechnique（巴黎政治学院）
本文提出了一种无模型策略梯度算法MF-REINFORCE，用于解决离散时间均场控制问题，通过引入状态分布流扰动方案，实现了对策略梯度的估计，并建立了偏差和均方误差的量化界限。
2026-01-27 cs.LG math.OC
How to Learn a Useful Critic? Model-based Action-Gradient-Estimator Policy Optimization
MILA（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；NNAISENSE（恩奈瑟思）
用于连续控制的确定性策略行动者-批评者算法通过将其行动插入批评者并使行动值梯度上升来改进行动者，该行动值梯度通过将行动者的雅可比矩阵与批评者相对于输入行动的梯度链接来获得。然而，批评者通常只接受训练以准确预测预期回报，而不是梯度，这本身对政策优化毫无用处。在本文中，我们提出了MAGE，一个基于模型的actor-critic算法，接地理论的策略梯度，明确学习的动作值梯度。MAGE反向传播通过学习动态计算梯度目标的时间差异学习，导致一个批评家定制的政策改进。在一组MuJoCo连续控制任务上，我们证明了该算法与无模型和基于模型的最先进基线相比的效率。
2020-10-22 cs.AI cs.LG stat.ML
Discretizing Continuous Action Space with Unimodal Probability Distributions for On-Policy Reinforcement Learning
Nanjing University（南京大学）；Research Center for Novel Technology of Intelligent Equipment, Nanjing University（南京大学智能装备新技术研究中心）；Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出利用 Poisson 单峰概率分布约束离散策略，以保留连续动作空间的顺序与连续性，从而降低策略梯度方差并提升同策略强化学习在复杂控制任务中的收敛速度与性能。
2024-08-01 cs.AI cs.LG
Off-Policy Actor-Critic in an Ensemble: Achieving Maximum General Entropy and Effective Environment Exploration in Deep Reinforcement Learning
Victoria University of Wellington（惠灵顿维多利亚大学）
我们提出了一种新的策略迭代理论，作为软策略迭代和软Actor-Critic（SAC）的重要扩展，SAC是深度强化学习中最有效的无模型算法之一。在新理论的支持下，推广香农熵的任意熵度量，如Tsallis熵和Renyi熵，可以用来适当地随机化动作选择，同时实现最大化预期长期回报的目标。我们的理论产生了两个新的算法，即，Tsallis熵Actor-Critic（TAC）和Renyi熵Actor-Critic（RAC）。理论分析表明，这些算法可以比SAC更有效。此外，它们为我们开发一种新的Encriminator Actor-Critic（EAC）算法铺平了道路，该算法的特点是使用引导机制进行深度环境探索，以及一种新的基于值函数的机制进行高级动作选择。经验上，我们表明，TAC，RAC和EAC可以实现最先进的性能在一系列的基准控制任务，优于SAC和几个尖端的学习算法的样本效率和有效性。
2019-02-14 cs.LG stat.ML
Policy Learning of MDPs with Mixed Continuous/Discrete Variables: A Case Study on Model-Free Control of Markovian Jump Systems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
马尔可夫跳变线性系是一类重要的动力系统，在许多控制应用中得到了广泛的应用。在本文中，我们介绍了控制未知（离散时间）MJLS的问题作为一个新的基准基于政策的强化学习马尔可夫决策过程（MDP）与混合连续/离散状态变量。与传统的线性二次型调节器（LQR）相比，我们提出的问题导致了一个特殊的混合MDP（与混合连续和离散变量），并提出了重大的新的挑战，由于一个潜在的马尔可夫跳变参数的出现，管理模式的系统动态。具体而言，MJLS的状态不形成马尔可夫链，因此不能将MJLS控制问题作为仅具有连续状态变量的MDP来研究。然而，可以增加状态和跳跃参数以获得具有混合连续/离散状态空间的MDP。我们讨论了如何控制理论揭示了政策参数化的混合MDP。然后，我们修改了广泛使用的自然策略梯度法，直接学习最优状态反馈控制策略的MJLS没有识别系统的动态或切换参数的转移概率。我们在不同的MJLS示例上实现了（数据驱动的）自然策略梯度法。我们的仿真结果表明，自然梯度法可以有效地学习最优控制器的MJLS与未知动态。
2020-07-15 cs.LG cs.SY eess.SY
Revisiting stochastic off-policy action-value gradients
University of Toronto（多伦多大学）
非策略随机行动者-批评者方法依赖于近似随机策略梯度，以获得最优策略。也可以通过近似动作值梯度来导出最优策略。当政策改进沿着最陡上升的方向发生时，使用行动价值梯度是可取的。这已经在自然梯度演员批评算法的上下文中进行了广泛的研究，最近在确定性政策梯度的上下文中。在本文中，我们简要地讨论了确定性的行动价值梯度的非政策随机对应，以及一个增量的方法来代替自然梯度的政策梯度。
2017-03-13 cs.LG stat.ML
Safe Policy Improvement Approaches on Discrete Markov Decision Processes
Ludwig-Maximilians University（慕尼黑大学）；Technical University of Munich（慕尼黑工业大学）；Siemens Technology（西门子科技）
安全策略改进（SPI）旨在可证明的保证，学习的策略至少近似于给定的基线策略。基于Nadjahi等人的SPI with Soft Baseline Bootstrapping（Soft-SPIBB），我们在他们的方法中发现了理论问题，提供了一个正确的理论，并推导出一个新的算法，该算法在有限马尔可夫决策过程（MDP）上可证明是安全的。此外，我们提供了一个启发式算法，表现出最好的性能在两个不同的基准上的许多国家的最先进的SPI算法。此外，我们介绍了SPI算法的分类和经验表明两类SPI算法的一个有趣的属性：而平均性能的算法，将不确定性作为一个惩罚的动作值是较高的，积极限制的政策集更一致地产生良好的政策，因此，更安全。
2022-01-28 cs.AI cs.LG
Reinforcement Learning for a Discrete-Time Linear-Quadratic Control Problem with an Application
University of California, Berkeley（加州大学伯克利分校）；College of Computing, Data Science, and Society（计算、数据科学与社会学院）
本文利用熵度量探索成本，证明离散时间LQ控制问题的最优策略为高斯型，并将其应用于均值-方差资产负债管理，验证了RL算法的改进性与收敛性。
2025-02-04 cs.LG math.OC stat.ML
Single-Timescale Actor-Critic Provably Finds Globally Optimal Policy
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
我们研究了最流行的强化学习算法家族之一的actor-critic算法的全局收敛性和全局最优性。虽然大多数现有的作品的演员，评论家采用双层或两个时标更新，我们专注于更实际的单时标设置，演员和评论家同时更新。具体地，在每次迭代中，通过仅一次应用Bellman评估算子来获得评论家更新，同时在使用评论家计算的策略梯度方向上更新行动者。此外，我们考虑了两个函数近似设置，其中演员和评论家都由线性或深度神经网络表示。对于这两种情况下，我们证明了演员序列收敛到一个全局最优的策略在一个次线性$O(K^{-1/2})$率，其中$K$是迭代次数。据我们所知，我们建立了收敛速度和全局最优性的单时标的行动者-评论家与线性函数逼近的第一次。此外，在更广泛的范围内的政策优化与非线性函数逼近，我们证明了行动者-评论家与深度神经网络发现全局最优的政策在一个次线性的速度。
2021-06-13 cs.LG math.OC stat.ML
Model-free optimal control of discrete-time systems with additive and multiplicative noises
University of Science and Technology of China（中国科学技术大学）；University of Alberta（阿尔伯塔大学）
研究了一类离散随机系统在加性和乘性噪声作用下的最优控制问题。建立了一个随机李雅普诺夫方程和一个随机代数Riccati方程，证明了最优容许控制策略的存在性。提出了一种无模型强化学习算法，利用系统状态和输入数据学习最优容许控制策略，而不需要系统矩阵的任何知识。证明了学习算法收敛于最优容许控制策略。无模型算法的实现是基于批量最小二乘和数值平均。通过数值算例说明了该算法的有效性，结果表明该算法优于其他策略迭代算法。
2020-08-20 cs.LG cs.SY eess.SY
Distributed off-Policy Actor-Critic Reinforcement Learning with Policy Consensus
Department of Mechanical Engineering and Materials Science, Duke University（杜克大学机械工程与材料科学系）；Duke University（杜克大学）
在本文中，我们提出了一个分布式的off-policy演员评论方法来解决多智能体强化学习问题。具体来说，我们假设所有的代理保持本地估计的全局最优的政策参数和更新其本地价值函数估计独立。然后，我们引入了一个额外的共识步骤，让所有的代理渐近达成协议的全局最优策略函数。给出了算法的收敛性分析，并通过分布式资源分配实例验证了算法的有效性。相对于相关的分布式演员评论家的方法，在这里的代理不共享有关他们的本地任务的信息，而是他们协调估计的全球政策功能。
2019-03-21 cs.AI cs.LG math.OC
Discrete Flow Matching Policy Optimization
Northwestern University（西北大学）；National Taiwan University（国立台湾大学）
本文提出DoMinO框架，将离散流匹配模型的采样过程视为多步马尔可夫决策过程，通过统一强化学习方法优化奖励最大化，避免偏差估计器，提升DNA序列设计效果。
2026-04-07 cs.AI cs.CE cs.LG
Deep Reinforcement Learning For Modeling Chit-Chat Dialog With Discrete Attributes
Mila, Université de Montréal（蒙特利尔大学Mila）；Google Research（谷歌研究院）
开放域对话系统面临的挑战是重复的，并产生通用的反应。在本文中，我们表明，通过调节可解释的离散对话属性和组成属性的响应生成，它有助于提高模型的困惑，并导致不同的和有趣的非冗余的响应。我们建议将对话属性预测公式化为强化学习（RL）问题，并使用策略梯度方法来优化使用长期奖励的话语生成。与现有的RL方法，制定令牌预测作为一个政策，我们的方法通过限制动作空间对话属性，从而降低了策略优化的复杂性，使策略优化更实用和样本效率。我们证明了这一点与实验和人类的评价。
2019-09-14 cs.CL cs.LG
Low Precision Policy Distillation with Application to Low-Power, Real-time Sensation-Cognition-Action Loop with Neuromorphic Computing
IBM Research（IBM研究院）
强化学习（RL）设置中的低精度网络相对未被探索，因为函数近似的二进制激活的限制。在这里，在离散行动ATARI域，我们证明，第一次，低精度的政策蒸馏从高精度网络提供了一个原则性的，实用的方法来训练RL代理。作为一个应用程序，在10个不同的ATARI游戏，我们展示了实时的【形】端到端的游戏在低功耗神经形态硬件通过转换成离散的动作的游戏帧序列。
2018-09-25 cs.LG cs.NE stat.ML
Finite-Sample Analysis of Off-Policy Natural Actor-Critic Algorithm
Geogia Institute of Technology（佐治亚理工学院）
在本文中，我们提供了有限样本收敛保证的自然演员-评论家（NAC）算法的基础上重要性采样的政策外的变种。特别是，我们表明，该算法收敛到一个全局最优的政策，样本复杂度为$\mathcal{O}(ε^{-3}\log^2(1/ε))$下适当的选择步长。为了克服重要性采样带来的大方差问题，本文在V-跟踪算法\cite{espeholt2018impala}的基础上，提出了$Q$ -跟踪算法。这使我们能够显式地控制偏差和方差，并描述它们之间的权衡。作为非策略抽样的一个优点，我们的结果的一个主要特点是，我们不需要任何额外的假设，超越了行为策略引起的马尔可夫链的遍历性。
2021-06-10 cs.LG math.OC stat.ML
Modified Actor-Critics
Austrian Institute of Technology（奥地利技术研究所）；FH Joanneum（约翰内姆应用科技大学）；Google Research, Brain Team（谷歌研究院大脑团队）
最近成功的深度强化学习算法，如信任域策略优化（TRPO）或近端策略优化（PPO），是保守策略迭代（CPI）的基本变体。这些算法首先进行策略评估，然后进行软化策略改进。因此，他们自然是政策。在本文中，我们建议将（任何类型的）软贪婪与修改策略迭代（MPI）相结合。所提出的抽象框架反复应用：（i）允许离策略学习的部分策略评估步骤和（ii）任何软化的贪婪步骤。我们的贡献可以被视为深度强化学习工具箱的新通用工具。作为概念的证明，我们用PPO greediness实例化这个框架。与原始PPO算法相比，该算法具有更高的采样效率。我们还表明，它是具有竞争力的国家的最先进的政策外的算法软演员批评（SAC）。
2020-01-24 cs.AI cs.LG stat.ML
A Continuous-Time Reinforcement Learning Framework for Fine-Tuning Discrete Diffusion Models
Columbia University（哥伦比亚大学）
该研究提出连续时间强化学习框架，推导策略梯度方法得到PPO和GRPO的连续时间变体。以此开发框架微调离散扩散模型，无需奖励信号可微，能纳入中间奖励或优势信号，还为MDM提供统一视角，用轨迹子采样技术降低计算成本，在相关任务中验证了方法有效性。
2026-09-29 cs.LG
SofT-GRPO: Surpassing Discrete-Token LLM Reinforcement Learning via Gumbel-Reparameterized Soft-Thinking Policy Optimization
School of Computing, National University of Singapore, Singapore（新加坡国立大学计算机学院）；Department of Statistics, University of Oxford, United Kingdom（英国牛津大学统计系）；School of Intelligence Science（智能科学学院）；Technology, Nanjing University, China（技术学院，南京大学，中国）
SofT-GRPO通过引入Gumbel噪声和重新参数化技巧，在软思考模式下提升LLM推理性能，使其在Pass@1和Pass@32任务中分别优于离散标记GRPO。
2026-01-29 cs.AI cs.LG
Off-Policy Actor-Critic
INRIA（法国国家信息与自动化研究所）；ENSTA-ParisTech（巴黎高科国立高等先进技术学校）；University of Alberta（阿尔伯塔大学）
本文提出了第一个用于非策略强化学习的行动者-批评者算法。我们的算法是在线和增量的，其每时间步的复杂度与学习的权重的数量呈线性关系。以前的行动者-评论家算法的工作仅限于对政策的设置，并没有利用最近的进展，关闭策略梯度时间差学习。诸如Greedy-GQ之类的非策略技术使得能够在遵循另一个（行为）策略并从其获取数据的同时学习目标策略。然而，对于许多问题，行动者-批评者方法比行动值方法（如Greedy-GQ）更实用，因为它们显式地表示策略;因此，策略可以是随机的，并利用大的行动空间。在本文中，我们说明了如何实际结合的通用性和学习潜力的离策略学习的灵活性，在行动选择的演员-评论家的方法。我们推导出一个增量的，线性的时间和空间复杂度算法，包括资格痕迹，证明收敛的假设下，类似于以前的政策算法，并根据经验表现出更好的或可比的性能，现有的算法标准的学习基准问题。
2013-06-20 cs.LG
Sample-Efficient Model-Free Reinforcement Learning with Off-Policy Critics
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
基于值的学习算法在无模型的离散动作设置中提供了最先进的结果，并且往往优于actor-critic算法。我们认为，演员批评家的算法是有限的，他们需要一个对政策的批评。我们提出了Bootstrapped双策略迭代（BDPI），一种新的无模型强化学习算法的连续状态和离散的行动，与演员和几个关闭政策的批评。政策外的批评是兼容的经验重放，确保高采样效率，而不需要政策外的校正。演员，通过慢慢地模仿平均贪婪的政策的批评，导致高质量和国家特定的探索，我们比较汤普森抽样。因为演员和评论家是完全解耦的，BDPI非常稳定，并且对它的超参数异常鲁棒。在离散、连续和基于像素的任务中，BDPI的采样效率明显高于Bootstrapped DQN、PPO和ACKTR。源代码：https://github.com/vub-ai-lab/bdpi。
2019-06-12 cs.AI cs.LG
Greedy Actor-Critic: A New Conditional Cross-Entropy Method for Policy Improvement
University of Alberta（阿尔伯塔大学）
许多策略梯度方法是Actor-Critic（AC）的变体，其中学习价值函数（critic）以促进更新参数化策略（actor）。对演员的更新涉及由动作值加权的对数似然更新，并为软变量添加熵正则化。在这项工作中，我们探索了一种替代的演员更新，基于交叉熵方法（CEM）的扩展条件的输入（状态）。我们的想法是从一个更广泛的策略开始，慢慢地集中在最大的动作上，使用最大似然更新来更新每个状态中最高百分位的动作。这种集中的速度由建议策略控制，该建议策略以比参与者更慢的速度集中。我们首先提供了一个理想化的设置策略改进的结果，然后证明我们的条件CEM（CCEM）策略跟踪每个状态的CEM更新，即使不断变化的动作值。我们的经验表明，我们的贪婪AC算法，使用CCEM的演员更新，表现优于软演员批评，是不太敏感的熵正则化。
2023-02-28 cs.AI cs.LG stat.ML
An Approximate Policy Iteration Viewpoint of Actor-Critic Algorithms
Caltech（加州理工学院）；Georgia Tech（佐治亚理工学院）
在这项工作中，我们考虑基于策略的方法来解决强化学习问题，并建立样本的复杂性保证。基于策略的算法通常由一个参与者和一个批评者组成。我们考虑使用各种政策更新规则的演员，包括著名的自然策略梯度。与文献中采用的梯度上升方法不同，我们将自然策略梯度看作是实现策略迭代的一种近似方法，并证明了自然策略梯度（没有任何正则化）在使用增加的步长时具有几何收敛性.对于批评者，我们考虑使用TD学习与线性函数逼近和离线采样。由于它是众所周知的，在这种设置TD学习可能是不稳定的，我们提出了一个稳定的遗传算法（包括两个具体的算法：$λ$ -平均$Q$ -跟踪和双边$Q$ -跟踪），使用多步返回和广义重要性采样因素，并提供有限样本分析。结合几何收敛的演员与有限样本分析的评论家，我们第一次建立了一个整体的$\mathcal{O}(ε^{-2})$样本复杂性，找到一个最佳的政策（函数逼近误差），使用基于政策的方法下的政策抽样和线性函数逼近。
2023-01-13 cs.LG
StaQ: a Finite Memory Approach to Discrete Action Policy Mirror Descent
本文针对离散动作空间提出StaQ算法，仅保留最后M个Q函数，经理论与实证验证，该方法可抵消策略评估误差，性能随M提升至阈值后接近精确PMD，是PMD的实用实现。
2026-08-03 cs.AI cs.LG
Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor
Berkeley Artificial Intelligence Research, University of California, Berkeley（加州大学伯克利分校伯克利人工智能研究中心）
无模型深度强化学习（RL）算法已在一系列具有挑战性的决策和控制任务中得到验证。然而，这些方法通常面临两个主要挑战：非常高的样本复杂性和脆弱的收敛特性，这需要细致的超参数调整。这两个挑战严重限制了这些方法对复杂的现实世界领域的适用性。在本文中，我们提出了软演员-评论家，一个离政策演员-评论家深度强化算法的最大熵强化学习框架的基础上。在这个框架中，行动者的目标是最大化预期回报，同时也最大化熵。也就是说，在尽可能随机的情况下成功完成任务。基于这个框架的深度RL方法已经被公式化为Q学习方法。通过将政策外更新与稳定的随机行动者-批评者公式相结合，我们的方法在一系列连续控制基准任务上实现了最先进的性能，优于之前的政策内和政策外方法。此外，我们证明，与其他政策外算法相比，我们的方法是非常稳定的，在不同的随机种子实现非常相似的性能。
2018-08-08 cs.AI cs.LG stat.ML
Large-scale Interactive Recommendation with Tree-structured Policy Gradient
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
强化学习（RL）最近被引入到交互式推荐系统（IRS）中，因为它具有从动态交互中学习和规划长期性能的性质。由于国税局总是有成千上万的项目推荐（即，成千上万的动作），然而，大多数现有的基于RL的方法不能处理这样大的离散动作空间问题，因此变得低效。现有的工作试图通过利用深度确定性策略梯度框架来处理大的离散动作空间问题，但是连续动作表示（Actor网络的输出）与实际离散动作之间存在不一致。为了避免这种不一致性，并实现高效率和推荐效果，在本文中，我们提出了一个树结构的策略梯度推荐（TPGR）框架，其中一个平衡的层次聚类树的项目和挑选一个项目被制定为寻找路径从根到树的某个叶子。在基于两个真实数据集的精心设计的环境中进行的大量实验表明，我们的模型提供了卓越的推荐性能，并在最先进的方法上显着提高了效率。
2018-11-14 cs.AI cs.LG stat.ML
Optimization Landscape of Policy Gradient Methods for Discrete-time Static Output Feedback
University of Science and Technology Beijing（北京科技大学）；National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）
本文分析了离散时间LTI系统静态输出反馈控制中策略梯度方法的优化景观，利用代价函数的强制性、L-光滑性和Lipschitz连续Hessian性质，证明了三种策略梯度方法的收敛性及普通策略梯度在局部极小值附近的线性收敛。
2023-10-29 cs.LG cs.SY eess.SY
Bi-level Off-policy Reinforcement Learning for Volt/VAR Control Involving Continuous and Discrete Devices
Tsinghua University（清华大学）
在有源配电网的电压无功控制中，既有慢时标离散设备（STDD），也有快时标连续设备（FTCD）。有载分接开关（OLTC）等STDD和分布式发电机等FTCD应按时间顺序进行协调。这样的VCC被制定为两个时间尺度的优化问题，以联合优化ADN中的FTCD和STDD。传统的优化方法在很大程度上是基于系统的精确模型，但有时不切实际，因为他们负担不起的建模工作。在本文中，一种新的双层离政策强化学习（RL）算法，提出了解决这个问题的无模型的方式。定义了一个双层马尔可夫决策过程（BMDP）来描述两时间尺度的VVC问题，并为慢时间尺度和快时间尺度的子问题分别设置了智能体。对于快速时间尺度子问题，我们采用了一种具有高采样效率的非策略强化学习方法软行动者-批评者。对于慢的一个，我们开发了一个政策外的多离散软演员批评（MDSAC）算法来解决各种STDD的维数灾难。针对两个智能体学习过程中存在的非平稳性问题，提出了一种采用重要抽样技术的多时间尺度策略外修正方法。综合的数值研究不仅表明，所提出的方法可以实现稳定和令人满意的优化STDD和FTCD没有任何模型信息，但也支持所提出的方法优于现有的两个时标VVC方法。
2021-04-13 cs.AI cs.LG cs.SY
Neural Policy Gradient Methods: Global Optimality and Rates of Convergence
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
策略梯度方法与行动者-批评者方案展示了巨大的经验成功，特别是当行动者和批评者被神经网络参数化时。然而，仍然不太清楚这种“神经”策略梯度方法是否收敛到全局最优策略，以及它们是否收敛。我们在过度参数化的制度中肯定地回答了这两个问题。详细地，我们证明了神经自然策略梯度以次线性速率收敛到全局最优策略。此外，我们表明，神经香草策略梯度次线性收敛到一个稳定点。同时，通过将不动点的次优性与神经元的表现能力联系起来，证明了在弱正则性条件下所有不动点的全局最优性.特别是，我们证明了全局最优性和收敛性的关键是演员和评论家之间的“兼容性”，这是通过共享神经架构和随机初始化演员和评论家来确保的。据我们所知，我们的分析建立了第一个全局最优性和收敛保证神经策略梯度方法。
2019-11-12 cs.LG math.OC stat.ML
Soft Actor-Critic with Cross-Entropy Policy Optimization
Robotics Design Laboratory, University of Queensland（昆士兰大学机器人设计实验室）
Soft Actor-Critic（SAC）是基于最大熵的强化学习（RL）框架内的最先进的非策略强化学习（RL）算法之一。SAC在一系列连续控制任务中表现良好，具有良好的稳定性和鲁棒性。SAC学习一个随机高斯策略，该策略可以最大化总期望奖励和策略熵之间的权衡。为了更新策略，SAC最小化当前策略密度和软价值函数密度之间的KL-偏离。然后使用重新参数化技巧来获得这种发散的近似梯度。本文提出了交叉熵策略优化的软行为者-批评者策略（SAC-CEPO），它使用交叉熵方法（CEM）来优化SAC的策略网络。最初的想法是使用CEM来迭代地对最接近软价值函数密度的分布进行采样，并使用所得到的分布作为目标来更新策略网络。为了降低计算复杂性，我们还引入了一个解耦的策略结构，将高斯策略分为一个学习均值的策略和一个学习偏差的策略，使得CEM只训练均值策略。我们表明，这种解耦的政策结构收敛到一个最优的，我们也证明了SAC-CEPO实现竞争力的性能对原来的SAC的实验。
2021-12-21 cs.LG
Augment-Reinforce-Merge Policy Gradient for Binary Stochastic Policy
Columbia University（哥伦比亚大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
由于策略梯度的高方差，策略上优化算法受到低样本效率的困扰。在这项工作中，我们提出了增强-加强-合并（ARM）策略梯度估计作为一个无偏的低方差替代以前的基线估计任务与二进制动作空间，最近的ARM梯度估计离散随机变量模型的启发。我们表明，ARM的策略梯度估计实现方差减少与理论保证，并导致显着更稳定和更快的收敛的政策参数化的神经网络。
2019-03-13 cs.AI cs.LG stat.ML
Off-Policy Actor-Critic with Shared Experience Replay
DeepMind（深度思维）
我们研究了演员-评论家强化学习算法与统一的大规模经验重放的结合，并提出了两个挑战的解决方案：（a）有效的演员-评论家学习与经验重放（b）离策略学习的稳定性，其中代理从其他代理的行为学习。我们利用这些见解来加速超参数扫描，其中所有参与的代理同时运行，并通过一个共同的重放模块分享他们的经验。为此，我们分析的偏差方差权衡V-跟踪，一种形式的重要性采样的演员批评的方法。基于我们的分析，然后，我们认为混合经验与政策上的经验重放采样，并提出了一个新的信任域方案，有效地扩展到数据分布的V-跟踪变得不稳定。我们提供了广泛的经验验证所提出的解决方案。我们进一步展示了这种设置的好处，通过展示Atari上最先进的数据效率，在训练到200 M环境帧的代理中。
2019-11-18 cs.AI cs.LG stat.ML
Constraint-Generation Policy Optimization (CGPO): Nonlinear Programming for Policy Optimization in Mixed Discrete-Continuous MDPs
University of Toronto（多伦多大学）；Ben Gurion University of the Negev（内盖夫本古里安大学）
本文提出CGPO框架，将混合离散-连续MDP中的策略优化转化为对抗式约束生成的双层混合整数非线性规划，可给出误差、最优性差距与高概率性能保证，并支持反事实诊断。
2025-03-14 cs.LG cs.RO cs.SC
Dialogue for Prompting: a Policy-Gradient-Based Discrete Prompt Generation for Few-shot Learning
Xi’an Jiaotong University（西安交通大学）
本文提出DP2O方法，通过GPT-4多轮对话生成可读提示、线性复杂度筛选高质量提示，并用策略梯度强化学习框架匹配提示与输入，在少样本任务中以极小参数量超越SOTA方法。
2024-01-16 cs.CL cs.LG
Soft Decomposed Policy-Critic: Bridging the Gap for Effective Continuous Control with Discrete RL
针对离散强化学习应用于连续控制时的维度爆炸问题，提出结合软RL、演员-评论家技术与离散RL的SDPC架构，通过独立离散化动作维度和共享评论家网络支持两类策略，在多个连续控制任务上优于现有最优连续RL算法。
2023-08-20 cs.AI cs.LG
Q-Prop: Sample-Efficient Policy Gradient with An Off-Policy Critic
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Brain（谷歌大脑）；DeepMind；UC Berkeley（加州大学伯克利分校）；Uber AI Labs（优步人工智能实验室）
无模型深度强化学习（RL）方法在各种模拟领域都取得了成功。然而，深度RL在现实世界中面临的一个主要障碍是它们的高样本复杂性。批量策略梯度方法提供稳定的学习，但代价是高方差，这通常需要大批量。TD风格的方法，如非策略行动者-批评者和Q学习，样本效率更高，但存在偏差，并且通常需要昂贵的超参数扫描来稳定。在这项工作中，我们的目标是开发的方法，结合稳定的策略梯度的效率的政策外RL。我们提出了Q-Prop，一个策略梯度方法，使用泰勒展开的关闭政策的批评作为控制变量。Q-Prop是样本高效和稳定的，并有效地结合了政策和政策外方法的优点。我们分析了Q-Prop和现有无模型算法之间的联系，并利用控制变量理论推导出两种具有保守和积极适应性的Q-Prop变体。我们表明，保守的Q-Prop在样本效率方面比具有广义优势估计（GAE）的信赖域策略优化（TRPO）有很大的提高，并在OpenAI Gym的MuJoCo连续控制环境中提高了深度确定性策略梯度（DDPG）的稳定性，DDPG是最先进的策略和策略外方法。
2017-02-27 cs.LG
Mean Actor Critic
Brown University（布朗大学）；Amazon（亚马逊）
我们提出了一种新的算法，平均演员批评（MAC），离散动作连续状态强化学习。MAC是一种策略梯度算法，它使用代理对所有动作值的显式表示来估计策略的梯度，而不是仅使用实际执行的动作。我们证明了这种方法相对于传统的行动者-批评者方法减少了政策梯度估计的方差。我们展示了两个控制域和六个Atari游戏的实证结果，其中MAC与最先进的策略搜索算法具有竞争力。
2018-05-22 cs.AI cs.LG stat.ML
Beyond the Policy Gradient Theorem for Efficient Policy Updates in Actor-Critic Algorithms
Microsoft Research Montréal（微软蒙特利尔研究院）
在强化学习中，给定状态下的最优行为取决于后续状态下的策略决策。因此，学习目标随着时间的推移而演变，并且策略优化过程必须能够有效地忘记它以前学到的东西。在本文中，我们发现，策略梯度定理规定的政策更新，是缓慢的遗忘，因为它们的结构对称性的价值目标。为了提高学习速度，我们研究了一种新的策略更新：交叉熵损失的梯度相对于动作最大化$q$，但发现这样的更新可能会导致价值的下降。因此，我们引入了一个修改后的政策更新没有这个缺陷，并证明其保证收敛到全局最优的$\mathcal{O}(t^{-1})$在经典的假设。此外，我们评估标准的政策更新和我们的交叉熵政策更新沿六个分析维度。最后，我们实证验证我们的理论研究结果。
2022-02-15 cs.AI cs.LG math.OC
Off-Policy Actor-Critic with Emphatic Weightings
University of Alberta（阿尔伯塔大学）
本文提出带强调权重的演员-评论家算法ACE，通过统一离策略目标并推导策略梯度定理，解决了OffPAC和DPG等半梯度方法收敛到错误解的问题，并在多个环境中验证了其优越性。
2023-04-13 cs.LG
