A Temporal-Difference Approach to Policy Gradient Estimation
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii))
策略梯度定理(Sutton等人,2000)规定了在目标策略下使用累积贴现状态分布来近似梯度。基于该定理的大多数算法在实践中打破了这一假设,引入了可能导致收敛到差解的分布偏移。在本文中,我们提出了一种新的方法,重建的策略梯度从开始状态,而不需要一个特定的采样策略。这种形式的策略梯度计算可以根据梯度临界点来简化,由于新的梯度Bellman方程,可以递归地估计梯度临界点。通过使用时间差更新的梯度评论家从一个关闭的政策数据流,我们开发的第一个估计,回避了分布偏移的问题,在一个无模型的方式。我们证明,在一定的可实现性条件下,我们的估计是无偏的,无论抽样策略。我们的经验表明,我们的技术实现了优越的偏差方差权衡和性能的存在下,关闭政策的样本。
2022-07-07 cs.AI cs.LG
Randomized Advantage Transformation (RAT): Computing Natural Policy Gradients via Direct Backpropagation
The University of Manchester, United Kingdom(曼彻斯特大学,英国)
本文提出RAT方法,通过直接反向传播估计正则化自然策略梯度,解决了传统方法中估计和求逆Fisher矩阵成本高的问题,实验证明其在连续和视觉控制基准上性能优异且易于实现。
2026-08-04 cs.AI cs.LG
From Policy Evaluation to Off-Policy Control: Provable Emergence of In-Context Q-Learning
Southern University of Science and Technology (SUSTech)(南方科技大学);University of Electronic Science and Technology of China (UESTC)(电子科技大学)
本研究证明仅含注意力机制的两层Transformer可实现有限温度Q学习,训练后其参数结构涌现出贪心动作选择机制,在未见过的任务上表现与Q学习相当,且训练迭代可指数收敛至解流形。
2026-10-14 cs.AI cs.LG
The Definitive Guide to Policy Gradients in Deep Reinforcement Learning: Theory, Algorithms and Implementations
University of Cologne(科隆大学)
本文系统综述深度强化学习中的同策略策略梯度算法,整合理论证明、收敛结果、算法比较与JAX实现。
2024-03-01 cs.AI cs.LG
Batch Reinforcement Learning with a Nonparametric Off-Policy Policy Gradient
University of Alberta(阿尔伯塔大学);Technische Universität Darmstadt(达姆施塔特工业大学)
非策略强化学习(RL)有望提高数据效率,因为它允许样本重用,并可能实现与环境的安全交互。当前的非策略策略梯度方法要么遭受高偏差,要么遭受高方差,从而提供通常不可靠的估计。低效率的代价在诸如交互驱动的机器人学习等现实场景中变得明显,其中RL的成功相当有限,并且非常高的样本成本阻碍了直接的应用。本文提出了一个非参数Bellman方程,它可以用封闭形式求解.该解对于策略参数是可微的,并且可以获得对策略梯度的估计。通过这种方式,我们避免了重要性采样方法的高方差和半梯度方法的高偏差。我们实证分析了我们的梯度估计对国家的最先进的方法的质量,并表明它优于经典控制任务的样本效率方面的基线。
2021-06-07 cs.AI cs.LG
UPDeT: Universal Multi-agent Reinforcement Learning via Policy Decoupling with Transformers
Monash University(莫纳什大学);Sun Yat-sen University(中山大学);Dark Matter AI Inc.(暗物质人工智能公司)
多智能体强化学习的最新进展在很大程度上局限于为每个新任务从头开始训练一个模型。限制是由于与固定输入和输出维度相关的受限模型架构。这阻碍了经验的积累和学习代理在不同难度的任务上的转移(例如3对3或5对6多代理游戏)。在本文中,我们首次尝试探索一个通用的多智能体强化学习管道,设计一个单一的架构,以适应不同的观察和动作配置的要求的任务。与以前的基于RNN的模型不同,我们利用一个基于transformer的模型来生成一个灵活的策略,通过将策略分布与相互交织的输入观察解耦,并通过自注意机制的优点来衡量重要性权重。与标准的Transformer块相比,该模型进一步放宽了对行为的限制,使多Agent任务的决策过程更具有可解释性,称为通用策略解耦Transformer(UPDeT)。UPDeT足够通用,可以插入任何多智能体强化学习管道,并为它们提供强大的泛化能力,使其能够一次处理多个任务。在大规模SMAC多智能体竞争游戏上的大量实验表明,所提出的基于UPDeT的多智能体强化学习相对于最先进的方法取得了显着的结果,在性能和训练速度(快10倍)方面表现出优越的传输能力。
2021-02-07 cs.AI cs.LG
Gradient Informed Proximal Policy Optimization
University of Maryland, College Park(马里兰大学帕克分校)
该研究提出一种结合可微环境解析梯度与PPO的新型策略学习方法,通过α-策略自适应管控解析梯度影响,用梯度方差偏差指标动态调整依赖度,在多类场景中性能优于基线算法。
2023-12-14 cs.AI cs.LG
Learning to Explore with Meta-Policy Gradient
Baidu Research(百度研究院);University of Texas at Austin(得克萨斯大学奥斯汀分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
包括深度Q学习和深度确定性策略梯度(DDPG)在内的离策略学习的性能关键取决于探索策略的选择。现有的探索方法大多基于向正在进行的参与者策略添加噪声,并且只能探索接近参与者策略指示的\emph{local}区域。在这项工作中,我们开发了一个简单的Meta策略梯度算法,使我们能够自适应地学习DDPG中的探索策略。我们的算法允许我们训练灵活的探索行为,是独立的演员的政策,产生一个\emph{global exploration},显着加快学习过程。通过广泛的研究,我们表明,我们的方法显着提高了DDPG在各种强化学习任务的样本效率。
2018-03-26 cs.AI cs.LG
Correcting discount-factor mismatch in on-policy policy gradient methods
University of Alberta(阿尔伯塔大学);Amii(阿尔伯塔机器智能研究所)
本文提出一种新的分布校正方法,修正同策略策略梯度中忽略折扣平稳分布的问题,以低方差避免性能下降,并在多个基准上匹配或超越原始性能。
2023-06-23 cs.AI cs.LG
Off-OAB: Off-Policy Policy Gradient Method with Optimal Action-Dependent Baseline
School of Software, Shandong University(山东大学软件学院);School of Artificial Intelligence, Peking University(北京大学人工智能学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
本文提出Off-OAB方法,通过引入理论上最小化方差且保持无偏的最优动作依赖基线,降低离策略策略梯度估计方差,并在多个基准任务上验证其优于现有方法。
2024-05-04 cs.AI cs.LG
Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning
University of Cambridge(剑桥大学);DeepMind;Max Planck Institute(马克斯·普朗克研究所);Uber AI Labs(Uber人工智能实验室);UC Berkeley(加州大学伯克利分校)
使用先前收集的数据的非策略无模型深度强化学习方法可以比策略策略梯度技术提高样本效率。另一方面,策略算法通常更稳定,更容易使用。本文从理论和实证两方面研究了合并深度强化学习的策略更新和策略更新的方法。理论结果表明,具有价值函数估计器的非策略更新可以用策略策略梯度更新插值,同时仍然满足性能界限。我们的分析使用控制变量的方法来产生一个家庭的策略梯度算法,最近提出的几个算法是这个家庭的特殊情况。然后,我们提供了一个实证比较这些技术与其余的算法细节固定,并显示如何不同的混合关闭策略梯度估计与政策样本有助于改善实证性能。最终算法提供了现有深度策略梯度技术的推广和统一,对偏离策略更新引入的偏差具有理论保证,并在许多OpenAI Gym连续控制基准上改进了最先进的无模型深度RL方法。
2017-06-01 cs.AI cs.LG cs.RO
The Local Optimality of Reinforcement Learning by Value Gradients, and its Relationship to Policy Gradient Learning
City University London(伦敦城市大学)
在这篇理论论文中,我们关注的问题,学习一个价值函数的光滑一般函数逼近器,解决一个确定性的情节控制问题在一个大的连续状态空间。结果表明,学习值函数的梯度在每一个点沿着轨迹产生的贪婪的政策是一个充分条件的轨迹是局部极值,往往是局部最优的,我们认为,这带来了更高的效率值函数学习。这与传统的值函数学习形成对比,在传统的值函数学习中,值函数必须在整个状态空间上学习。它也证明了,政策梯度学习应用于一个贪婪的政策价值函数产生的权重更新相当于一个价值梯度权重更新,这提供了一个令人惊讶的连接之间的这两个替代范例的强化学习,和收敛证明控制问题的价值函数表示的一般光滑函数逼近。
2011-01-02 cs.AI cs.LG
An Empirical Analysis of Measure-Valued Derivatives for Policy Gradients
Technische Universität Darmstadt(达姆施塔特工业大学);Honda Research Institute Europe(欧洲本田研究院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
由于更好的策略梯度技术的不断发展,机器人的强化学习方法越来越成功。精确(低方差)和准确(低偏差)的梯度估计器对于面对日益复杂的任务至关重要。传统的策略梯度算法使用似然比技巧,这是众所周知的无偏,但高方差估计。更现代的方法利用重新参数化技巧,它提供了较低的方差梯度估计,但需要可微的价值函数逼近。在这项工作中,我们研究了一种不同类型的随机梯度估计:测度值导数。该估计是无偏的,具有低方差,并可用于可微和不可微函数逼近。我们经验评估此估计在演员-评论家策略梯度设置,并表明它可以达到可比的性能与方法的基础上的似然比或重新参数化技巧,无论是在低维和高维的动作空间。
2021-07-20 cs.AI cs.LG
Partial Policy Gradients for RL in LLMs
Adobe Research(Adobe研究)
本文提出了一种在大语言模型中使用部分策略梯度的方法,通过优化未来奖励的子集来建模和比较不同策略类别,展示了不同策略在不同任务中的表现差异。
2026-03-06 cs.AI cs.LG
Soft Deterministic Policy Gradient with Gaussian Smoothing
School of Electrical Engineering, KAIST(韩国延世大学电气工程学院)
本文提出基于高斯平滑的贝尔曼方程的软确定性策略梯度方法,解决传统DPG在稀疏或离散奖励下的梯度不明确问题,通过新定义的动作价值函数提升算法稳定性与性能。
2026-05-07 cs.AI cs.LG
Evolved Policy Gradients
OpenAI;UC Berkeley(加州大学伯克利分校);MIT(麻省理工学院)
提出了一种基于梯度的强化学习(RL)算法的元学习方法。这个想法是发展一个可微的损失函数,这样一个代理,优化其政策,以尽量减少这种损失,将获得高回报。损失是通过代理的经验时间卷积参数化。由于这种损失在考虑代理历史的能力方面具有高度灵活性,因此它可以实现快速任务学习。实验结果表明,我们的进化策略梯度算法(EPG)实现了更快的学习在几个随机环境相比,现成的策略梯度方法。我们还证明了EPG的学习损失可以推广到分布测试时间任务,并表现出与其他流行的元学习算法有质的不同的行为。
2018-04-29 cs.AI cs.LG
Augment-Reinforce-Merge Policy Gradient for Binary Stochastic Policy
Columbia University(哥伦比亚大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
由于策略梯度的高方差,策略上优化算法受到低样本效率的困扰。在这项工作中,我们提出了增强-加强-合并(ARM)策略梯度估计作为一个无偏的低方差替代以前的基线估计任务与二进制动作空间,最近的ARM梯度估计离散随机变量模型的启发。我们表明,ARM的策略梯度估计实现方差减少与理论保证,并导致显着更稳定和更快的收敛的政策参数化的神经网络。
2019-03-13 cs.AI cs.LG stat.ML
Accelerating Policy Gradient by Estimating Value Function from Prior Computation in Deep Reinforcement Learning
Purdue University(普渡大学)
本文研究了在强化学习中使用先验计算来估计价值函数以提高基于策略的策略梯度方法的样本效率。我们的方法是从先前的计算中估计价值函数,例如从DQN中学习的Q网络或为不同但相关的环境训练的价值函数。特别是,我们学习一个新的价值函数的目标任务,同时结合它与价值估计从先前的计算。最后,将结果价值函数用作策略梯度方法中的基线。基线的这种使用具有减少梯度计算中的方差并因此提高样本效率的理论特性。实验表明,成功地使用先验值估计在各种设置和提高样本效率在几个任务。
2023-02-02 cs.AI cs.LG
Off-Policy Policy Gradient with State Distribution Correction
Stanford University(斯坦福大学);Microsoft Research(微软研究院)
研究了马尔可夫决策过程中的离政策策略优化问题,提出了一种新的离政策策略梯度方法。现有的非策略策略梯度方法通常忽略了在用于收集数据的行为策略下访问的状态的分布与在学习策略下的状态的分布之间的不匹配。在这里,我们建立在最近的进展,估计行为和评估政策下的状态分布的比率进行政策评估,并提出了一个政策外的策略梯度优化技术,可以解释这种不匹配的分布。我们提出了一个说明性的例子,为什么这是重要的,我们的方法的理论收敛保证。从经验上讲,我们在模拟中将我们的方法与几个不纠正这种不匹配的强基线进行了比较,从而显着提高了所发现的政策的质量。
2019-07-06 cs.AI cs.LG stat.ML
Transformers Provably Implement In-Context Reinforcement Learning with Policy Improvement
Department of Electrical and Computer Engineering(电气与计算机工程系);University of California, Davis(加州大学戴维斯分校)
研究转换器在上下文强化学习中实现策略改进的能力,通过显式参数构造证明线性自注意力块可实现半梯度SARSA和actor-critic方法,并提供首次收敛保证。
2026-11-10 cs.AI cs.LG stat.ML
Variational Inference for Policy Gradient
受Stein变分推理和Stein变分策略梯度的启发,我们推导了一种通过\textit{explicitly}最小化KL散度以摊销方式匹配目标分布来从后验变分参数分布生成样本的方法。因此,我们将这种变分推理技术应用于香草策略梯度,TRPO和PPO与贝叶斯神经网络参数化的强化学习问题。
2018-03-25 cs.AI cs.LG stat.ML
Hierarchical Prompt Decision Transformer: Improving Few-Shot Policy Generalization with Global and Adaptive Guidance
University of Virginia(弗吉尼亚大学);Amazon(亚马逊公司)
针对决策Transformer少样本泛化中静态提示缺乏上下文针对性的问题,提出带检索增强的分层提示方法,通过全局与自适应两层软令牌实现动态引导,在7项基准任务上优于所有基线。
2024-12-13 cs.LG
Clipped Action Policy Gradient
Preferred Networks, Inc.(Preferred Networks公司)
许多连续控制任务具有有界的动作空间。当将策略梯度方法应用于此类任务时,需要在执行前裁剪越界操作,而策略通常会被优化,就像操作未被裁剪一样。我们提出了一个策略梯度估计,利用知识的行动被裁剪,以减少估计的方差。我们证明了我们的估计,命名为剪切动作策略梯度(CAPG),是无偏的,并实现较低的方差比传统的估计,忽略行动的界限。实验结果表明,CAPG一般优于传统的估计,这表明它是一个更好的连续控制任务的策略梯度估计。源代码可在https://github.com/pfnet-research/capg上获得。
2018-06-22 cs.AI cs.LG stat.ML
Off-Policy Self-Critical Training for Transformer in Visual Paragraph Generation
最近,已经提出了几种方法来解决语言生成问题。Transformer是目前语言生成中最先进的seq-to-seq模型。强化学习(Reinforcement Learning,RL)在解决seq-to-seq语言学习中的暴露偏差和优化不可微度量方面非常有用。然而,Transformer很难与RL结合,因为采样需要昂贵的计算资源。我们解决这个问题,提出了一个政策外的RL学习算法的行为策略表示的GRUs执行采样。针对重要性采样(IS)的高方差问题,采用截断相对重要性采样(TRIS)技术和Kullback-Leibler(KL)-控制概念. TRIS是一种简单而有效的技术,并且有理论证明KL控制有助于减少IS的方差。我们制定了这种基于自临界序列训练的非策略强化学习。具体来说,我们使用基于transformer的字幕模型作为目标策略,并使用图像引导的语言自动编码器作为行为策略来探索环境。该算法实现了最先进的性能上的视觉段落生成和改进的结果上的图像描述。
2020-06-21 cs.CV cs.LG
How to Learn a Useful Critic? Model-based Action-Gradient-Estimator Policy Optimization
MILA(米拉人工智能研究所);Université de Montréal(蒙特利尔大学);NNAISENSE(恩奈瑟思)
用于连续控制的确定性策略行动者-批评者算法通过将其行动插入批评者并使行动值梯度上升来改进行动者,该行动值梯度通过将行动者的雅可比矩阵与批评者相对于输入行动的梯度链接来获得。然而,批评者通常只接受训练以准确预测预期回报,而不是梯度,这本身对政策优化毫无用处。在本文中,我们提出了MAGE,一个基于模型的actor-critic算法,接地理论的策略梯度,明确学习的动作值梯度。MAGE反向传播通过学习动态计算梯度目标的时间差异学习,导致一个批评家定制的政策改进。在一组MuJoCo连续控制任务上,我们证明了该算法与无模型和基于模型的最先进基线相比的效率。
2020-10-22 cs.AI cs.LG stat.ML
Improving Value Estimation Critically Enhances Vanilla Policy Gradient
University of California, San Diego(加州大学圣迭戈分校)
本文发现,朴素策略梯度通过增加每次迭代的价值更新步数即可媲美或超越PPO,挑战了信任区域机制的关键作用,强调价值估计准确性是性能提升的核心因素。
2025-05-25 cs.AI cs.LG cs.RO
Transfer learning with causal counterfactual reasoning in Decision Transformers
causaLens;King’s College London(伦敦国王学院)
适应环境突发事件变化的能力是强化学习中的一个重要挑战。事实上,将先前获得的知识转移到具有看不见的结构特性的环境中可以大大提高构建新的最优策略的灵活性和效率。在这项工作中,我们研究了环境动态变化下的迁移学习问题。在这项研究中,我们在离线强化学习设置中应用因果推理,将学习到的策略转移到新的环境中。具体来说,我们使用决策Transformer(DT)架构来提取新环境的新策略。DT通过在源环境的事实和反事实模拟上执行策略部署来收集数据。我们表明,这种机制可以引导一个成功的政策目标环境,同时保留大部分的奖励。
2021-10-27 cs.AI cs.LG stat.ML
Policy Gradient Optimization of Thompson Sampling Policies
Columbia University(哥伦比亚大学)
我们研究了使用策略梯度算法优化一类广义Thompson抽样策略。我们的核心观点是将Thompson采样的后验参数视为一种伪作用。策略梯度方法然后可以被可追踪地应用于在一类采样策略上进行搜索,其确定伪动作上的概率分布(即,采样参数)作为观测数据的函数。我们还提出和比较专门贝叶斯强盗问题的策略梯度估计。数值实验表明,直接策略搜索的汤普森采样自动纠正了一些算法的已知缺点,并提供了有意义的改进,即使在长时间的问题,标准的汤普森采样是非常有效的。
2020-06-30 cs.AI cs.LG stat.ML
Revisiting stochastic off-policy action-value gradients
University of Toronto(多伦多大学)
非策略随机行动者-批评者方法依赖于近似随机策略梯度,以获得最优策略。也可以通过近似动作值梯度来导出最优策略。当政策改进沿着最陡上升的方向发生时,使用行动价值梯度是可取的。这已经在自然梯度演员批评算法的上下文中进行了广泛的研究,最近在确定性政策梯度的上下文中。在本文中,我们简要地讨论了确定性的行动价值梯度的非政策随机对应,以及一个增量的方法来代替自然梯度的政策梯度。
2017-03-13 cs.LG stat.ML
Ranking Policy Gradient
Michigan State University(密歇根州立大学)
样本低效是强化学习(RL)中一个长期存在的问题。最先进的估计最优动作值,而它通常涉及到广泛的搜索状态动作空间和不稳定的优化。对于样本有效的强化学习,我们提出了排名策略梯度(RPG),一个策略梯度方法,学习一组离散动作的最佳排名。为了加速策略梯度方法的学习,我们建立了收益下限最大化和在不访问任何预言机的情况下模仿接近最优策略之间的等价性。这些结果导致一个通用的离策略学习框架,保持最优性,减少方差,提高样本效率。此外,RPG的样本复杂度不依赖于状态空间的维数,这使得RPG的大规模问题。我们进行了大量的实验表明,当巩固与离策略学习框架,RPG大大降低了样本的复杂性,与国家的最先进的。
2019-11-26 cs.AI cs.LG stat.ML
Towards Provable Log Density Policy Gradient
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文针对策略梯度估计中的残差误差,提出利用状态-动作折扣分布的对数密度梯度,并给出TD近似与仅需同策略样本的min-max优化,证明其唯一性、收敛性及m^{-1/2}样本复杂度。
2024-03-03 cs.AI cs.LG stat.ML
Gradient-based Reinforcement Planning in Policy-Search Methods
我们引入了一种称为“基于梯度的强化计划”(GREP)的学习方法。与传统的DP方法不同,GREP是一种基于梯度的方法,它提前计划并在环境中实际操作之前改进其策略。我们推导出的确切的策略梯度,最大化预期的未来回报的公式,并确认我们的想法与数值实验。
2001-11-28 cs.AI
Convergence and Optimality of Policy Gradient Methods in Weakly Smooth Settings
University of Toronto(多伦多大学);Vector Institute(向量研究所)
策略梯度方法已被频繁地应用于控制和强化学习中的问题,并取得了巨大的成功,然而现有的收敛分析仍然依赖于非直观的,不切实际的,往往是不透明的条件。特别是,现有的比率是在有限的环境中,在严格的规律性条件下实现的。在这项工作中,我们建立了明确的策略梯度方法的收敛速度,扩展的收敛制度,弱光滑的政策类$L_2$可积梯度。我们提供直观的例子来说明这些新条件背后的洞察力。值得注意的是,我们的分析还表明,在这些假设下,标准策略梯度和自然策略梯度算法的收敛速度是可以实现的。最后,我们为融合策略提供性能保证。
2022-04-07 cs.AI cs.LG cs.SY
Soft Policy Gradient Method for Maximum Entropy Deep Reinforcement Learning
Tsinghua University(清华大学)
最大熵深度强化学习(RL)方法已经在一系列具有挑战性的连续任务上得到了证明。然而,现有的方法要么在训练大型非策略数据时存在严重的不稳定性,要么无法扩展到具有非常高的状态和动作维度的任务,例如3D人形运动。另外,对于非最优软价值函数,期望Boltzmann策略集的最优性也不具有说服力。本文首先推导了基于熵正则化期望回报目标的软策略梯度。然后,将软策略梯度与软Bellman方程相结合,提出了一种无策略、无模型的最大熵深度强化学习算法--深度软策略梯度(DSPG)。为了确保稳定的学习,同时消除两个单独的批评软价值函数的需要,我们利用双采样方法,使软贝尔曼方程易于处理。实验结果表明,我们的方法在性能上优于off-policy先验方法。
2019-09-07 cs.AI cs.LG stat.ML
Low-Variance Policy Gradient Estimation with World Models
Universiteit van Amsterdam(阿姆斯特丹大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
在本文中,我们提出了世界模型政策梯度(WMPG),一种使用学习世界模型(WM)来减少政策梯度估计方差的方法。在WMPG中,WM在线训练并用于想象轨迹。想象的轨迹有两种用途。首先,计算策略梯度的无替换估计。其次,想象轨迹的返回被用作知情基线。我们比较了所提出的方法与AC和MAC上的一组环境的复杂性增加(CartPole,LunarLander和Pong),并发现WMPG具有更好的采样效率。基于这些结果,我们得出结论,WMPG可以产生增加的样本效率的情况下,一个强大的潜在的环境表示可以学习。
2020-10-29 cs.AI cs.LG stat.ML
End-to-End Offline Goal-Oriented Dialog Policy Learning via Policy Gradient
Amazon(亚马逊)
学习面向目标的对话策略通常利用监督学习算法离线执行,或者利用强化学习(RL)在线执行。此外,随着公司积累了大量客户和训练有素的人类代理之间的对话记录,编码器-解码器方法已经流行起来,因为代理话语可以直接被视为监督,而不需要话语级注释。然而,这样的方法的一个潜在的缺点是,他们近视生成下一个代理话语,而不考虑对话级的考虑。为了解决这个问题,本文描述了一种离线RL方法,用于从未注释的语料库中学习,该方法可以在话语和对话级别上优化面向目标的策略。我们引入了一个新的奖励函数,并使用上政策和关闭政策策略梯度离线学习策略,而不需要在线用户交互或显式的状态空间定义。
2017-12-07 cs.AI cs.CL cs.LG
Controlling an Inverted Pendulum with Policy Gradient Methods-A Tutorial
Edge Hill University(边山大学)
本文提供了两个重要的策略梯度方法来解决倒立摆问题的实施细节。它们即是深度确定性策略梯度(DDPG)和近端策略优化(PPO)算法。该问题通过使用行动者-批评者模型来解决,其中行动者网络用于学习策略函数,批评者网络通过学习估计Q函数来评估行动者网络。除了简要解释这两个算法背后的数学,还提供了python实现的细节,这有助于揭开算法潜在复杂性的神秘面纱。在这个过程中,读者将被介绍到用于实现上述概念的OpenAI/Gym,Tensorflow 2.x和Keras实用程序。
2021-05-17 cs.AI cs.LG cs.RO
Combining policy gradient and Q-learning
Deepmind
策略梯度是用于在强化学习设置中改进策略的有效技术。然而,vanilla在线变体仅适用于政策,无法利用政策外数据。在本文中,我们描述了一种新的技术,结合了策略梯度与非策略Q学习,从重放缓冲区的经验。这是通过在正则化策略梯度算法的不动点和Q值之间建立联系来激发的。这种连接使我们能够从策略的动作偏好中估计Q值,并对其应用Q学习更新。我们将新技术称为“PGQL”,用于策略梯度和Q学习。我们还建立了行动值拟合技术和演员评论家算法之间的等价性,表明正则化的策略梯度技术可以被解释为优势函数学习算法。我们得出结论,一些数值例子表明,提高数据效率和稳定性的PGQL。特别是,我们在全套Atari游戏上测试了PGQL,并实现了超过异步优势演员-评论家(A3 C)和Q学习的性能。
2017-04-07 cs.AI cs.LG math.OC
Policy Gradient Method For Robust Reinforcement Learning
University at Buffalo(布法罗大学)
针对模型失配下的鲁棒强化学习问题,提出了第一种具有全局最优性保证和复杂性分析的策略梯度方法。鲁棒强化学习是学习一种对模拟器和真实环境之间的模型失配具有鲁棒性的策略。我们首先开发的强大的政策(子)梯度,这是适用于任何可微参数的政策类。我们证明了所提出的鲁棒策略梯度方法在直接策略参数化下渐近收敛于全局最优解。我们进一步开发了一个平滑的鲁棒策略梯度方法,并表明,要实现$ε$ -全局最优,复杂性是$\mathcal O(ε^{-3})$。然后,我们将我们的方法扩展到一般的无模型设置,并设计了可微参数的政策类和价值函数的鲁棒的演员-评论家方法。我们进一步刻画了它的渐近收敛性和样本复杂性。最后,我们提供了仿真结果来证明我们的方法的鲁棒性。
2022-05-15 cs.LG
On Policy Gradients
Technische Universität Darmstadt(达姆施塔特工业大学)
策略梯度方法的目标是在给定的一类策略中找到最大化期望收益的策略。给定策略的可微模型,我们希望应用梯度上升技术来达到局部最优。我们主要使用梯度上升,因为它在理论上已经研究得很好了。主要的问题是,相对于预期收益的策略梯度是不可用的,因此我们需要估计它。由于策略梯度算法也倾向于需要在政策上的数据来估计梯度,它们最大的弱点是样本效率。由于这个原因,大多数研究集中在寻找具有改进的样本效率的算法。本文提供了一个正式的介绍策略梯度,显示了策略梯度方法的发展,并应使读者遵循当前的研究主题。
2019-11-12 cs.LG stat.ML
Stein Variational Policy Gradient
UIUC(伊利诺伊大学厄巴纳-香槟分校);Dartmouth(达特茅斯学院)
策略梯度方法已成功应用于许多复杂的强化学习问题。然而,策略梯度方法具有高方差、慢收敛和低效探索的缺点。在这项工作中,我们引入了一个最大熵的政策优化框架,明确鼓励参数探索,并表明这个框架可以减少到贝叶斯推理问题。然后,我们提出了一种新的Stein变分策略梯度方法(SVPG),它结合了现有的策略梯度方法和排斥功能,以产生一组不同的,但表现良好的政策。SVPG对初始化是鲁棒的,并且可以很容易地以并行方式实现。在连续控制问题上,我们发现,在REINFORCE和advantage actor-critic算法上实现SVPG可以提高平均收益和数据效率。
2017-04-07 cs.LG
Natural Policy Gradients In Reinforcement Learning Explained
传统的策略梯度方法存在根本性缺陷。自然梯度收敛得更快更好,形成了当代强化学习的基础,如信任域策略优化(TRPO)和近端策略优化(PPO)。本课堂讲稿旨在阐明自然策略梯度背后的直觉,着重于思考过程和关键的数学结构。
2022-09-05 cs.LG math.OC
An operator view of policy gradient methods
Google Brain(谷歌大脑)
我们铸造的策略梯度方法作为两个运营商的重复应用:一个政策改进运营商$\mathcal{I}$,它映射任何政策$π$到一个更好的$\mathcal{I}π$,和一个投影运营商$\mathcal{P}$,它发现的最佳近似$\mathcal{I}π$在一组可实现的政策。我们使用这个框架来介绍传统的策略梯度方法,如REINFORCE和PPO,这导致了更好地了解他们原来的同行基于操作员的版本。我们还使用我们开发的$\mathcal{I}$和$\mathcal{P}$的作用的理解,提出了一个新的全球预期收益的下限。这种新的视角使我们能够进一步弥合基于政策和基于价值的方法之间的差距,例如,展示了REINFORCE和Bellman最优性算子如何被视为同一枚硬币的两面。
2020-10-22 cs.AI cs.LG stat.ML
Off-Policy Policy Gradient Algorithms by Constraining the State Distribution Shift
Facebook AI Research(脸书人工智能研究院);McGill University(麦吉尔大学)
非策略深度强化学习(RL)算法无法在不与环境进行在线交互的情况下仅从批量离线数据中学习,这是由于被称为\textit{extrapolation error}的现象。这通常是由于重放缓冲区中可用的过去数据可能与当前策略下的数据分布完全不同。我们认为,大多数离策略学习方法从根本上遭受\textit{state distribution shift}由于行为和目标政策收集的数据的状态访问分布之间的不匹配。当前样本和过去样本之间的这种数据分布偏移会显著影响大多数现代的基于脱离策略的策略优化算法的性能。本文首先系统地分析了离策略学习中的状态分布失配问题,然后提出了一种约束状态分布偏移的离线策略优化方法。为此,我们首先使用密度估计器基于状态的特征来估计状态分布,然后开发一种新的约束非策略梯度目标,其最小化状态分布偏移。我们的连续控制任务的实验结果表明,最大限度地减少这种分布不匹配,可以显着提高性能,在最流行的实用的政策外策略梯度算法。
2019-12-01 cs.AI cs.LG stat.ML
Generalized Off-Policy Actor-Critic
University of Oxford(牛津大学)
我们提出了一个新的目标,反事实的目标,统一现有的目标,政策外的策略梯度算法在持续的强化学习(RL)设置。通常使用的偏移目标,这可能会误导部署时的目标策略的性能相比,我们的新目标更好地预测这样的性能。我们证明了广义的政策外策略梯度定理来计算反事实目标的策略梯度,并使用一个无偏的方法来获得一个无偏的样本,从这个策略梯度,产生广义的政策外Actor-Critic(Geoff-PAC)算法。我们展示了Geoff-PAC在Mujoco机器人仿真任务中优于现有算法的优点,这是在流行的深度RL基准测试中首次成功的经验性算法。
2019-10-28 cs.AI cs.LG stat.ML
Residual Policy Gradient: A Reward View of KL-regularized Objective
University of California, Berkeley(加州大学伯克利分校)
本文提出残差策略梯度(RPG),将残差Q学习扩展到策略梯度方法,实现策略定制,并从奖励视角重新审视KL正则化目标,实验验证其有效性。
2025-05-23 cs.LG
Mollification Effects of Policy Gradient Methods
University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文建立策略梯度方法与反向热方程的等价性,揭示其磨光非光滑优化景观的利弊,并借助不确定性原理解释随机探索的局限,附实验验证。
2024-05-28 cs.AI cs.LG cs.RO
Policy Gradient Methods for Distortion Risk Measures
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
本文提出策略梯度算法,在强化学习框架下最大化扭曲风险度量,分别适用于在线和离线策略设置,并推导了收敛性保证。
2024-02-05 cs.LG
ISOPO: Proximal policy gradients without pi-old
Nilin Abrahamsen
ISOPO提出了一种无需pi-old的近端策略梯度方法,通过单次梯度步骤近似自然策略梯度,具有较低的计算开销。
2025-12-30 cs.LG
An Off-policy Policy Gradient Theorem Using Emphatic Weightings
University of Alberta(阿尔伯塔大学)
策略梯度方法被广泛用于强化学习中的控制,特别是用于连续动作设置。由于策略梯度定理的存在,提供了一个简化的形式的梯度,已经有大量的理论上合理的算法提出的策略设置。然而,在离策略学习中,行为策略不一定试图学习和遵循给定任务的最优策略,这样的定理的存在是难以捉摸的。在这项工作中,我们解决了这个开放的问题,提供了第一个政策外的策略梯度定理。推导的关键是使用$emphatic$ $weightings$。我们开发了一个新的演员评论家算法$\unicode{x2014}$称为演员评论与强调权重(ACE)$\unicode{x2014}$,近似的简化梯度提供的定理。我们证明了在一个简单的反例,以前的政策外的策略梯度方法$\unicode{x2014}$,特别是OffPAC和DPG $\unicode{x2014}$收敛到错误的解决方案,而ACE找到最佳的解决方案。
2019-06-20 cs.LG stat.ML
Revisiting Policy Gradients for Restricted Policy Classes: Escaping Myopic Local Optima with $k$-step Policy Gradients
Department of Electrical and Computer Engineering(电气与计算机工程系)
本文提出k步策略梯度方法,通过结合k步时间窗口内的随机性,解决受限策略类中因策略梯度短视导致的局部极值问题,并在理论上保证收敛性能。
2026-05-11 cs.LG stat.ML
On-Policy Policy Gradient Reinforcement Learning Without On-Policy Sampling
本文提出PROPS方法,通过自适应离线采样减少在线策略梯度强化学习中的采样误差,提高数据效率。
2026-02-09 cs.LG
Equivalence Between Policy Gradients and Soft Q-Learning
OpenAI;UC Berkeley(加州大学伯克利分校)
无模型强化学习的两种主要方法是策略梯度方法和$Q$学习方法。$Q$ -学习方法在它们工作时可以是有效的和样本高效的,然而,还没有很好地理解它们为什么工作,因为根据经验,它们估计的$Q$ -值非常不准确。一个部分的解释可能是,$Q$ -学习方法正在秘密地实现策略梯度更新:我们表明,在熵正则化强化学习的设置中,$Q$ -学习和策略梯度方法之间存在精确的等价性,“软”(熵正则化)$Q$ -学习完全等价于策略梯度方法。我们还指出了$Q$ -学习方法和自然策略梯度方法之间的联系。在实验中,我们探索了$Q$的熵正则化版本-学习和策略梯度,我们发现它们在Atari基准测试中的表现与标准变体一样好(或略好于)。我们还表明,在实际环境中的等价性,通过构建一个$Q$的学习方法,密切匹配的A3 C的学习动态,而不使用目标网络或$ε$贪婪的探索时间表。
2018-10-14 cs.LG
Equivalence of stochastic and deterministic policy gradients
Roboti LLC;University of Washington(华盛顿大学)
本文证明在含高斯噪声与二次成本的 MDP 中随机和确定性策略梯度、自然梯度及状态价值函数等价,并给出确定性等价 MDP 构造方法,指出可围绕状态价值函数统一策略梯度方法。
2025-06-10 cs.LG