Beyond Stationarity: Convergence Analysis of Stochastic Softmax Policy Gradient Methods
Institute of Mathematics, University of Mannheim（曼海姆大学数学研究所）
本文针对有限时间马尔可夫决策过程中最优策略非平稳的问题，提出动态策略梯度方法，按时间反向训练参数，并在表格型softmax参数化下证明了其相比同时训练具有更好的全局收敛界。
2024-05-06 cs.LG math.OC stat.ML
Convergence and Price of Anarchy Guarantees of the Softmax Policy Gradient in Markov Potential Games
University of South Carolina（南卡罗来纳大学）；Virginia Tech（弗吉尼亚理工大学）
我们研究的性能的策略梯度方法的马尔可夫游戏的子类称为马尔可夫潜在的游戏（MPG），它扩展了正常形式的潜在游戏的概念，有状态的设置，包括重要的特殊情况下，完全合作的设置，其中代理共享一个相同的奖励函数。我们在本文中的重点是研究的收敛性的策略梯度方法求解MPG下softmax政策参数化，表格和参数化的一般函数逼近器，如神经网络。我们首先证明了这种方法的渐近收敛到一个纳什均衡的MPG表格softmax政策。其次，我们推导了两种设置下的策略梯度的有限时间性能：1）使用对数屏障正则化，以及2）使用最佳响应动态（NPG-BR）下的自然策略梯度。最后，通过推广正规型博弈中的无政府无政府代价（POA）和光滑性的概念，我们引入了MPG的POA，并给出了NPG-BR的POA界。据我们所知，这是求解MPG的第一个POA界。为了支持我们的理论结果，我们实证比较了表格和神经softmax政策的策略梯度变体的收敛速度和POA。
2022-06-15 cs.AI cs.GT cs.LG
A Lyapunov Analysis of Softmax Policy Gradient for Stochastic Bandits
研究将Lattimore(2026)对连续时间k臂随机老虎机策略梯度的分析适应到离散时间设置，证明学习率η=O(Δ_min²/(Δ_max log(n)))时，后悔为O(k log(k) log(n)/η)。
2026-03-27 cs.LG
Global linear convergence of entropy-regularized softmax policy gradient beyond tabular MDPs
School of Mathematics（数学系）
本文研究连续状态和动作空间的无限时域熵正则化马尔可夫决策过程中策略梯度的全局收敛性，通过线性函数逼近的log-linear softmax策略，在$Q^π_τ$可实现性假设下建立非均匀Polyak--Łojasiewicz不等式，并识别两种特征机制下非均匀常数的有界性，证明正则化目标沿梯度流的全局线性收敛。
2026-05-24 cs.LG math.OC
Elementary Analysis of Policy Gradient Methods
School of Data Science, Fudan University（复旦大学数据科学学院）
该研究针对折扣MDP场景，采用新的基础分析技术，系统推导了投影策略梯度、softmax策略梯度等六类强化学习策略优化方法的收敛特性，完善了相关理论认知。
2024-04-11 cs.LG math.OC
On Global Convergence Rates for Federated Softmax Policy Gradient under Heterogeneous Environments
CMAP, CNRS, École Polytechnique, Institut Polytechnique de Paris（巴黎综合理工学院CMAP实验室，法国国家科学研究中心）；Université Paris-Saclay, CNRS, LMO（巴黎萨克雷大学，法国国家科学研究中心，数学与建模实验室）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；LRE EPITA（EPITA 研究与工程实验室）
本文研究了在异构环境中联邦Softmax策略梯度算法的收敛率，证明了其在平均代理价值方面的近优策略收敛，并通过投影类操作符获得了熵正则化策略梯度的首次明确常数收敛率。
2026-04-01 cs.LG
Fast Convergence of Softmax Policy Mirror Ascent
Simon Fraser University（西蒙弗雷泽大学）；Samsung AI（三星人工智能）；ServiceNow；Mila, Université de Montréal, McGill（蒙特利尔大学Mila研究所）
本文改进了在logits对偶空间进行镜像上升的策略梯度算法，提出SPMA方法，证明其在表格MDP中具有线性收敛性，并扩展至线性和非线性函数近似，在MuJoCo和Atari基准上表现优于或等同于MDPO、PPO和TRPO。
2025-05-30 cs.AI cs.LG cs.RO
Annealed Softmax Greedy in Many-Armed Bayesian Bandits
Stanford University（斯坦福大学）
本文研究退火Softmax贪婪算法在多臂贝叶斯伯努利老虎机中的贝叶斯遗憾，证明在先验满足线性上尾条件（β=1的β正则性）时，算法达到接近最优的贝叶斯遗憾率，并与RLVR方法形成结构类比。
2026-08-18 cs.AI cs.LG
Bridging the Gap Between Value and Policy Based Reinforcement Learning
Google Brain（谷歌大脑）
基于熵正则化下softmax时间值一致性和策略最优性之间的关系，建立了基于值和策略的强化学习（RL）之间的新联系.具体来说，我们表明softmax一致的动作值对应于沿着任何动作序列的最优熵正则化策略概率，而不管出处如何。从这个观察，我们开发了一个新的RL算法，路径一致性学习（PCL），最大限度地减少了软一致性错误的概念，沿多步动作序列提取的政策和关闭的痕迹。我们研究了PCL在不同情况下的行为，并表明PCL可以被解释为推广演员-评论家和Q-学习算法。随后，我们通过展示如何使用单个模型来表示策略和相应的softmax状态值来加深这种关系，从而消除了对单独评论家的需求。实验评估表明，PCL在几个基准测试中显着优于强演员-评论家和Q学习基线。
2017-11-22 cs.AI cs.LG stat.ML
Softmax gradient policy for variance minimization and risk-averse multi armed bandits
anonymous institute（匿名机构）
本文提出基于softmax参数化的算法，用于解决多臂老虎机问题中的方差最小化和风险厌恶决策，证明了算法收敛性，并通过实验验证了其有效性。
2026-09-24 cs.AI cs.LG cs.NA
Rethinking the Global Convergence of Softmax Policy Gradient with Linear Function Approximation: The Case of Multi-Armed Bandits
Simon Fraser University（西蒙弗雷泽大学）；Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）；University of Alberta（阿尔伯塔大学）
本文研究带线性函数逼近的Softmax策略梯度方法，证明逼近误差不影响其全局收敛性，并给出特征表示的充要条件及O(1/T)收敛速率保证。
2026-10-02 cs.LG
Interpolating Between Softmax Policy Gradient and Neural Replicator Dynamics with Capped Implicit Exploration
Sony AI（索尼人工智能）；University of Alberta（阿尔伯塔大学）；Amii（阿尔伯塔机器智能研究所）；Brown University（布朗大学）
神经复制动力学（NeuRD）是一种替代基本的softmax策略梯度（SPG）算法的在线学习和进化博弈论的动机。NeuRD预期的更新被设计为几乎相同的SPG，但是，我们表明，蒙特卡罗更新有很大的不同：重要性校正占抽样行动是无效的SPG更新，但不是在NeuRD更新。自然地，这导致NeuRD更新具有比其SPG对应物更高的方差。在对抗性强盗设置中的隐式探索算法的基础上，我们引入了封顶隐式探索（CIX）估计，使我们能够构建NeuRD-CIX，它在NeuRD和SPG的这一方面之间插值。我们展示了如何CIX估计可用于黑盒还原，以构建具有高概率的遗憾界限的强盗算法，以及这为NeuRD-CIX在顺序决策设置中带来的好处。我们的分析揭示了SPG和NeuRD之间的偏差-方差权衡，并显示了理论预测NeuRD-CIX将表现得更好，更一致，比NeuRD，同时保留NeuRD的优势，SPG在非平稳环境。
2022-06-04 cs.AI cs.LG stat.ML
Reinforcement Learning with Dynamic Boltzmann Softmax Updates
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
价值函数估计是强化学习中的一项重要任务，即，预测.玻尔兹曼softmax算子是一种自然值估计器，可以提供几个好处。然而，它不满足非展开性质，并且它的直接使用甚至在值迭代中也可能无法收敛。本文提出用动态Boltzmannsoftmax（DBS）算子来更新价值函数，该算子在规划和学习环境中具有良好的收敛性。在GridWorld上的实验结果表明，DBS算子能够更好地估计价值函数，从而纠正了softmax算子的收敛性问题。最后，我们提出了DBS-DQN算法，通过在深度Q网络中应用动态Boltzmann softmax更新，在49个Atari游戏中的40个中大幅优于DQN。
2019-09-08 cs.AI cs.LG stat.ML
Global Optimality and Finite Sample Analysis of Softmax Off-Policy Actor Critic under State Distribution Mismatch
University of Virginia（弗吉尼亚大学）；Microsoft Research Montreal（微软研究院蒙特利尔分）
本文在状态分布不匹配且不使用密度比校正的条件下，证明了表格设定中离策略Softmax Actor-Critic算法的全局最优性和收敛速率，核心贡献是基于一致压缩性质对时间非齐次马尔可夫链上随机逼近算法进行有限样本分析。
2025-02-06 cs.LG
An Alternative Softmax Operator for Reinforcement Learning
Brown University（布朗大学）
应用于一组值的softmax运算符有点像最大化函数，有点像平均值。在顺序决策中，softmax通常用于需要最大化效用的设置，但也可以对冲由于将所有权重放在单个最大效用决策之后而产生的问题。玻尔兹曼softmax算子是最常用的softmax算子在此设置中，但我们表明，该算子是容易行为不端。在这项工作中，我们研究了一个可微的softmax算子，除了其他属性外，它是一个非扩展，确保了学习和规划中的收敛行为。我们介绍了一种变体的SARSA算法，通过利用新的运营商，计算玻尔兹曼政策与状态相关的温度参数。我们表明，该算法是收敛的，它在实践中表现良好。
2017-06-14 cs.AI cs.LG stat.ML
Learning Position Evaluation Functions Used in Monte Carlo Softmax Search
Shibaura Institute of Technology（芝浦工业大学）
本文提出了两个建议，蒙特卡罗Softmax搜索，这是最近提出的方法，被归类为一个选择性搜索一样的蒙特卡罗树搜索。第一个建议分别定义了节点选择和备份策略，允许研究人员根据他们的搜索策略自由地设计节点选择策略，并确认由Monte Carlo Softmax搜索产生的最大极小搜索产生的主要变化。第二个建议修改常用的学习方法的位置评估功能。在我们的新建议中，评估函数是通过Monte Carlo抽样来学习的，这是通过Monte Carlo Softmax Search产生的搜索树中的备份策略来执行的。正在考虑的学习方法包括监督学习、强化学习、回归学习和搜索自举。我们的基于采样的学习不仅使用当前位置和主要变化，而且还使用搜索树的内部节点和重要变化。这个步骤减少了学习所需的游戏数量。本文基于MonteCarlo Softmax搜索算法，推导了新的基于采样的学习规则，并提出了改进的学习方法的组合。
2020-09-08 cs.AI cs.LG
A short variational proof of equivalence between policy gradients and soft Q learning
Data Science Institute（数据科学研究所）；Imperial College（帝国理工学院）；Institute of Security Science and Technology（安全科学与技术研究所）
强化学习算法的两个主要家族，Q学习和策略梯度，最近被证明是等价的，当使用softmax松弛的一部分，和熵正则化的其他。我们将这个结果与著名的香农熵和softmax函数的凸对偶性联系起来。这个结果也被称为Donsker-Varadhan公式。这提供了等价性的简短证明。然后，我们进一步解释这种对偶性，并使用凸分析的思想来证明一个新的政策不等式相对于软Q学习。
2017-12-22 cs.LG
Beyond Linear Attention: Softmax Transformers Implement In-Context Reinforcement Learning
University of Virginia（弗吉尼亚大学）；California Institute of Technology（加州理工学院）；Purdue University（普渡大学）
本文研究了在预训练后通过上下文适应新任务的强化学习代理，通过softmax注意力机制证明了Transformer层前向传递等价于加权softmax时序差分算法的迭代更新，并证明了参数在预训练损失中的全局极小性。
2026-05-17 cs.LG
The In-Sample Softmax for Offline Reinforcement Learning
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；University of Oxford（牛津大学）
针对离线强化学习中分布外动作导致的自举高估问题，提出样本内 softmax 及其 Actor-Critic 算法，证明其收敛性并取得优于或可比现有方法的效果。
2023-04-19 cs.AI cs.LG
Structure Matters: Dynamic Policy Gradient
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出动态策略梯度框架，将动态规划与策略梯度结合，分解无限时域MDP为上下文赌博机，实现多项式收敛，优于普通策略梯度的指数下界。
2024-11-07 cs.LG math.OC math.PR
Implicitly Regularized RL with Implicit Q-Values
Google Research（谷歌研究院）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
$Q$ -函数是许多强化学习（RL）算法中的中心量，对于这些算法，RL代理遵循（软）贪婪策略w.r.t.到$Q$。它是一个强大的工具，允许在没有环境模型甚至没有明确建模策略的情况下选择操作。然而，该方案只能用于离散动作任务，动作数量较少，因为softmax无法精确计算。特别是使用函数近似来处理现代演员-评论家架构中的连续动作空间，本质上阻止了softmax的精确计算。我们建议通过隐式地将$Q$函数参数化为日志策略和价值函数的总和来缓解这个问题。我们使用由此产生的参数化来推导出一个实用的非策略深度RL算法，适用于大的动作空间，并且强制执行策略和$Q$值之间的softmax关系。我们提供了一个理论分析，我们的算法：从近似动态规划的角度来看，我们表明其等价于一个正则化版本的值迭代，占熵和Kullback-Leibler正则化，并享有有益的错误传播结果。然后，我们评估我们的算法在经典的控制任务，其结果与最先进的方法竞争。
2022-05-31 cs.LG
Neural Replicator Dynamics
DeepMind（深度思维公司）
策略梯度和演员-评论家算法构成了深度强化学习中许多常用训练技术的基础。在多智能体环境中使用这些算法带来的问题，如非平稳性和不稳定性。在本文中，我们首先证明，标准的softmax为基础的策略梯度，即使是最良性的非平稳性的存在下，也容易表现不佳。相比之下，它是已知的复制动力学，一个很好的研究模型从进化博弈论，消除了劣势策略，并表现出收敛的时间平均轨迹内部纳什均衡在零和游戏。因此，使用复制动力学作为基础，我们得到了一个优雅的一行变化的策略梯度方法，简单地绕过梯度步骤通过softmax，产生一个新的算法名为神经复制动力学（NeuRD）。NeuRD减少到指数权重/对冲算法在单状态的所有动作的情况下。此外，NeuRD与softmax反事实遗憾最小化具有形式上的等价性，这保证了序列表格情况下的收敛性。重要的是，我们的算法提供了一个简单的方式扩展的复制动力学的函数近似设置。实证结果表明，NeuRD快速适应非平稳性，优于策略梯度显着在表格和函数近似设置，当评估标准的不完美信息基准的库恩扑克，Leduc扑克，和Goofspiel。
2020-02-26 cs.AI cs.LG stat.ML
A Short Note on Soft-max and Policy Gradients in Bandits Problems
University of Manchester（曼彻斯特大学）
这是一个关于softmax在强盗问题中的李雅普诺夫函数参数的简短交流。在强化学习\cite{agarwal2019optimality,bhandari2019global,mei2020global}中，有许多优秀的论文使用微分方程进行策略梯度算法。我们给出了一个简短的论点，给出了一个遗憾界的软最大常微分方程的强盗问题。我们得出一个类似的结果，一个不同的策略梯度算法，再次强盗问题。对于这第二个算法，它是可能的，以证明在随机情况下的遗憾界\cite{DW20}。最后，我们总结了在推导策略梯度的随机后悔界方面的一些想法和问题。
2020-07-20 cs.LG stat.ML
Fast Global Convergence of Natural Policy Gradient Methods with Entropy Regularization
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
自然策略梯度（NPG）方法是当代强化学习中使用最广泛的策略优化算法之一。这类方法通常与熵正则化（一种鼓励探索的算法方案）结合使用，并且与软策略迭代和信赖域策略优化密切相关。尽管取得了经验上的成功，NPG方法的理论基础仍然有限，即使是表格设置。本文发展了softmax参数化下熵正则化NPG方法的$\textit{non-asymptotic}$收敛保证，重点是折扣马尔可夫决策过程（MDP）。假设访问精确的政策评估，我们证明了算法收敛线性-甚至二次一旦它进入一个局部区域周围的最优策略-计算最优值函数的正则化MDP。此外，该算法是可证明的稳定相对于政策评估的不精确性。我们的收敛结果适应了广泛的学习率，并揭示了熵正则化在实现快速收敛中的作用。
2021-04-08 cs.IT cs.LG math.IT
A Prescriptive Dirichlet Power Allocation Policy with Deep Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）；Harbin Institute of Technology（哈尔滨工业大学）；NASA Ames Research Center（美国国家航空航天局艾姆斯研究中心）
根据系统状况规定最佳操作，从而可能延长剩余使用寿命，对于积极管理复杂系统的可用性、维护和成本具有很大的潜力。强化学习（RL）算法特别适合于这种类型的问题，因为它们具有学习能力。规定性操作的一个特殊情况是功率分配任务，它可以被认为是一个顺序分配问题，其中的动作空间是由单纯形约束。一般连续的行动空间解决这种顺序分配问题仍然是一个开放的研究问题RL算法。在连续动作空间中，强化学习中应用的标准高斯策略不支持单纯形约束，而Gaussian-softmax策略在训练过程中引入了偏差。在这项工作中，我们提出了连续分配任务的Dirichlet策略，并分析了其策略梯度的偏差和方差。我们证明了Dirichlet策略是无偏的，并且比Gaussian-softmax策略提供了更快的收敛速度，更好的性能和更好的超参数鲁棒性。此外，我们证明了所提出的算法的适用性上的规定的操作情况下，我们提出了狄利克雷功率分配政策和评估的一组多个锂离子（Li-I）电池系统的案例研究的性能。实验结果表明，潜在的规定最佳操作，提高多电源系统的效率和可持续性。
2022-01-20 cs.AI cs.LG
Revisiting the Softmax Bellman Operator: New Benefits and New Perspective
Duke University（杜克大学）；Baidu Research（百度研究院）
在强化学习（RL）中，softmax对价值函数本身的影响通常被认为是有问题的，因为它会导致次优值（或Q）函数，并干扰Bellman算子的收缩特性。令人惊讶的是，尽管存在这些问题，并且独立于其对探索的影响，softmax Bellman算子在与深度Q学习相结合时，在实践中会导致具有优越策略的Q函数，甚至优于其双Q学习对应物。为了更好地理解这种情况是如何发生的以及为什么会发生，我们重新审视了softmax Bellman算子的理论性质，并证明了$(i)$在逆温度参数下指数快速地收敛到标准Bellman算子，并且$(ii)$的Q函数与最优Q函数的距离是有界的。仅凭这些并不能解释其优越的性能，所以我们还表明，softmax算子可以减少高估误差，这可能会给一些洞察为什么一个次优算子导致更好的性能在存在价值函数近似。不同的贝尔曼运营商之间的比较，然后提出，显示选择它们时的权衡。
2019-05-19 cs.AI cs.LG stat.ML
Overcoming Valid Action Suppression in Unmasked Policy Gradient Algorithms
该研究揭示了未遮蔽策略梯度算法中有效动作抑制的机制，并通过实验验证了可行性分类在无需oracle遮蔽的部署中的有效性。
2026-03-10 cs.LG
GeMPO: Generalized Measure Matching for Online Diffusion Reinforcement Learning
Harvard University（哈佛大学）；Georgia Institute of Technology（佐治亚理工学院）
提出GeMPO框架，通过将扩散RL中的重加权从softmax推广到一般单调函数，并引入负重加权机制，以解决过贪策略和负样本利用不足的问题。
2026-05-24 cs.LG
Revisiting Design Choices in Proximal Policy Optimization
University of California, Berkeley（加州大学伯克利分校）
近端策略优化（PPO）是一种流行的深度策略梯度算法。在标准实现中，PPO使用裁剪概率比来正则化策略更新，并使用连续高斯分布或离散Softmax分布来参数化策略。这些设计选择被广泛接受，并受到MuJoCo和Atari基准测试的经验性能比较的激励。我们重新审视这些做法以外的制度，目前的基准，并暴露标准PPO的三种故障模式。我们解释了为什么标准的设计选择在这些情况下是有问题的，并表明替代目标和政策参数化的选择可以防止故障模式。我们希望我们的工作可以提醒人们，强化学习中的许多算法设计选择都与特定的模拟环境有关。我们不应该隐含地接受这些选择作为更一般算法的标准部分。
2020-09-23 cs.LG stat.ML
Policy gradient methods for ordinal policies
Essilor International（依视路国际）
针对softmax策略无法利用动作顺序信息的问题，提出基于序数回归模型的策略参数化方法，在真实应用和连续动作任务中验证了其有效性。
2025-06-23 cs.LG
Ordering-based Conditions for Global Convergence of Policy Gradient Methods
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）；Amazon（亚马逊）；University of Alberta（阿尔伯塔大学）
针对线性函数逼近的有限臂老虎机，本文证明策略梯度方法的全局收敛取决于策略更新与表示间的排序条件，而非逼近误差，并给出了NPG和Softmax PG全局收敛的充要或充分条件。
2025-04-02 cs.LG
GRADE: Replacing Policy Gradients with Backpropagation for LLM Alignment
Lotus Health AI（Lotus健康AI）
GRADE通过可微松弛的离散令牌采样过程替代策略梯度，实现大语言模型对齐的更稳定和高效方法。
2025-12-30 cs.AI cs.LG
Notes on Uniform Policy Score Bounds and Lipschitz Continuity for Truncated Gaussian, Product Cauchy, Boltzmann, and Softmax Policies
Xi’an Jiaotong University（西安交通大学）
该研究针对截断高斯、乘积柯西、玻尔兹曼及Softmax策略，在明确参数化下建立了均匀策略得分界与利普希茨连续性。
2026-10-14 cs.LG math.PR stat.ML
Primal-Dual Policy Optimization for Linear CMDPs with Adversarial Losses
Research Institute of Mathematics, Seoul National University（数学研究所，首尔国立大学）；Interdisciplinary Program in Artificial Intelligence, Seoul National University（人工智能跨学科项目，首尔国立大学）；Korea Institute for Advanced Study（韩国高级研究院）
本文提出了一种新的对偶策略优化算法，用于在线有限时间线性CMDP，解决了对抗性环境下的子线性遗憾和约束违反问题，通过引入加权LogSumExp softmax策略和定期策略混合技术实现。
2026-05-12 cs.LG
Towards Principled, Practical Policy Gradient for Bandits and Tabular MDPs
Simon Fraser University（西蒙菲莎大学）；SIERRA Project Team (Inria)（SIERRA项目团队（法国国家信息与自动化研究所））
本文针对老虎机和表格型MDP中的softmax策略梯度方法，提出利用Armijo线搜索和指数递减步长设计无需未知问题相关量的实用算法，在保持理论收敛保证的同时实现有竞争力的性能。
2024-09-30 cs.LG
Optimal Estimation of Off-Policy Policy Gradient via Double Fitted Iteration
Princeton University（普林斯顿大学）；Peking University（北京大学）
当我们不允许使用目标策略进行采样，而只能访问由某些未知行为策略生成的数据集时，策略梯度（PG）估计就成为一个挑战。传统的方法为关闭政策PG估计往往遭受要么显着的偏见或指数大的方差。本文提出了双重拟合PG估计（FPG）算法。FPG可以使用任意策略参数化，假设访问Bellman完全值函数类。在线性值函数近似的情况下，我们提供了一个严格的有限样本上界的政策梯度估计误差，这是由在特征空间中测量的分布失配量。我们还建立了FPG估计误差的渐近正态性与精确的协方差特征，这进一步表明是统计上最优的匹配Cramer-Rao下限。从经验上讲，我们使用softmax表格或ReLU策略网络来评估FPG在策略梯度估计和策略优化方面的性能。在各种指标下，我们的研究结果表明，FPG显着优于现有的非政策PG估计方法的基础上重要性抽样和方差减少技术。
2022-06-19 cs.LG stat.ML
A Policy Gradient Framework for Stochastic Optimal Control Problems with Global Convergence Guarantee
Duke University（杜克大学）
针对连续时间随机最优控制问题，提出策略梯度方法，分析其连续时间极限的梯度流，在正则性假设下证明全局收敛性并建立收敛速率，引入局部最优控制函数刻画迭代局部最优性。
2025-04-14 cs.LG cs.SY eess.SY
Last-Iterate Convergent Policy Gradient Primal-Dual Methods for Constrained MDPs
University of Pennsylvania（宾夕法尼亚大学）；University of Virginia（弗吉尼亚大学）；University of Maryland, College Park（马里兰大学帕克分校）
本文针对约束马尔可夫决策过程，提出RPG-PD和OPG-PD两种单时间尺度策略梯度原始-对偶算法，首次建立了策略末迭代的非渐近收敛性结果。
2024-01-17 cs.LG cs.SY eess.SY
Linear Convergence for Natural Policy Gradient with Log-linear Policy Parametrization
University of Oxford（牛津大学）
在无限时间折扣马氏决策过程中，我们分析了具有对数线性策略参数化的非正则化自然策略梯度算法的收敛速度。在确定性的情况下，当Q值是已知的，可以近似由一个已知的特征函数的线性组合的偏差误差，我们表明，几何增加的步长产生线性收敛速度向最优策略。然后，我们考虑基于样本的情况下，当一个已知的特征函数的线性组合的Q-价值函数的最佳表示是已知的估计误差。在这种设置中，我们表明，该算法享有相同的线性保证，在确定性的情况下，取决于估计误差，偏置误差，和特征协方差矩阵的条件数的误差项。我们的研究结果建立在政策镜像下降的一般框架，并将以前的研究结果softmax表格参数化的对数线性政策类。
2023-03-13 cs.LG math.OC math.ST
Convergence of Steepest Descent and Adam under Non-Uniform Smoothness
Simon Fraser University（西蒙弗雷泽大学）；Stony Brook University（石溪大学）
本文在非均匀光滑假设下，研究最速下降法及RMSProp和Adam的确定性对角变体的收敛率，证明在逻辑回归、softmax策略梯度等目标上符号梯度下降线性收敛且快于梯度下降，并在两层神经网络上证明RMSProp和Adam可线性收敛。
2026-05-28 cs.LG math.OC
On the Global Convergence of Risk-Averse Natural Policy Gradient Methods with Expected Conditional Risk Measures
Department of Integrated Systems Engineering, The Ohio State University（俄亥俄州立大学整合系统工程系）；Department of Electrical Engineering and Computer Science, University of Michigan（密歇根大学电气工程与计算机科学系）
本文提出了一种基于预期条件风险度量的风险规避自然策略梯度方法，证明其在随机环境中的全局收敛性并验证了其有效性。
2026-01-19 cs.LG math.OC stat.ML
Global Convergence of Policy Gradient Methods in Reinforcement Learning, Games and Control
Carnegie Mellon University（卡内基梅隆大学）
本文综述了强化学习、博弈与控制领域中具备全局收敛保证的策略梯度方法的最新研究进展，重点关注其有限时间收敛速率，回应了价值函数非凹导致的全局最优性难保证的问题。
2023-10-08 cs.GT cs.IT cs.LG
Convergence Guarantees of Policy Optimization Methods for Markovian Jump Linear Systems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近，由于对强化学习的兴趣越来越大，用于控制目的的策略优化重新受到关注。本文研究马尔可夫跳变线性系二次控制策略优化的收敛性。首先，我们研究的直接政策优化MJLS的优化景观，特别是，显示，尽管所产生的问题的非凸性的唯一固定点是全局最优解。接下来，我们证明了高斯-牛顿法和自然政策梯度法收敛到最优状态反馈控制器的MJLS在一个线性速率，如果初始化在一个控制器，稳定的闭环动态的均方意义。我们提出了一个新的李雅普诺夫参数来解决收敛性证明中的一个关键稳定性问题。最后，我们给出了一个数值例子来支持我们的理论。我们的工作为理解策略学习方法在控制未知MJLS上的性能带来了新的见解。
2020-02-10 cs.LG cs.SY eess.SY
Computational Hardness of Reinforcement Learning with Partial $q^π$-Realizability
University of Alberta（阿尔伯塔大学）
本文研究部分$q^π$-可实现性下强化学习的计算复杂度，通过归约证明该设定下学习$ε$-最优策略具有NP难度和指数下界，表明该框架下通常无法获得正面计算结果。
2025-10-24 cs.AI cs.CC cs.LG
Policy Optimization for Markovian Jump Linear Quadratic Control: Gradient-Based Methods and Global Convergence
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近，由于对强化学习的兴趣越来越大，用于控制目的的策略优化重新受到关注。本文研究离散马尔可夫跳变线性系二次最优控制的基于梯度的策略最优化方法的整体收敛性。首先，我们研究了MJLS的直接策略优化的优化景观，静态状态反馈控制器和二次性能成本。尽管结果问题的非凸性，我们仍然能够确定几个有用的属性，如bandwidth，梯度优势，几乎光滑。基于这些性质，我们证明了三种策略最优化方法的整体收敛：梯度下降法，高斯-牛顿法和自然策略梯度法。我们证明了这三种方法收敛到最优的状态反馈控制器MJLS在一个线性的速度，如果初始化在一个控制器，这是均方稳定。给出了一些数值例子来支持理论。这项工作带来了新的见解，了解性能的政策梯度法的马尔可夫跳跃线性二次控制问题。
2020-11-24 cs.LG cs.SY eess.SY
Convergence and Optimality of Policy Gradient Methods in Weakly Smooth Settings
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
策略梯度方法已被频繁地应用于控制和强化学习中的问题，并取得了巨大的成功，然而现有的收敛分析仍然依赖于非直观的，不切实际的，往往是不透明的条件。特别是，现有的比率是在有限的环境中，在严格的规律性条件下实现的。在这项工作中，我们建立了明确的策略梯度方法的收敛速度，扩展的收敛制度，弱光滑的政策类$L_2$可积梯度。我们提供直观的例子来说明这些新条件背后的洞察力。值得注意的是，我们的分析还表明，在这些假设下，标准策略梯度和自然策略梯度算法的收敛速度是可以实现的。最后，我们为融合策略提供性能保证。
2022-04-07 cs.AI cs.LG cs.SY
On Linear Convergence of Policy Gradient Methods for Finite MDPs
Columbia University（哥伦比亚大学）；Simons Institute, UC Berkeley（加州大学伯克利分校西蒙斯研究所）
我们在最简单的设置之一中重新审视了策略梯度方法的有限时间分析：有限状态和动作MDP，其策略类由所有随机策略组成，并具有精确的梯度评估。最近有一些工作将此设置视为平滑非线性优化问题的实例，并显示出具有小步长的次线性收敛率。在这里，我们采取了不同的角度与政策迭代的连接的基础上，并表明，许多变种的策略梯度方法成功地与大的步长，并达到线性收敛速度。
2021-12-13 cs.LG math.OC stat.ML
Neural Policy Gradient Methods: Global Optimality and Rates of Convergence
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
策略梯度方法与行动者-批评者方案展示了巨大的经验成功，特别是当行动者和批评者被神经网络参数化时。然而，仍然不太清楚这种“神经”策略梯度方法是否收敛到全局最优策略，以及它们是否收敛。我们在过度参数化的制度中肯定地回答了这两个问题。详细地，我们证明了神经自然策略梯度以次线性速率收敛到全局最优策略。此外，我们表明，神经香草策略梯度次线性收敛到一个稳定点。同时，通过将不动点的次优性与神经元的表现能力联系起来，证明了在弱正则性条件下所有不动点的全局最优性.特别是，我们证明了全局最优性和收敛性的关键是演员和评论家之间的“兼容性”，这是通过共享神经架构和随机初始化演员和评论家来确保的。据我们所知，我们的分析建立了第一个全局最优性和收敛保证神经策略梯度方法。
2019-11-12 cs.LG math.OC stat.ML
A Novel Framework for Policy Mirror Descent with General Parameterization and Linear Convergence
University of Oxford（牛津大学）；Stellantis（斯泰兰蒂斯集团）
本文提出基于镜像下降的策略优化新框架，适应一般参数化，首次保证一般参数化策略梯度方法的线性收敛，并在浅层神经网络下改进了样本复杂度。
2024-02-13 cs.LG math.OC math.ST
Optimization Issues in KL-Constrained Approximate Policy Iteration
DeepMind（深度思维）；Google（谷歌）；University of Alberta（阿尔伯塔大学）
许多强化学习算法可以被视为近似策略迭代（API）的版本。虽然标准API通常表现不佳，但已经表明，通过将每个策略更新规则化到前一个策略的KL发散，可以稳定学习。流行的实用算法，如TRPO，MPO和VMPO，通过对连续策略的KL发散的约束来取代正则化，认为这更容易实现和调整。在这项工作中，我们更详细地研究这种实现选择。我们比较使用KL散度作为约束与作为正则化，并指出了几个优化问题与广泛使用的约束方法。我们表明，约束算法不能保证收敛，即使在简单的问题的情况下，约束问题可以得到精确的解决，实际上会招致线性预期遗憾。通过使用softmax策略的近似实现，我们证明了正则化可以改善原始目标的优化效果。我们证明了这些问题的经验上几个强盗和RL环境。
2021-02-11 cs.LG stat.ML
Linear Convergence of Entropy-Regularized Natural Policy Gradient with Linear Function Approximation
RWTH Aachen University（亚琛工业大学）；ETH Zurich（苏黎世联邦理工学院）
本文研究了熵正则化自然策略梯度在函数逼近下的线性收敛性，证明了其在正则化马尔可夫决策过程中具有线性收敛特性。
2024-02-08 cs.LG math.OC stat.ML
Actor-Critic Algorithm for Dynamic Expectile and CVaR
GERAD & Department of Decision Sciences, HEC Montréal, Canada（GERAD与决策科学系，蒙特利尔HEC学院，加拿大）；Mila - Quebec AI Institute, Canada（魁北克AI研究所，加拿大）
本文提出一种无需转移扰动的softmax策略参数化 surrogate 政策梯度方法，开发了基于elicitability的模型无关价值学习方法，并构建了模型无关的off-policy actor-critic算法，实验证明其在风险规避行为领域表现优异。
2026-05-08 cs.LG
Revisiting the Gumbel-Softmax in MADDPG
University of Edinburgh（爱丁堡大学）
针对MADDPG中Gumbel-Softmax估计器的统计偏差导致其在离散网格世界场景表现不佳的问题，本文探索并集成多种替代估计器，发现其中一种可使收益最高提升55%且收敛更快。
2023-06-14 cs.AI cs.LG cs.MA
A Convergent Off-Policy Temporal Difference Algorithm
Indian Institute of Science（印度科学学院）
从不同策略（行为策略）获得的数据样本中学习给定策略（目标策略）的价值函数是强化学习（RL）中的一个重要问题。在非政策预测的背景下研究了该问题。时间差分（TD）学习算法是一类用于解决预测问题的流行算法。TD算法与线性函数近似被证明是收敛的样本时，产生的目标政策（称为对政策的预测）。然而，在文献中已经很好地建立了线性函数近似下的非策略TD算法发散。在这项工作中，我们提出了一个收敛的在线离线政策TD算法下的线性函数逼近。其主要思想是惩罚的方式，以确保迭代的收敛算法的更新。我们提供了我们的算法的收敛性分析。通过数值计算，进一步证明了算法的有效性.
2019-11-13 cs.LG stat.ML
