Distributed off-Policy Actor-Critic Reinforcement Learning with Policy Consensus
Department of Mechanical Engineering and Materials Science, Duke University（杜克大学机械工程与材料科学系）；Duke University（杜克大学）
在本文中，我们提出了一个分布式的off-policy演员评论方法来解决多智能体强化学习问题。具体来说，我们假设所有的代理保持本地估计的全局最优的政策参数和更新其本地价值函数估计独立。然后，我们引入了一个额外的共识步骤，让所有的代理渐近达成协议的全局最优策略函数。给出了算法的收敛性分析，并通过分布式资源分配实例验证了算法的有效性。相对于相关的分布式演员评论家的方法，在这里的代理不共享有关他们的本地任务的信息，而是他们协调估计的全球政策功能。
2019-03-21 cs.AI cs.LG math.OC
Policy Optimization for Continuous Reinforcement Learning
Columbia University（哥伦比亚大学）
本文研究连续时间与空间中的强化学习，提出折扣目标的占用时间概念，推导性能差异与局部近似公式，并将其扩展至PG和TRPO/PPO方法，通过数值实验验证了有效性与优势。
2023-10-18 cs.LG math.OC
Anchor-Changing Regularized Natural Policy Gradient for Multi-Objective Reinforcement Learning
Texas A&M University（得克萨斯农工大学）
我们研究多个回报价值函数的马尔可夫决策过程（MDP）的策略优化，这些回报函数根据给定的标准，如比例公平性（光滑凹标量化），硬约束（约束MDP），和最大最小的权衡进行联合优化。我们提出了一个变锚正则化自然策略梯度（ARNPG）框架，它可以系统地将性能良好的一阶方法的思想融入到多目标MDP问题的策略优化算法的设计中。理论上，基于ARNPG框架设计的算法实现了$\tilde{O}(1/T)$的全局收敛性和精确梯度。从经验上讲，ARNPG引导的算法也表现出优越的性能相比，一些现有的策略梯度为基础的方法，在精确的梯度和基于样本的情况下。
2022-10-18 cs.LG math.OC
Global Convergence of Direct Policy Search for State-Feedback $\mathcal{H}_\infty$ Robust Control: A Revisit of Nonsmooth Synthesis with Goldstein Subdifferential
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
直接策略搜索在现代强化学习和连续控制中有着广泛的应用。然而，直接策略搜索在非光滑鲁棒控制综合中的理论性质还没有完全理解。最优$\mathcal{H}_\infty$控制框架的目的是设计一种策略，以最小化闭环$\mathcal{H}_\infty$范数，可以说是最基本的鲁棒控制范例。在这项工作中，我们表明，直接的政策搜索是保证找到鲁棒$\mathcal{H}_\infty$状态反馈控制设计问题的全局解。注意，最优$\mathcal{H}_\infty$控制的策略搜索导致约束非凸非光滑最优化问题，其中非凸可行集由稳定闭环动态的所有策略组成。我们证明了对于这个非光滑最优化问题，所有的Clarke平稳点都是全局最小值.其次，我们确定了闭环$\mathcal{H}_\infty$目标函数的连续性，并证明了由此产生的策略搜索问题的所有子水平集是紧的。基于这些性质，我们表明，Goldstein的次梯度法及其可实现的变种可以保证留在非凸可行集，并最终找到全局最优解的$\mathcal{H}_\infty$状态反馈综合问题。我们的工作建立了一个新的连接之间的非凸非光滑最优化理论和鲁棒控制，导致一个有趣的整体收敛的结果直接政策搜索最佳$\mathcal{H}_\infty$合成。
2022-10-20 cs.LG cs.SY eess.SY
Global Convergence of Policy Gradient Methods in Reinforcement Learning, Games and Control
Carnegie Mellon University（卡内基梅隆大学）
本文综述了强化学习、博弈与控制领域中具备全局收敛保证的策略梯度方法的最新研究进展，重点关注其有限时间收敛速率，回应了价值函数非凹导致的全局最优性难保证的问题。
2023-10-08 cs.GT cs.IT cs.LG
Efficient Action Robust Reinforcement Learning with Probabilistic Policy Execution Uncertainty
University of California, Davis（加州大学戴维斯分校）；Northwestern University（西北大学）
本文研究带概率策略执行不确定性的动作鲁棒强化学习问题，证明最优策略存在性并给出Bellman最优方程，提出ARRLC算法实现极小极大最优遗憾与样本复杂度，实验验证其在动作扰动下性能更优、收敛更快。
2023-07-20 cs.AI cs.LG math.OC
Distributed Policy Gradient with Variance Reduction in Multi-Agent Reinforcement Learning
Tongji University（同济大学）
本文研究了协作多智能体强化学习（MARL）中的分布式策略梯度，其中通信网络上的智能体的目标是找到最优策略以最大化所有智能体的局部收益的平均值。由于策略梯度的非凹性能函数，现有的凸问题分布式随机优化方法无法直接用于MARL中的策略梯度。针对策略梯度方差较大的问题，提出了一种具有方差缩减和梯度跟踪的分布式策略梯度，并利用重要性权重解决了抽样过程中的{分布偏移}问题。然后，我们提供了一个上界的均方固定间隙，这取决于迭代次数，小批量的大小，历元的大小，问题的参数，和网络拓扑结构。我们进一步建立了样本和通信复杂性，以获得一个$ε$ -近似稳定点。数值实验验证了算法的有效性。
2022-12-02 cs.LG cs.MA math.OC
Bridging Physics-Informed Neural Networks with Reinforcement Learning: Hamilton-Jacobi-Bellman Proximal Policy Optimization (HJBPPO)
University of Waterloo（滑铁卢大学）
将Hamilton-Jacobi-Bellman近端策略优化（HJBPPO）算法引入到强化学习中。Hamilton-Jacobi-Bellman（HJB）方程在控制理论中用于评估价值函数的最优性。我们的工作将HJB方程与连续状态和动作空间中的强化学习相结合，以改善价值网络的训练。我们将价值网络视为物理信息神经网络（PINN），通过精确计算其对输入的导数来求解HJB方程。近端策略优化（PPO）-裁剪算法是利用该实现改进的，因为它使用价值网络来计算其策略网络的目标函数。HJBPPO算法在MuJoCo环境中显示出比PPO更好的性能。
2023-02-01 cs.AI cs.LG cs.NA
Algorithmic Optimality Guarantees for Nonsmooth $H_\infty$ Output-Feedback Policy Search
针对非光滑 $H_\infty$ 输出反馈策略搜索，证明在扩展凸提升的精确切片上 $\varepsilon$-平稳性导致 $O(\varepsilon)$-次优性，给出收敛速率保证，并提出二分法构造显式 $\varepsilon$-最优镇定控制器。
2026-09-10 cs.LG cs.SY eess.SY
Mixed $\mathcal{H}_2/\mathcal{H}_\infty$-Policy Learning Synthesis
本文提出一种无模型混合 $\mathcal{H}_2/\mathcal{H}_\infty$ 鲁棒稳定最优控制策略，通过 Itô 随机微分计算在零和微分博弈中迭代求解广义代数 Riccati 方程，以克服传统策略优化收敛慢且不鲁棒的问题。
2023-04-17 cs.SY eess.SY math.OC
Global Convergence of Localized Policy Iteration in Networked Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；Duke University（杜克大学）；California Institute of Technology（加州理工学院）
我们研究了一个多智能体强化学习（MARL）问题，其中的代理在一个给定的网络进行交互。代理的目标是合作最大化他们的熵正则化的长期奖励的平均值。为了克服维数灾难和减少通信，我们提出了一个局部化的政策迭代（LPI）算法，可证明学习一个接近全局最优的政策，只使用本地信息。特别是，我们表明，尽管限制每个代理的注意力，只有其$κ$跳邻域，代理能够学习的政策与最优性的差距，衰减多项式在$κ$。此外，我们展示了有限样本收敛的LPI的全局最优策略，明确地捕获之间的权衡选择$κ$的最优性和计算复杂性。数值仿真验证了LPI的有效性。
2022-11-30 cs.AI cs.LG cs.MA
Reinforcement Learning for Adaptive Optimal Stationary Control of Linear Stochastic Systems
New York University（纽约大学）
本文研究了具有加性和乘性噪声的连续时间线性随机系统的自适应最优平稳控制问题。基于策略迭代，提出了一种新的非策略强化学习算法--基于乐观最小二乘的策略迭代算法，该算法能够从初始容许控制策略出发，直接从输入/状态数据中迭代找到自适应最优平稳控制问题的近优策略，而无需显式地识别任何系统矩阵.在较弱的条件下，证明了所提出的基于最小二乘的策略迭代算法的解以概率1收敛到最优解的一个小邻域内。通过对三级倒立摆系统的仿真，验证了该算法的可行性和有效性。
2021-12-05 cs.LG cs.SY eess.SY
Policy Gradient using Weak Derivatives for Reinforcement Learning
Cornell University（康奈尔大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
本文考虑连续状态-动作强化学习问题中的策略搜索。通常，使用称为策略梯度定理的策略梯度的经典表达式来计算搜索方向，该定理将价值函数的梯度分解为两个因子：得分函数和Q函数。本文给出了四个结果：（i）一个可供选择的策略梯度定理（ii）证明了由此导出的随机梯度估计是无偏的，并给出了几乎必然收敛到强化学习问题的非凸价值函数的稳定点的算法;（iii）推导了该算法的样本复杂度，并证明了其为$O(1/\sqrt(k))$ ;（iv）最后，证明了用弱导数得到的梯度估计的期望方差低于用流行的得分函数方法得到的梯度估计。在OpenAI健身房摆环境下的实验表明，该算法具有较好的性能。
2020-04-09 cs.LG cs.MA cs.SY
Proximal Reinforcement Learning: Efficient Off-Policy Evaluation in Partially Observed Markov Decision Processes
在将离线强化学习应用于观察数据时，例如在医疗保健或教育中，普遍关注的是观察到的行为可能会受到未观察到的因素的影响，从而导致在完美马尔可夫决策过程（MDP）模型假设下得出的混淆和偏差估计。在这里，我们通过考虑部分观察MDP（POMDP）中的政策外评估来解决这个问题。具体来说，我们考虑估计一个给定的目标政策的值在POMDP给定的轨迹，只有部分状态观测产生的不同的和未知的政策，可能取决于未观察到的状态。我们解决两个问题：什么条件下，让我们从观察到的数据，并确定目标的政策价值，给定的识别，如何最好地估计它。为了回答这些问题，我们扩展的框架，近端因果推理我们的POMDP设置，提供了各种设置，其中识别是可能的存在所谓的桥梁功能。然后，我们将展示如何在这些设置中构建半参数有效估计。我们将由此产生的框架称为近端强化学习（PRL）。我们证明了PRL的好处，在一个广泛的模拟研究和脓毒症管理的问题。
2023-03-22 cs.LG math.OC math.ST
