Policy Optimality Measurement for Multi-Vehicle Decision-Making: From Extrinsic Indicators to Intrinsic Quality
School of Automotive Studies, Tongji University(同济大学汽车学院)
该研究针对自动驾驶多智能体强化学习策略的黑箱评估问题,提出基于MCTS的信息论诊断框架,构建策略最优性评分以精准暴露策略缺陷,为内在多智能体策略质量提供严格基准标准。
2026-08-04 cs.AI cs.LG
Convergence and Optimality of Policy Gradient Methods in Weakly Smooth Settings
University of Toronto(多伦多大学);Vector Institute(向量研究所)
策略梯度方法已被频繁地应用于控制和强化学习中的问题,并取得了巨大的成功,然而现有的收敛分析仍然依赖于非直观的,不切实际的,往往是不透明的条件。特别是,现有的比率是在有限的环境中,在严格的规律性条件下实现的。在这项工作中,我们建立了明确的策略梯度方法的收敛速度,扩展的收敛制度,弱光滑的政策类$L_2$可积梯度。我们提供直观的例子来说明这些新条件背后的洞察力。值得注意的是,我们的分析还表明,在这些假设下,标准策略梯度和自然策略梯度算法的收敛速度是可以实现的。最后,我们为融合策略提供性能保证。
2022-04-07 cs.AI cs.LG cs.SY
On the Global Optimality of Policy Gradient Methods in General Utility Reinforcement Learning
Singapore University of Technology and Design(新加坡科技设计大学);University of Maryland-College Park(马里兰大学-College Park分校);University of Central Florida(佛罗里达中央大学)
本文为一般效用强化学习中的策略梯度方法建立了全局最优性保证,覆盖表格和大规模设置,并提出了基于函数逼近的样本复杂度改进。
2025-10-23 cs.AI cs.LG
The Local Optimality of Reinforcement Learning by Value Gradients, and its Relationship to Policy Gradient Learning
City University London(伦敦城市大学)
在这篇理论论文中,我们关注的问题,学习一个价值函数的光滑一般函数逼近器,解决一个确定性的情节控制问题在一个大的连续状态空间。结果表明,学习值函数的梯度在每一个点沿着轨迹产生的贪婪的政策是一个充分条件的轨迹是局部极值,往往是局部最优的,我们认为,这带来了更高的效率值函数学习。这与传统的值函数学习形成对比,在传统的值函数学习中,值函数必须在整个状态空间上学习。它也证明了,政策梯度学习应用于一个贪婪的政策价值函数产生的权重更新相当于一个价值梯度权重更新,这提供了一个令人惊讶的连接之间的这两个替代范例的强化学习,和收敛证明控制问题的价值函数表示的一般光滑函数逼近。
2011-01-02 cs.AI cs.LG
On Optimality of Greedy Policy for a Class of Standard Reward Function of Restless Multi-armed Bandit Problem
Wuhan University of Technology(武汉理工大学);University of Paris-Sud XI(巴黎第十一大学)
针对非稳态多臂赌博机问题,通过分析一类标准奖励函数,建立了保证贪婪策略在折扣期望奖励准则下最优性的折扣因子闭式条件,并验证了其在认知无线电网络中的有效性。
2011-04-28 cs.LG cs.SY eess.SY
On the Convergence of Approximate and Regularized Policy Iteration Schemes
Criteo AI Lab(科韬人工智能实验室)
熵正则化算法(如Soft Q-learning和Soft Actor-Critic)最近在许多具有挑战性的强化学习(RL)任务上表现出最先进的性能。正则化公式修改了标准RL目标,因此通常会收敛到与原始RL问题的最佳贪婪策略不同的策略。在实际应用中,控制正则化最优策略的次优性是非常重要的。在本文中,我们建立了一个大类的正则化动态规划算法的收敛性的充分条件,统一下正则化修改策略迭代(MPI)和保守值迭代(VI)计划。我们提供了明确的收敛速度的最优性依赖于正则化参数的下降率。我们的实验表明,经验误差密切遵循既定的理论收敛速度。除了最优性,我们证明了正则化算法的两个理想的行为,即使在没有近似:鲁棒性随机环境和安全的轨迹引起的政策迭代。
2019-10-14 cs.LG stat.ML
On the Theory of Policy Gradient Methods: Optimality, Approximation, and Distribution Shift
Microsoft Research(微软研究院);University of Washington(华盛顿大学);Princeton University(普林斯顿大学);University of California San Diego(加州大学圣地亚哥分校)
策略梯度方法是解决具有大状态和/或动作空间的强化学习问题的最有效方法之一。然而,人们对它们最基本的理论收敛性质知之甚少,包括:它们是否收敛到全局最优解以及收敛速度有多快,或者它们如何处理由于使用一类受限的参数策略而导致的近似误差。这项工作提供了可证明的表征的计算,近似,和样本大小属性的策略梯度方法的背景下,折扣马尔可夫决策过程(MDP)。我们专注于两者:“表格”策略参数化,其中最优策略包含在类中,并且我们显示全局收敛到最优策略;和参数策略类(考虑对数线性和神经策略类),其可能不包含最优策略,并且我们提供不可知的学习结果。这项工作的一个核心贡献是在提供近似保证,是平均情况下-避免明确的最坏情况下的依赖关系的状态空间的大小-通过正式连接到监督学习下分布偏移。这种表征显示了估计误差、近似误差和探索(通过精确定义的条件数表征)之间的重要相互作用。
2020-10-14 cs.LG stat.ML
Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality
The Ohio State University(俄亥俄州立大学);Princeton University(普林斯顿大学);Northwestern University(西北大学)
设计非策略强化学习算法通常是一项非常具有挑战性的任务,因为期望的迭代更新通常涉及对策略分布的期望。现有的非策略行动者-批评者(AC)算法已经引入了一种新的批评者,该批评者使用密度比来调节分布失配以稳定收敛,但是由于密度比和价值函数两者的估计误差而潜在地引入高偏差。在本文中,我们开发了一个双重强大的关闭政策AC(DR-关闭PAC)折扣MDP,它可以利用学习滋扰功能,以减少估计误差。此外,DR-Off-PAC采用单时间尺度结构,其中演员和评论家都以恒定的步长同时更新,因此比采用两个时间尺度或嵌套循环结构的现有算法更具样本效率。研究了DR-Off-PAC算法的有限时间收敛速度和样本复杂度,以获得$ε$ -精确的最优策略.我们还表明,DR-Off-PAC的整体收敛性对仅取决于逼近函数的表达能力的逼近误差具有双重鲁棒性。据我们所知,我们的研究建立了第一个整体样本复杂性分析一个单一的时间尺度的政策外AC算法。
2021-07-18 cs.LG stat.ML
Meta-Reinforcement Learning with Universal Policy Adaptation: Provable Near-Optimality under All-task Optimum Comparator
School of Electrical Engineering and Computer Science(电气工程与计算机科学学院);The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出一种用于元强化学习的双层优化框架BO-MRL,通过一次数据收集实现多步策略优化以学习元先验,并提供了期望最优性差距上界的理论分析与实证验证。
2024-10-13 cs.LG
Near Optimal Policy Optimization via REPS
UC Berkeley(加州大学伯克利分校);Stanford(斯坦福大学);Google Research(谷歌研究院)
自十年前推出以来,\emph{relative entropy policy search}(REPS)已经在许多模拟和真实世界的机器人领域展示了成功的策略学习,更不用说提供了许多最近提出的强化学习(RL)算法所使用的算法组件。虽然REPS在社区中广为人知,但在使用随机和基于梯度的求解器时,其性能没有保证。在本文中,我们的目标是填补这一空白,提供保证和收敛速度的次最优的政策学习使用一阶优化方法应用于REPS目标。我们首先考虑的设置中,我们被赋予访问精确的梯度,并演示如何接近最优的目标转化为接近最优的政策。然后,我们考虑随机梯度的实际设置,并介绍了一种技术,使用\emph{generative}访问底层马尔可夫决策过程计算参数更新,保持良好的收敛到最佳的正则化政策。
2021-03-17 cs.AI cs.LG
Sample Efficient Model-free Reinforcement Learning from LTL Specifications with Optimality Guarantees
University of Oxford(牛津大学)
本文提出一种无模型强化学习方法,通过新颖的乘积MDP、奖励结构和折扣机制,结合概率模型检测器PRISM评估,在未知随机系统中高效学习满足LTL规范的最优策略,并提供了改进的理论保证与实验验证。
2023-05-03 cs.AI cs.FL cs.LG
Performative Policy Gradient: Optimality in Performative Reinforcement Learning
Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189 – CRIStAL F-59000 Lille, France(里尔大学、法国国家信息与自动化研究所、法国国家科学研究中心、里尔中央理工大学、UMR 9189 – CRIStAL);ACMU, Indian Statistical Institute, Kolkata - 700108, India(ACMU、印度统计研究所)
本文提出PePG算法,首次在强化学习中考虑表现性因素,证明其收敛于表现性最优策略,优于现有稳定性导向的算法。
2026-02-02 cs.AI cs.LG math.OC
Global Optimality and Finite Sample Analysis of Softmax Off-Policy Actor Critic under State Distribution Mismatch
University of Virginia(弗吉尼亚大学);Microsoft Research Montreal(微软研究院蒙特利尔分)
本文在状态分布不匹配且不使用密度比校正的条件下,证明了表格设定中离策略Softmax Actor-Critic算法的全局最优性和收敛速率,核心贡献是基于一致压缩性质对时间非齐次马尔可夫链上随机逼近算法进行有限样本分析。
2025-02-06 cs.LG
Regret Analysis of a Markov Policy Gradient Algorithm for Multi-arm Bandits
University of Manchester(曼彻斯特大学)
本文考虑了一个求解有限臂强盗问题的策略梯度算法。我们允许学习率取决于算法的当前状态,而不是使用确定性的时间递减的学习率。算法的状态在概率单纯形上形成一个马尔可夫链。我们应用福斯特-李雅普诺夫技术来分析这个马尔可夫链的稳定性。我们证明了,如果学习率是很好的选择,那么策略梯度算法是一个瞬态马尔可夫链和链的状态收敛于最佳臂对数或多对数遗憾。
2021-09-23 cs.LG stat.ML
On the Optimality of Batch Policy Optimization Algorithms
University of Alberta(阿尔伯塔大学);Carnegie Mellon University(卡内基梅隆大学);Google Research, Brain Team(谷歌研究院,大脑团队);DeepMind;Amazon(亚马逊)
批量策略优化考虑在与环境交互之前利用现有数据进行策略构建。虽然近年来对这个问题的兴趣显著增加,但其理论基础仍然不发达。为了提高对这个问题的理解,我们提供了三个结果,其特点的限制和可能性的批处理策略优化的有限武装随机土匪设置。首先,我们介绍了一类信心调整的指数算法,统一的乐观和悲观的原则,在一个共同的框架,这使得一般的分析。对于这个家庭,我们表明,任何信心调整指数算法是最小最大最优的,无论是乐观的,悲观的或中立的。我们的分析表明,依赖于实例的最优性,通常用于建立在线随机强盗算法的最优性,不能实现任何算法在批量设置。特别是,对于在某些环境中表现最佳的任何算法,存在另一种环境,在这种环境中,相同的算法遭受任意更大的遗憾。因此,为了建立一个框架,区分算法,我们引入了一个新的加权极大极小准则,认为固有的困难的最优值预测。我们演示了如何使用这个标准来证明常用的批处理策略优化的悲观原则。
2021-04-06 cs.LG
Low-Complexity Policy Tessellations in Structured Markov Decision Processes
Inria(法国国家信息与自动化技术研究所);University of Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工大学);Villeneuve-d’Ascq, France(法国里尔大学城)
研究结构化MDP中最优策略的几何特性,提出基于边界的策略近似方法,直接学习策略区域,并通过策略损失分解解释误差集中在无差异边界附近。实验表明该方法在策略误差、价值差距、误差衰减和稳定性上优于强化学习基线。
2026-06-25 cs.AI cs.LG
On Bellman's principle of optimality and Reinforcement learning for safety-constrained Markov decision process
Aalborg University(奥尔堡大学)
针对安全约束 CMDP 中多链结构导致 Bellman 最优性原理失效的问题,本文将多目标优化转化为零和博弈,提出异步值迭代与改进 $Q$-learning,并给出迭代下界和误差界。
2023-07-12 cs.LG cs.SY eess.SY
Local Optimization Achieves Global Optimality in Multi-Agent Reinforcement Learning
Princeton University(普林斯顿大学);Yale University(耶鲁大学);Northwestern University(西北大学)
本文提出多智能体PPO算法,利用局部动作价值函数作为下降方向,在合作马尔可夫博弈中证明其以次线性速率收敛至全局最优,并扩展至离策略设置。
2023-05-08 cs.GT cs.LG cs.MA
Finite Sample Analysis of the GTD Policy Evaluation Algorithms in Markov Setting
Beijing Jiaotong University(北京交通大学);Microsoft Research(微软研究院);Chinese Academy of Sciences(中国科学院)
在强化学习(RL)中,关键组件之一是策略评估,其旨在估计价值函数(即,长期积累的回报)。有了好的策略评估方法,强化学习算法可以更准确地估计价值函数,从而找到更好的策略。当状态空间较大或连续时,采用线性函数逼近的\emph{Gradient-based Temporal Difference(GTD)}策略评估算法被广泛使用。考虑到评估数据的收集既费时又费力,对策略评估算法的有限样本性能有一个清晰的认识对强化学习非常重要。假设数据是独立同分布的。产生的,以前的工作提供了有限样本分析的GTD算法的恒定步长,将它们转换成凹凸鞍点问题。然而,众所周知,数据是从马尔可夫过程而不是i.i.d.生成的。在RL问题中。本文在现实马尔可夫环境下,给出了一般凸凹鞍点问题的有限样本界,从而也给出了GTD算法的有限样本界。我们有以下讨论基于我们的界限。(1)随着步长的变化,GTD算法收敛。(2)收敛速度由步长决定,系数为马尔可夫过程的混合时间。马尔可夫过程混合越快,收敛越快。(3)我们解释了经验重放技巧是有效的,通过改善混合性质的马尔可夫过程。据我们所知,我们的分析是第一个提供有限样本的马尔可夫设置的GTD算法的界限。
2018-09-21 cs.AI cs.LG math.OC
Algorithmic Optimality Guarantees for Nonsmooth $H_\infty$ Output-Feedback Policy Search
针对非光滑 $H_\infty$ 输出反馈策略搜索,证明在扩展凸提升的精确切片上 $\varepsilon$-平稳性导致 $O(\varepsilon)$-次优性,给出收敛速率保证,并提出二分法构造显式 $\varepsilon$-最优镇定控制器。
2026-09-10 cs.LG cs.SY eess.SY
Bounds on sample size for policy evaluation in Markov environments
强化学习是指在不了解环境动态的情况下,在马尔可夫环境中找到最优的行动方案。该领域中使用的随机优化算法依赖于对策略值的估计。通常,策略的值是根据在环境中模拟该策略的结果来估计的。这种方法需要大量的模拟,因为要考虑政策空间中的不同点。在本文中,我们开发了价值估计器,利用使用一种策略时收集的数据来估计使用另一种策略的价值,从而产生更有效的数据算法。我们考虑的问题,积累了足够的经验,并给出PAC式的界限。
2001-05-17 cs.AI cs.CC cs.LG
Policy Evaluation with Variance Related Risk Criteria in Markov Decision Processes
The Technion - Israel Institute of Technology(以色列理工学院)
在本文中,我们扩展的时间差的政策评估算法的性能标准,包括方差的累积奖励。这些标准对风险管理很有用,在财务和流程控制等领域也很重要。我们提出了TD(0)和LSTD(lambda)变量与线性函数逼近,证明了它们的收敛性,并证明了它们在4维连续状态空间问题中的实用性。
2013-01-01 cs.LG stat.ML
Linear-Quadratic Zero-Sum Mean-Field Type Games: Optimality Conditions and Policy Optimization
Department of Operations Research and Financial Engineering, Princeton University(普林斯顿大学运筹学与金融工程系)
本文研究了无限时间折扣效用函数下具有线性动态和二次费用的零和平均场型对策。ZSMFTG是一类博弈,其中两个效用总和为零的决策者竞争影响大量不可区分的代理人。特别是,在这种情况下,过渡和效用函数依赖于状态,控制器的动作,和状态和动作的平均值,进行了研究。分析了开环控制和闭环控制下博弈的最优性条件,并给出了纳什均衡策略的显式表达式。此外,两个策略最优化方法,依赖于策略梯度提出了基于模型和基于样本的框架。在基于模型的情况下,使用模型精确地计算梯度,而在基于样本的情况下,使用蒙特卡罗模拟来估计梯度。数值实验表明,效用函数的收敛性以及两个球员的控制。
2020-09-01 cs.GT cs.LG math.OC
Regret Analysis of Policy Gradient Algorithm for Infinite Horizon Average Reward Markov Decision Processes
Purdue University(普渡大学)
本文针对无限时域平均奖励MDP,提出通用策略梯度算法,证明其全局收敛性,并首次给出$\tilde{\mathcal{O}}({T}^{3/4})$的遗憾界。
2024-02-02 cs.AI cs.LG
Policy Gradient Methods for Non-Markovian Reinforcement Learning
Department of Computer Science and Automation, Indian Institute of Science(印度科学研究院计算机科学与自动化系);Department of Electrical Engineering, Stanford University(斯坦福大学电气工程系);Department of Electrical and Electronics Engineering, Nanyang Technological University(南洋理工大学电气与电子工程系);CMAP, CNRS, École polytechnique, Institut Polytechnique d́e Paris(巴黎理工学院先进材料与工艺中心、国家科学研究中心、巴黎理工学院)
本文研究非马尔可夫决策过程中的策略梯度方法,提出基于奖励的策略优化框架,通过递归更新内部状态提升非马尔可夫任务性能。
2026-05-11 cs.AI cs.LG
Safe Reinforcement Learning via Projection on a Safe Set: How to Achieve Optimality?
Norwegian University of Technology, NTNU(挪威科技大学);IMT School for Advanced Studies Lucca(卢卡IMT高等研究院)
尽管强化学习(RL)取得了巨大的成功,但它仍然很难为学习策略的闭环行为提供正式的保证。除此之外,保证RL相对于安全关键系统的安全性是一个非常活跃的研究课题。最近的一些贡献建议依赖于学习策略提供的输入到安全集的预测,确保系统安全性永远不会受到危害。不幸的是,目前还不清楚是否可以在不中断学习过程的情况下执行此操作。本文探讨了这一问题。这个问题进行了分析的上下文中的$Q$ -学习和政策梯度技术。我们表明,投影方法通常是破坏性的背景下,$Q$ -学习虽然一个简单的替代方案解决了这个问题,而简单的校正可以使用的政策梯度方法的背景下,以确保政策梯度是公正的。所提出的结果扩展到安全的预测鲁棒MPC技术的基础上。
2020-04-02 cs.AI cs.LG cs.SY
Minimax Optimality and Spectral Routing for Majority-Vote Ensembles under Markov Dependence
Department of Computer Science, Iowa State University(爱荷华州立大学计算机科学系);Department of Civil, Construction & Environmental Engineering, Iowa State University(爱荷华州立大学土木、建设与环境工程系)
研究在马尔可夫依赖下多数投票集成的方差降低机制,提出适应性频谱路由算法,实现极小极大最优率。
2026-04-15 cs.AI cs.LG
Multi-Access Communications with Energy Harvesting: A Multi-Armed Bandit Model and the Optimality of the Myopic Policy
Imperial College London(伦敦帝国学院)
研究了一个具有N个发射节点的多址无线网络,每个发射节点配备有能量收集(EH)设备和有限容量的可充电电池。在每个时隙(TS),节点以特定概率操作,该概率可以取决于数据的可用性或其信道的状态。每个节点处的能量到达过程被建模为独立的两状态马尔可夫过程,使得在每个TS处,节点要么收获一个单位的能量,要么不收获。在每个TS处,节点的子集由接入点(AP)调度。假设AP不知道EH过程或电池的状态,最大化总吞吐量的调度策略进行了研究。将该问题归结为一个不安分多臂强盗(RMAB)问题,给出了最优调度策略的上界,并在关于EH过程和电池容量的一定假设下,证明了近视策略(MP)的最优性.对于一般情况下,MP的性能进行了比较数值上限。
2015-01-01 cs.IT cs.LG math.IT
Safe Policy Improvement Approaches on Discrete Markov Decision Processes
Ludwig-Maximilians University(慕尼黑大学);Technical University of Munich(慕尼黑工业大学);Siemens Technology(西门子科技)
安全策略改进(SPI)旨在可证明的保证,学习的策略至少近似于给定的基线策略。基于Nadjahi等人的SPI with Soft Baseline Bootstrapping(Soft-SPIBB),我们在他们的方法中发现了理论问题,提供了一个正确的理论,并推导出一个新的算法,该算法在有限马尔可夫决策过程(MDP)上可证明是安全的。此外,我们提供了一个启发式算法,表现出最好的性能在两个不同的基准上的许多国家的最先进的SPI算法。此外,我们介绍了SPI算法的分类和经验表明两类SPI算法的一个有趣的属性:而平均性能的算法,将不确定性作为一个惩罚的动作值是较高的,积极限制的政策集更一致地产生良好的政策,因此,更安全。
2022-01-28 cs.AI cs.LG
Generalised Policy Improvement with Geometric Policy Composition
DeepMind(深度思维)
我们引入了一种策略改进方法,该方法介于基于值的强化学习(RL)的贪婪方法和基于模型的RL的典型全规划方法之间。新方法建立在几何地平线模型(GHM,也称为伽马模型)的概念上,该模型对给定策略的贴现状态访问分布进行建模。我们表明,我们可以评估任何非马尔可夫政策之间切换的一组基本马尔可夫政策与固定的概率仔细组成的基本政策GHM,没有任何额外的学习。然后,我们可以将广义策略改进(GPI)应用于这些非马尔可夫策略的集合,以获得一个新的马尔可夫策略,该策略通常会优于其前体。我们对这种方法进行了深入的理论分析,开发了转移和标准RL的应用程序,并在一个具有挑战性的深度RL连续控制任务上实证了其对标准GPI的有效性。我们还提供了对GHM训练方法的分析,证明了先前提出的方法的新收敛结果,并展示了如何在深度RL设置中稳定地训练这些模型。
2022-06-17 cs.LG stat.ML
Robust Batch Policy Learning in Markov Decision Processes
George Washington University(乔治华盛顿大学);Harvard University(哈佛大学)
在马尔可夫决策过程(MDP)框架下研究了离线数据驱动的序贯决策问题。为了提高学习策略的泛化能力和自适应能力,我们建议通过一组平均奖励来评估每个策略,这些平均奖励相对于以策略诱导的平稳分布为中心的分布。给定一个预先收集的由某种行为策略生成的多个轨迹的数据集,我们的目标是在预先指定的策略类中学习一个鲁棒的策略,该策略类可以最大化这个集合的最小值。利用半参数统计理论,我们开发了一个统计上有效的策略学习方法来估计所定义的鲁棒最优策略。一个率最优的遗憾绑定到一个对数因子建立在数据集中的总决策点。
2021-11-10 cs.LG math.ST stat.ML
A Minimax Learning Approach to Off-Policy Evaluation in Confounded Partially Observable Markov Decision Processes
London School of Economics and Political Science(伦敦政治经济学院);Cornell University(康奈尔大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们考虑部分可观测马尔可夫决策过程(POMDPs)中的离政策评估(OPE),其中评估策略仅取决于可观测变量,而行为策略取决于不可观测的潜变量。现有的作品要么假设没有不可测量的混杂因素,或专注于设置的观察和状态空间是表格。在这项工作中,我们首先提出了新的识别方法OPE POMDPs与潜在的混淆,通过引入桥梁功能,连接目标政策的价值和观察到的数据分布。接下来,我们提出了极小极大估计方法学习这些桥函数,并构造三个估计器的基础上,这些估计的桥函数,相应的价值函数为基础的估计,边缘化重要性采样估计,和双重鲁棒估计。我们的建议允许一般函数近似,因此适用于连续或大的观测/状态空间的设置。详细研究了估计量的非渐近性和渐近性。
2022-06-15 cs.LG stat.ML
Online Markov decision processes with policy iteration
Tokyo Institute of Technology(东京工业大学);The University of Tokyo(东京大学)
在线马尔可夫决策过程(MDP)是经典马尔可夫决策过程的推广,它包含了不断变化的奖励函数。在本文中,我们提出了实用的在线MDP算法的政策迭代和理论上建立了一个次线性遗憾界。所提出的算法的一个显着的优点是,它可以很容易地与函数逼近相结合,从而可以有效地处理大的和可能连续的状态空间。通过实验,我们证明了所提出的算法的有效性。
2015-10-15 cs.LG
Strongly-polynomial time and validation analysis of policy gradient methods
H. Milton Stewart School of Industrial & Systems Engineering(赫尔曼·米勒工业与系统工程学院)
本文提出优势间隙函数作为终止准则,证明策略梯度方法能在强多项式时间内解决MDP,并提供验证方法。
2026-03-21 cs.AI cs.DS cs.LG
Context-Aware Policy Reuse
IIIS, Tsinghua University(清华大学智能产业研究院);Tsinghua University(清华大学)
迁移学习可以通过利用相关任务的策略来大大加快新任务的强化学习。现有的策略重用工作要么集中在只选择一个最佳的源策略传输,而不考虑上下文,或不能保证学习的目标任务的最佳策略。为了提高传输效率和保证最优性,我们开发了一种新的策略重用方法,称为上下文感知策略重用(CAPS),使多策略传输。我们的方法学习什么时候以及哪个源策略最适合重用,以及什么时候终止其重用。CAPS为源策略选择和目标任务学习提供了收敛性和最优性的理论保证。基于网格的导航域和Pygame学习环境的实证结果表明,CAPS显着优于其他国家的最先进的政策重用方法。
2019-03-08 cs.AI
Off-Policy Exploitability-Evaluation in Two-Player Zero-Sum Markov Games
CyberAgent, Inc.(赛博艾坚特公司)
政策外评估(OPE)是使用从不同政策获得的历史数据来评估新政策的问题。在最近的OPE背景下,大多数研究都集中在单人情况下,而不是多人情况下。在这项研究中,我们提出了OPE估计构造的双重鲁棒和双重强化学习估计在两个球员零和马尔可夫游戏。所提出的估计器预测了可利用性,该可利用性通常用作确定策略配置文件(即,一组策略)是两个玩家零和博弈中的纳什均衡。我们证明了所提出的估计的可利用性估计误差界。然后,我们提出的方法来找到最佳的候选人的政策配置文件,选择的政策配置文件,最大限度地减少估计利用从一个给定的政策配置文件类。我们证明了我们的方法选择的政策配置文件的遗憾界。最后,我们通过实验证明了所提出的估计器的有效性和性能。
2020-12-24 cs.GT cs.LG econ.EM
Neural PPO-Clip Attains Global Optimality: A Hinge Loss Perspective
National Yang Ming Chiao Tung University(国立阳明交通大学);Academia Sinica(中央研究院)
策略优化是设计强化学习算法的基本原则,一个示例是具有剪切代理目标的近端策略优化算法(PPO-Clip),由于其简单性和有效性,其已被广泛用于深度强化学习。尽管其优越的经验性能,PPO剪辑尚未通过理论证明,直到今天。在神经函数逼近下,我们建立了PPO-Clip的第一全局收敛速度。我们确定了分析PPO-Clip的基本挑战,并以两个核心思想解决这些挑战:(i)我们从铰链损失的角度重新解释PPO-Clip,将政策改进与解决铰链损失的大利润分类问题联系起来,并提供了PPO-Clip目标的广义版本。(ii)基于上述观点,我们提出了一个两步的政策改进计划,这有利于通过解耦政策搜索的复杂的神经政策参数化的帮助下,熵镜像下降和基于回归的政策更新计划的收敛性分析。此外,我们的理论结果提供了第一个表征的剪裁机制的PPO-Clip的收敛效果。通过实验,我们经验验证的重新解释的PPO剪辑和广义目标与各种分类器上的各种RL基准任务。
2022-09-01 cs.LG
Achieving Exponential Asymptotic Optimality in Average-Reward Restless Bandits without Global Attractor Assumption
Carnegie Mellon University(卡内基梅隆大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对无限时间跨度平均奖励非静息多臂老虎机问题,提出双集合策略,在非周期单链、非退化与局部稳定性温和假设下首次实现指数渐近最优性,并证明局部稳定性的关键作用。
2026-11-03 cs.LG math.OC math.PR
Bellman Optimality of Average-Reward Robust Markov Decision Processes with a Constant Gain
本文研究了鲁棒马尔可夫决策过程中的平均奖励问题,通过分析常增益设置,探讨了鲁棒贝尔曼方程的解存在性及其与最优平均奖励的关系,为长期平均标准下的鲁棒动态决策提供了理论基础。
2026-10-21 cs.LG math.OC
A General Markov Decision Process Framework for Directly Learning Optimal Control Policies
IBM Research(IBM研究院)
我们考虑一种新形式的强化学习(RL),这是基于直接学习的机会,最优控制政策和一般马尔可夫决策过程(MDP)的框架,旨在支持这些机会。我们的控制为基础的强化学习方法的一般类的推导,连同形式的探索和开发学习和应用的最优控制政策随着时间的推移。我们的一般MDP框架扩展了经典的贝尔曼算子和最优性准则,概括了任何给定状态的政策的定义和范围。我们建立了收敛性和最优性--无论是在一般情况下还是在各种控制范例中(例如,分段线性控制策略)-我们的基于控制的方法,通过这个一般的MDP框架,包括收敛的$Q$ -学习的上下文中,我们的MDP框架。我们的实证结果证明和量化我们的方法的显着好处。
2021-04-01 cs.LG math.OC stat.ML
Safety Optimized Reinforcement Learning via Multi-Objective Policy Optimization
Faculty of Engineering and Computer Science, University of Victoria(维多利亚大学工程与计算机科学学院)
本研究提出基于多目标策略优化的无模型安全强化学习算法SORL,无需约束策略搜索空间即可平衡安全与最优性,经理论分析给出安全保证条件与调节参数,在七个机器人环境中优于六种前沿方法,适配安全关键场景。
2024-02-23 cs.AI cs.LG cs.RO
Convergence and Price of Anarchy Guarantees of the Softmax Policy Gradient in Markov Potential Games
University of South Carolina(南卡罗来纳大学);Virginia Tech(弗吉尼亚理工大学)
我们研究的性能的策略梯度方法的马尔可夫游戏的子类称为马尔可夫潜在的游戏(MPG),它扩展了正常形式的潜在游戏的概念,有状态的设置,包括重要的特殊情况下,完全合作的设置,其中代理共享一个相同的奖励函数。我们在本文中的重点是研究的收敛性的策略梯度方法求解MPG下softmax政策参数化,表格和参数化的一般函数逼近器,如神经网络。我们首先证明了这种方法的渐近收敛到一个纳什均衡的MPG表格softmax政策。其次,我们推导了两种设置下的策略梯度的有限时间性能:1)使用对数屏障正则化,以及2)使用最佳响应动态(NPG-BR)下的自然策略梯度。最后,通过推广正规型博弈中的无政府无政府代价(POA)和光滑性的概念,我们引入了MPG的POA,并给出了NPG-BR的POA界。据我们所知,这是求解MPG的第一个POA界。为了支持我们的理论结果,我们实证比较了表格和神经softmax政策的策略梯度变体的收敛速度和POA。
2022-06-15 cs.AI cs.GT cs.LG
Global Convergence of Localized Policy Iteration in Networked Multi-Agent Reinforcement Learning
Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学);Duke University(杜克大学);California Institute of Technology(加州理工学院)
我们研究了一个多智能体强化学习(MARL)问题,其中的代理在一个给定的网络进行交互。代理的目标是合作最大化他们的熵正则化的长期奖励的平均值。为了克服维数灾难和减少通信,我们提出了一个局部化的政策迭代(LPI)算法,可证明学习一个接近全局最优的政策,只使用本地信息。特别是,我们表明,尽管限制每个代理的注意力,只有其$κ$跳邻域,代理能够学习的政策与最优性的差距,衰减多项式在$κ$。此外,我们展示了有限样本收敛的LPI的全局最优策略,明确地捕获之间的权衡选择$κ$的最优性和计算复杂性。数值仿真验证了LPI的有效性。
2022-11-30 cs.AI cs.LG cs.MA
Independent Natural Policy Gradient Always Converges in Markov Potential Games
University of California, Irvine(加州大学欧文分校)
多智能体强化学习已经成功地应用于完全合作和完全竞争的环境中,但目前对混合合作/竞争环境知之甚少。在本文中,我们专注于一类特殊的多智能体混合合作/竞争的随机游戏称为马尔可夫势游戏(MPGs),其中包括合作游戏作为一种特殊情况。最近的研究结果表明,独立的策略梯度收敛MPG,但它是不知道是否独立的自然策略梯度收敛MPG以及。我们证明了独立自然策略梯度总是收敛在最后一个收敛使用常数学习率。证明偏离了现有的方法,主要的挑战在于马尔可夫势博弈没有唯一的最优值(如单智能体设置所示),因此不同的初始化可能导致不同的极限点值。我们补充我们的理论结果与实验表明,自然策略梯度优于策略梯度在路由游戏和拥塞游戏。
2021-10-20 cs.GT cs.LG
Q-Learning for MDPs with General Spaces: Convergence and Near Optimality via Quantization under Weak Continuity
University of Michigan(密歇根大学);Bilkent University(比尔肯特大学);Queen’s University(女王大学)
本文提出Quantized Q-Learning方法,在仅要求转移核弱连续的温和条件下,通过将状态和动作量化并视为POMDP,证明了针对连续空间MDP的Q-learning收敛性及近最优性。
2023-09-07 cs.LG cs.SY eess.SY
Constrained Exploration in Reinforcement Learning with Optimality Preservation
National University of Singapore(新加坡国立大学)
针对受限探索导致强化学习智能体只能找到次优策略的问题,提出保持最优性的约束探索方法,通过引入监督器扩展反馈控制结构,并证明在已知确定性环境下保持最优性的充要条件。
2023-04-05 cs.LG cs.SY eess.SY
A New Policy Iteration Algorithm For Reinforcement Learning in Zero-Sum Markov Games
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);c3.ai DTI
本文针对零和马尔可夫博弈提出一种在朴素策略迭代中加入前瞻策略的简单变体,证明其以指数速度收敛,并在线性马尔可夫博弈的函数逼近设置下实现高效前瞻,同时为基于策略的强化学习算法提供了性能界。
2023-10-28 cs.AI cs.GT cs.LG
Global Convergence Using Policy Gradient Methods for Model-free Markovian Jump Linear Quadratic Control
IIT-Bombay(印度理工学院孟买分校)
由于强化学习在过去几年中的兴趣增长,基于梯度的策略控制方法也在控制问题中越来越受欢迎。这是正确的,因为梯度策略方法具有以端到端的方式优化感兴趣的度量的优势,并且在不完全了解底层系统的情况下相对容易实现。本文研究离散无模型马尔可夫跳变线性系统二次控制的基于梯度的策略优化方法的全局收敛性。我们克服了无数的挑战,因为一个以上的国家加上缺乏知识的系统动力学和显示全局收敛的政策,使用梯度下降和自然的策略梯度方法。我们还提供模拟研究来证实我们的说法。
2021-11-30 cs.LG math.OC
Near Optimality of Finite Memory Feedback Policies in Partially Observed Markov Decision Processes
University of Michigan(密歇根大学)
在部分可观测马尔可夫决策过程(POMDP)理论中,最优策略的存在性一般是通过将原来的部分可观测随机控制问题转化为信念空间上的完全可观测问题,从而得到信念-MDP。然而,即使原始系统具有有限的状态和动作空间,使用经典的动态或线性规划方法来计算该完全观察模型的最优策略以及原始POMDP的最优策略也是具有挑战性的,因为完全观察的信念-MDP模型的状态空间总是不可数的。此外,存在非常少的严格的值函数近似和最优策略近似结果,因为所需的正则性条件通常需要繁琐的研究,涉及概率测度的空间,导致诸如Feller连续性的性质。在本文中,我们研究了POMDPs的规划问题,其中系统动力学和测量信道模型假设是已知的。我们构造了一个近似的信念模型离散的信念空间,只有有限的窗口信息变量。然后,我们找到近似模型的最优策略,我们严格建立在温和的非线性滤波稳定性条件和假设的测量和行动集是有限的(和状态空间是实向量值)的POMDPs的有限窗口控制策略的近最优性。我们还建立了一个收敛速率的结果,涉及有限的窗口内存大小和近似误差界,其中的收敛速率是指数显式和可测试的指数滤波器的稳定性条件下。虽然有许多实验结果和严格的渐近收敛的结果,一个明确的收敛速率的结果是新的文献,据我们所知。
2022-01-08 cs.LG math.OC
Approximate Policy Iteration with a Policy Language Bias: Solving Relational Markov Decision Processes
School of Electrical Engineering and Computer Science, Oregon State University(俄勒冈州立大学电气工程与计算机科学学院);School of Electrical and Computer Engineering, Purdue University(普渡大学电气与计算机工程学院)
本文研究了大型关系马尔可夫决策过程的策略选择问题。我们考虑近似策略迭代(API)的一个变体,它用策略空间中的学习步骤代替了通常的值函数学习步骤。这在好的策略比相应的价值函数更容易表示和学习的领域中是有利的,这通常是我们感兴趣的关系MDP的情况。为了将API应用于此类问题,我们引入了一种关系策略语言和相应的学习器。此外,我们引入了一个新的自举例程为基础的目标规划域,基于随机游走。这种引导对于许多大型关系型MDP是必要的,其中奖励非常稀疏,因为当使用不知情的策略初始化时,API在这些域中是无效的。我们的实验表明,所得到的系统是能够找到良好的政策,为一些经典的规划域和他们的随机变量,解决他们作为非常大的关系MDP。实验还指出了我们的方法的一些局限性,建议未来的工作。
2011-09-09 cs.AI
Mirror Descent Policy Optimisation for Robust Constrained Markov Decision Processes
Centre for Frontier AI Research, Agency for Science, Technology and Research (A*STAR)(前沿人工智能研究中心,科技研究局(A*STAR));Singapore Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)(新加坡高性能计算研究所,科技研究局(A*STAR));College of Computing and Data Science, Nanyang Technological University, Singapore(计算与数据科学学院,南洋理工大学,新加坡)
本文提出一种镜像下降策略优化方法,用于鲁棒约束马尔可夫决策过程,通过优化策略和转移核实现收敛率和鲁棒性提升。
2025-12-18 cs.LG cs.NE
On the Near-Optimality of Local Policies in Large Cooperative Multi-Agent Reinforcement Learning
Purdue University(普渡大学)
我们表明,在一个合作的$N$代理网络,可以设计本地可执行的代理政策,使所得到的平均奖励(值)的折扣和很好地近似于所有(包括非本地)的政策计算的最优值。具体地说,我们证明,如果$|\mathcal{X}|, |\mathcal{U}|$表示状态的大小,和行动空间的个体代理,然后充分小的折扣因子,近似误差是由$\mathcal{O}(e)$其中$e\triangleq \frac{1}{\sqrt{N}}\left[\sqrt{|\mathcal{X}|}+\sqrt{|\mathcal{U}|}\right]$。此外,在奖励和状态转移函数独立于群体的动作分布的特殊情况下,误差改进为$\mathcal{O}(e)$,其中$e\triangleq \frac{1}{\sqrt{N}}\sqrt{|\mathcal{X}|}$。最后,我们还设计了一个算法来显式地构造一个本地策略。借助于我们的近似结果,我们进一步建立了所构造的局部策略是在最优策略的$\mathcal{O}(\max\{e,ε\})$距离内,并且对于任何$ε>0$,实现这样的局部策略的样本复杂度是$\mathcal{O}(ε^{-3})$。
2022-09-07 cs.LG cs.MA
Rate-Optimal Policy Optimization for Linear Markov Decision Processes
Blavatnik School of Computer Science, Tel Aviv University(特拉维夫大学布拉瓦尼克计算机科学学院);School of Electrical Engineering, Tel Aviv University(特拉维夫大学电气工程学院);Google Research(谷歌研究院)
该研究针对在线回合式线性马尔可夫决策过程的遗憾最小化问题,通过策略优化方法分别在随机老虎机反馈和全信息对抗设定下首次得到关于回合数K的速率最优$\tilde O(\text{K})$遗憾界。
2024-05-16 cs.LG
Off-Policy Evaluation in Partially Observed Markov Decision Processes under Sequential Ignorability
Stanford University(斯坦福大学)
本文针对部分可观测马尔可夫决策过程提出部分历史重要性加权估计器,证明其一致性与极小极大收敛速率,表明该问题难度介于完全可观测MDP与无模型评估之间。
2023-05-09 cs.LG math.ST stat.ME