PAC Reinforcement Learning Algorithm for General-Sum Markov Games
University of Delaware(特拉华大学)
本文提出了一个理论框架,可能近似正确(PAC)的多智能体强化学习(MARL)算法的马尔可夫博弈。本文利用延迟Q学习的思想,对著名的Nash Q-学习算法进行了扩展,建立了一种新的求解一般和马尔可夫对策的PAC MARL算法。除了指导可证明的PAC MARL算法的设计外,该框架还可以检查任意MARL算法是否是PAC。比较数值结果表明性能和鲁棒性。
2020-09-05 cs.GT cs.LG math.OC
Reinforcement Learning with Function Approximation for Non-Markov Processes
Florida State University(佛罗里达州立大学)
本文研究了非马尔可夫过程中使用线性函数近似的强化学习方法,证明了在特定条件下算法的收敛性,并应用于部分观测马尔可夫决策过程。
2026-01-01 cs.LG math.OC
Time-Consistent Risk Measures for Continuous-Time Markov Chains
我们开发了一种方法,时间一致的风险评估的连续时间过程中的马尔可夫系统。我们的分析是基于对偶表示的一致性风险措施,微分概念的多值映射,和一个精致的概念的时间一致性。我们证明了风险度量是由一个家庭的风险评价泛函(过渡风险映射),这取决于状态,时间,和转移函数。它们的对偶表示是马尔可夫系统的风险多核。我们引入了风险多核的半导数的概念,并用它来推广马尔可夫过程的生成元的概念。使用这些半导数,我们得到了一个系统的常微分方程的风险评估必须满足,推广了经典的向后Kolmogorov方程的马尔可夫过程。此外,我们构造收敛的离散时间近似的连续时间的风险措施。
2017-01-29 math.OC
Reinforcement Learning of Markov Decision Processes with Peak Constraints
RISE AI Research Institutes of Sweden(瑞典RISE人工智能研究院)
在本文中,我们考虑强化学习的马尔可夫决策过程(MDP)的峰值约束,其中代理选择一个政策,以优化目标,并在同一时间满足额外的约束。智能体必须根据观察到的状态、奖励输出和约束输出采取行动,而不需要任何关于动态、报酬函数和/或约束函数的知识。我们引入了一种博弈论的方法来构建强化学习算法,其中代理最大化一个无约束的目标,该目标取决于最小化对手的模拟动作,该对手作用于有限集的动作和约束函数(奖励)的输出数据。我们证明了从极大极小Q学习得到的策略收敛到最优策略。据我们所知,这是第一次学习算法保证收敛到最佳的平稳策略的MDP问题的峰值约束的折扣和预期的平均回报。
2019-12-06 cs.LG math.OC
Towards Minimax Optimal Reinforcement Learning in Factored Markov Decision Processes
Massachusetts Institute of Technology(麻省理工学院)
我们研究了极小极大最优强化学习在情节因子马尔可夫决策过程(FMDPs),这是有条件独立的转移组件的MDP。假设因子分解是已知的,我们提出了两个基于模型的算法。第一个实现了极大极小最优后悔保证的一类丰富的因子结构,而第二个享有更好的计算复杂性略差的遗憾。我们算法的一个关键新成分是设计了一个奖金项来指导探索。我们补充我们的算法,提出了几个结构依赖的下限FMDPs的遗憾,揭示了隐藏在错综复杂的结构的困难。
2020-06-24 cs.LG math.OC stat.ML
Policy Gradient Learning for Distributionally Robust Markov Decision Processes under Wasserstein Ambiguity
École Polytechnique(巴黎综合理工学院);CMAP(应用数学中心);School of Mathematical Sciences, Xiamen University(厦门大学数学科学学院)
针对转移核分布不确定的有限时域MDP,提出基于Wasserstein距离的分布鲁棒策略梯度框架,通过鲁棒Bellman递归的Wasserstein对偶重构和方向可微性分析,推导鲁棒策略梯度显式递归形式,并设计鲁棒演员-评论家算法。
2026-07-22 math.OC
Safe Reinforcement Learning for Constrained Markov Decision Processes with Stochastic Stopping Time
Aalborg University(奥尔堡大学);University College London(伦敦大学学院)
本文针对具有随机停止时间的受约束马尔可夫决策过程,提出一种基于线性规划的无模型在线强化学习算法,通过计算安全基线策略和定义代理集实现高置信度安全与高效探索,仿真验证了其有效性。
2024-03-23 cs.LG math.OC
On the connection between Bregman divergence and value in regularized Markov decision processes
DeepMind(深度思维)
在这个简短的说明中,我们得到了从当前策略到最优策略的Bregman发散与正则化马尔可夫决策过程中当前价值函数的次优性之间的关系。这一结果对多任务强化学习、离线强化学习和函数逼近下的后悔分析等都有意义。
2022-11-06 cs.AI cs.LG math.OC
Policy Gradient using Weak Derivatives for Reinforcement Learning
Cornell University(康奈尔大学);U.S. Army Research Laboratory(美国陆军研究实验室)
本文考虑连续状态-动作强化学习问题中的策略搜索。通常,使用称为策略梯度定理的策略梯度的经典表达式来计算搜索方向,该定理将价值函数的梯度分解为两个因子:得分函数和Q函数。本文给出了四个结果:(i)一个可供选择的策略梯度定理(ii)证明了由此导出的随机梯度估计是无偏的,并给出了几乎必然收敛到强化学习问题的非凸价值函数的稳定点的算法;(iii)推导了该算法的样本复杂度,并证明了其为$O(1/\sqrt(k))$ ;(iv)最后,证明了用弱导数得到的梯度估计的期望方差低于用流行的得分函数方法得到的梯度估计。在OpenAI健身房摆环境下的实验表明,该算法具有较好的性能。
2020-04-09 cs.LG cs.MA cs.SY
Continuous-Time Reinforcement Learning for Controlled Hawkes Jump-Diffusions
UC Berkeley(加州大学伯克利分校)
针对非马尔可夫环境下霍克斯驱动随机微分方程的随机控制问题,提出Hawkes-CT DDPG算法,通过马尔可夫化近似实现无模型学习,并在三类核上与离散时间强化学习方法对比。
2026-08-20 cs.LG math.OC stat.ML
Non-asymptotic Convergence of Adam-type Reinforcement Learning Algorithms under Markovian Sampling
The Ohio State University(俄亥俄州立大学);Southern University of Science and Technology(南方科技大学)
尽管Adam在强化学习(RL)中有着广泛的应用,但Adam型RL算法的理论收敛性尚未得到证实。本文提供了第一个这样的收敛性分析的两个基本RL算法的策略梯度(PG)和时间差(TD)的学习,将AMSGrad更新(亚当在理论分析中的标准替代品),称为PG-AMSGrad和TD-AMSGrad,分别。此外,我们的分析重点是马尔可夫抽样的两种算法。我们证明了在一般非线性函数逼近下,PG-AMSGrad具有常数步长以$\mathcal{O}(1/T)$($T$表示迭代次数)的速率收敛到一个稳定点的邻域,而具有递减步长以$\mathcal{O}(\log^2 T/\sqrt{T})$的速率精确收敛到一个稳定点.此外,在线性函数逼近下,TD-AMSGrad在固定步长下以$\mathcal{O}(1/T)$的速度收敛到全局最优解的邻域,在减小步长下以$\mathcal{O}(\log T/\sqrt{T})$的速度精确收敛到全局最优解.我们的研究开发了新的技术分析亚当型RL算法下马尔可夫抽样。
2020-08-17 cs.LG math.OC stat.ML
Exploration-Exploitation Trade-off in Reinforcement Learning on Online Markov Decision Processes with Global Concave Rewards
National University of Singapore(新加坡国立大学)
我们考虑一个参与马尔可夫决策过程的代理,每轮都接收一个结果向量。她的目标是最大化平均向量结果的全局凹奖励函数。该问题模型的应用程序,如多目标优化,最大熵探索,并在马尔可夫环境中的约束优化。在我们的一般设置中,一个固定的策略可能有多个循环类,代理人面临着一个微妙而重要的权衡,在不同的行动之间交替平衡矢量结果。特别是,固定的政策一般是次优的。我们提出了一种基于在线凸优化(OCO)工具(Agrawal和Devanur 2014)和UCRL 2(Jaksch等人2010)的无遗憾算法。重要的是,我们引入了一种新的梯度阈值程序,它仔细控制动作之间的切换,以处理微妙的权衡。通过延迟梯度更新,我们的过程产生了一个非平稳的政策,多样化的结果优化的目标。该程序与各种OCO工具兼容。
2019-05-15 cs.LG math.OC stat.ML
Reinforcement Learning with Markov Risk Measures and Multipattern Risk Approximation
Department of Management Science and Information Systems, Rutgers University(罗格斯大学管理科学与信息系统系)
本文提出一种基于特征的Q学习方法,结合马尔可夫风险度量和多模式Q因子近似,证明了高概率遗憾界,并在随机分配问题和短周期多臂老虎机问题上进行了验证。
2026-11-03 cs.AI cs.LG math.OC
Average-reward reinforcement learning in semi-Markov decision processes via relative value iteration
Department of Computing Science, University of Alberta(计算科学系,阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所)
本文提出了一种在半马尔可夫决策过程中利用相对价值迭代算法进行平均奖励强化学习的方法,并引入新的单调性条件以提高算法收敛性。
2025-12-05 cs.LG math.OC
Finite-Sample Analysis of Nonlinear Stochastic Approximation with Applications in Reinforcement Learning
Virginia Tech(弗吉尼亚理工学院);The University of Texas at Austin(得克萨斯大学奥斯汀分校)
受强化学习(RL)应用的启发,研究了马尔可夫噪声下的一种非线性随机逼近(SA)算法,并建立了其在不同步长下的有限样本收敛界.具体来说,我们表明,当使用恒定步长(即,$α_k\equiv α$),该算法实现指数快速收敛到期望的极限点周围的邻域(具有半径$O(α\log(1/α))$)。当使用具有适当衰减率的递减步长时,该算法以速率$O(\log(k)/k)$收敛。我们的证明是基于李雅普诺夫漂移参数,并处理马尔可夫噪声,我们利用快速混合的基础马尔可夫链。为了证明我们的理论结果的一般性马尔可夫SA,我们使用它来获得流行的$Q$ -学习与线性函数逼近算法的有限样本界,在行为策略的条件下。重要的是,我们不需要假设样本是独立同分布的,并且在算法中不需要人工投影步骤来保持迭代的有界性。数值模拟证实了我们的理论结果。
2022-01-26 cs.LG math.OC
Proximal Reinforcement Learning: Efficient Off-Policy Evaluation in Partially Observed Markov Decision Processes
在将离线强化学习应用于观察数据时,例如在医疗保健或教育中,普遍关注的是观察到的行为可能会受到未观察到的因素的影响,从而导致在完美马尔可夫决策过程(MDP)模型假设下得出的混淆和偏差估计。在这里,我们通过考虑部分观察MDP(POMDP)中的政策外评估来解决这个问题。具体来说,我们考虑估计一个给定的目标政策的值在POMDP给定的轨迹,只有部分状态观测产生的不同的和未知的政策,可能取决于未观察到的状态。我们解决两个问题:什么条件下,让我们从观察到的数据,并确定目标的政策价值,给定的识别,如何最好地估计它。为了回答这些问题,我们扩展的框架,近端因果推理我们的POMDP设置,提供了各种设置,其中识别是可能的存在所谓的桥梁功能。然后,我们将展示如何在这些设置中构建半参数有效估计。我们将由此产生的框架称为近端强化学习(PRL)。我们证明了PRL的好处,在一个广泛的模拟研究和脓毒症管理的问题。
2023-03-22 cs.LG math.OC math.ST
Independent Reinforcement Learning in Discounted Markov Games
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对折扣一般和马尔可夫博弈,在假设ETH与PPAD等价下证明独立学习无多项式时间算法,提出首个完全解耦的分层乐观镜像下降算法,保证次指数收敛并开发全反馈与部分反馈版本。
2026-09-02 cs.AI cs.GT cs.LG
Model and Reinforcement Learning for Markov Games with Risk Preferences
我们提出了一个新的非合作马尔可夫博弈模型,考虑了风险意识的球员之间的相互作用。这个模型的特点是时间一致的动态“风险”从随机状态转换(固有的游戏)和随机混合策略(由于所有其他球员)。一个适当的风险意识的均衡的概念,提出了这样的平衡的存在性证明在平稳策略的应用角谷不动点定理。我们进一步提出了一个基于模拟的Q学习型算法的风险意识的均衡计算。该算法适用于一种特殊形式的极小极大风险度量,这种风险度量可以自然地写成鞍点随机优化问题,并且覆盖了许多广泛研究的风险度量。最后,在一些较弱的条件下,证明了该算法几乎必然收敛于平衡点。通过一个两人排队博弈的数值实验,验证了模型和算法的性质,并证明了它们在现实竞争决策中的价值和适用性。
2019-11-21 cs.GT cs.MA math.OC
On Bellman's principle of optimality and Reinforcement learning for safety-constrained Markov decision process
Aalborg University(奥尔堡大学)
针对安全约束 CMDP 中多链结构导致 Bellman 最优性原理失效的问题,本文将多目标优化转化为零和博弈,提出异步值迭代与改进 $Q$-learning,并给出迭代下界和误差界。
2023-07-12 cs.LG cs.SY eess.SY
Locally Differentially Private Reinforcement Learning for Linear Mixture Markov Decision Processes
Tsinghua University(清华大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
强化学习(RL)算法可以用于提供个性化服务,这些服务依赖于用户的隐私和敏感数据。为了保护用户的隐私,需要保护隐私的强化学习算法。本文研究了具有线性函数逼近和局部差分隐私(LDP)保证的强化学习.提出了一种新的$(\varepsilon, δ)$算法来学习一类称为线性混合MDP的马尔可夫决策过程,并得到了一个$\tilde{\mathcal{O}}( d^{5/4}H^{7/4}T^{3/4}\left(\log(1/δ)\right)^{1/4}\sqrt{1/\varepsilon})$遗憾,其中$d$是特征映射的维数,$H$是规划视野的长度,$T$是与环境的交互次数.我们还证明了一个下界$Ω(dH\sqrt{T}/\left(e^{\varepsilon}(e^{\varepsilon}-1)\right))$学习线性混合MDP下$\varepsilon$ -LDP约束。在人工数据集上的实验验证了算法的有效性。据我们所知,这是第一个具有线性函数近似的可证明的隐私保护RL算法。
2021-10-19 cs.CR cs.LG math.OC
Evolution of the Wasserstein distance between the marginals of two Markov processes
本文研究了两个马氏过程的边缘值之间的Wasserstein距离的时间导数。正如在引言中所回顾的,康托洛维奇对偶导致了这个导数的自然候选者。直到符号,它是关于应用于相应的康托洛维奇势的相应生成元的两个边缘中的每一个的积分的和。对于具有有界跳跃强度的纯跳跃过程,我们证明了Wasserstein距离的演化实际上是由这个候选人给出的。在一维,我们表明,这仍然是真实的分段确定性马尔可夫过程。我们应用该公式估计了两个具有相同生成元的生灭过程的边值之间的Wasserstein距离的Wasserstein曲率的指数下降率。
2016-12-08 math.OC math.PR
Distributed Reinforcement Learning for Decentralized Linear Quadratic Control: A Derivative-Free Policy Optimization Approach
John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保尔森工程与应用科学学院)
研究了具有部分状态观测和局部代价的分散线性二次型控制的分布式强化学习问题。我们提出了一个零阶分布式策略优化算法(ZODPO),学习线性局部控制器在分布式的方式,利用策略梯度,零阶优化和共识算法的思想。在ZODPO中,每个代理通过一致性估计全局成本,然后基于零阶梯度估计并行执行局部策略梯度。即使在大规模系统中,ZODPO也只需要有限的通信和存储。此外,我们调查的非渐近性能的ZODPO,并表明,样本的复杂性,以接近一个平稳点是多项式的误差容限的逆和问题的尺寸,展示了ZODPO的可扩展性。我们还表明,整个ZODPO产生的控制器是稳定的控制器具有很高的概率。最后,我们在多区域HVAC系统上对ZODPO进行了数值测试。
2020-10-23 cs.LG cs.SY eess.SY
Reinforcement Learning for Near-Optimal Design of Zero-Delay Codes for Markov Sources
针对有限字母表马尔可夫信源零延迟有损编码中现有随机控制方法计算代价过高的问题,提出基于量化 Q-learning 的强化学习设计算法并证明其渐近最优性。
2024-06-17 cs.IT math.IT math.OC
Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision Processes
University of California, Los Angeles(加州大学洛杉矶分校)
本研究针对线性马尔可夫决策过程的强化学习问题,提出基于带特殊权重的加权线性回归、结合新型方差估计器的计算高效算法,首次达到接近极小极大最优的悔界,为该领域最优RL问题提供完整解答。
2023-11-04 cs.LG math.OC stat.ML
Online Reinforcement Learning in Markov Decision Process Using Linear Programming
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对转移函数和奖励分布未知的回合制MDP在线强化学习问题,提出基于乐观思想与线性规划的高效模型算法,在高概率下实现更紧的遗憾界并降低计算成本。
2024-03-11 cs.LG cs.SY eess.SY
Simple and optimal methods for stochastic variational inequalities, II: Markovian noise and policy evaluation in reinforcement learning
Georgia Institute of Technology(佐治亚理工学院)
本文的重点是研究马尔可夫噪声下的随机变分不等式(VI)。我们算法开发的一个突出应用是强化学习中的随机策略评估问题。文献中的先前调查集中在时间差(TD)学习采用非光滑有限时间分析的动机随机次梯度下降导致一定的限制。这些包括分析修改的TD算法的要求,该算法涉及到投影到先验定义的欧几里德球,实现非最佳的收敛速度,并且没有明确的方式来获得并行实现的有益效果。我们的方法弥补了这些缺点,在更广泛的背景下,特别是当它涉及到随机的政策评估的随机VI。我们开发了各种简单的TD学习型算法,其原始版本的动机,保持其简单性,同时提供从非渐近分析的角度来看,明显的优势。我们首先提供了一个改进的分析标准TD算法,可以受益于并行实现。然后,我们提出了一个有条件的TD算法(CTD)的版本,涉及定期更新的随机迭代,从而减少了偏见,因此表现出改进的迭代复杂性。这给我们带来了快速TD(FTD)算法,它结合了CTD和随机算子外推法的同伴文件的元素。对于一个新的索引重置策略,FTD表现出最好的收敛速度。我们还设计了一个强大的版本的算法,特别适合于贴现因子接近1。
2021-08-13 cs.AI cs.LG math.OC
Asymptotic Theory for IV-Based Reinforcement Learning with Potential Endogeneity
The University of Hong Kong(香港大学);Shenzhen Loop Area Institute(深圳河套学院);Zhejiang University(浙江大学);The Hong Kong University of Science and Technology(香港科技大学)
该研究针对数据生成与分析动态交互产生的强化偏差加剧内生性问题,提出基于工具变量的强化学习算法,建立其理论性质并给出最优策略推断公式,拓展了强化学习的渐近理论。
2026-08-21 cs.LG econ.EM math.OC