Independent Learning of Nash Equilibria in Partially Observable Markov Potential Games with Decoupled Dynamics
SYCAMORE, EPFL（SYCAMORE，瑞士联邦理工学院）
本文研究了在可部分观测马尔可夫博弈（POMG）中纳什均衡的学习问题，提出了一种独立学习算法，通过不通信的方式，使玩家在仅观察自身动作和观测的情况下，联合收敛到近似纳什均衡，从而实现高效的样本和计算复杂度。
2026-11-10 cs.GT cs.LG cs.MA
Independent Policy Gradient for Large-Scale Markov Potential Games: Sharper Rates, Function Approximation, and Game-Agnostic Convergence
University of Southern California（南加州大学）；Massachusetts Institute of Technology（麻省理工学院）
研究了马尔可夫势博弈中多智能体强化学习（RL）问题的策略梯度方法的全局非渐近收敛性.为了学习纳什均衡的MPG中的状态空间的大小和/或玩家的数量可以是非常大的，我们提出了新的独立的策略梯度算法，是由所有玩家串联运行。当梯度评估中没有不确定性时，我们证明了我们的算法找到了具有$O(1/ε^2)$迭代复杂度的$ε$ -纳什均衡，该迭代复杂度不显式地依赖于状态空间大小。当精确的梯度是不可用的，我们建立$O(1/ε^5)$样本复杂性界在一个潜在的无限大的状态空间的基于样本的算法，利用函数逼近。此外，我们确定了一类独立的策略梯度算法，享有收敛的零和马尔可夫游戏和马尔可夫合作游戏的球员，是不知道正在玩的游戏类型。最后，我们提供了计算实验来证实我们的理论发展的优点和有效性。
2022-08-04 cs.GT cs.LG cs.MA
A Multi-Step Minimax Q-learning Algorithm for Two-Player Zero-Sum Markov Games
本文针对两人零和马尔可夫博弈提出一种多步极小极大Q-learning算法，在模型信息未知时以概率1收敛到博弈论最优值，并通过数值仿真验证其有效性与易实现性。
2024-10-13 cs.LG
PAC Reinforcement Learning Algorithm for General-Sum Markov Games
University of Delaware（特拉华大学）
本文提出了一个理论框架，可能近似正确（PAC）的多智能体强化学习（MARL）算法的马尔可夫博弈。本文利用延迟Q学习的思想，对著名的Nash Q-学习算法进行了扩展，建立了一种新的求解一般和马尔可夫对策的PAC MARL算法。除了指导可证明的PAC MARL算法的设计外，该框架还可以检查任意MARL算法是否是PAC。比较数值结果表明性能和鲁棒性。
2020-09-05 cs.GT cs.LG math.OC
Independent Reinforcement Learning in Discounted Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对折扣一般和马尔可夫博弈，在假设ETH与PPAD等价下证明独立学习无多项式时间算法，提出首个完全解耦的分层乐观镜像下降算法，保证次指数收敛并开发全反馈与部分反馈版本。
2026-09-02 cs.AI cs.GT cs.LG
High-Probability Nash Regret for Decentralized Learning in Markov $α$-Potential Games: Episodic and Fully Online Asynchronous Algorithms with Applications to Markov Congestion Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对马尔可夫α-势博弈，提出KL投影自然策略梯度算法，在情节式和完全在线异步设置下实现高概率纳什遗憾界，消除分布不匹配系数，并应用于马尔可夫拥塞博弈的在线作业调度。
2026-09-15 cs.GT cs.LG cs.MA
The Complexity of Markov Equilibrium in Stochastic Games
我们表明，计算近似平稳马尔可夫粗相关均衡（CCE）的一般和随机游戏是计算上难以处理的，即使有两个球员，游戏是回合制的，折扣因子是一个绝对常数，和近似是一个绝对常数。我们的棘手的结果形成鲜明对比，正规形式的游戏，确切的CCE是有效的计算。更重要的是，我们的研究结果意味着，有没有有效的算法学习平稳马尔可夫CCE政策在多智能体强化学习（MARL），即使是当互动是两个球员和回合为基础的，和折扣因子和所需的近似学习的政策是一个绝对常数。反过来，这些结果与单智能体强化学习（RL）形成鲜明对比，其中可以有效地学习接近最优的平稳马尔可夫策略。补充我们的棘手的结果平稳马尔可夫CCE，我们提供了一个分散的算法（假设玩家之间共享的随机性）学习非平稳马尔可夫CCE政策与多项式时间和样本的复杂性，在所有的问题参数。以前学习马尔可夫CCE策略的工作都需要指数时间和参与者数量的样本复杂度。
2022-04-08 cs.GT cs.LG
Independent Natural Policy Gradient Always Converges in Markov Potential Games
University of California, Irvine（加州大学欧文分校）
多智能体强化学习已经成功地应用于完全合作和完全竞争的环境中，但目前对混合合作/竞争环境知之甚少。在本文中，我们专注于一类特殊的多智能体混合合作/竞争的随机游戏称为马尔可夫势游戏（MPGs），其中包括合作游戏作为一种特殊情况。最近的研究结果表明，独立的策略梯度收敛MPG，但它是不知道是否独立的自然策略梯度收敛MPG以及。我们证明了独立自然策略梯度总是收敛在最后一个收敛使用常数学习率。证明偏离了现有的方法，主要的挑战在于马尔可夫势博弈没有唯一的最优值（如单智能体设置所示），因此不同的初始化可能导致不同的极限点值。我们补充我们的理论结果与实验表明，自然策略梯度优于策略梯度在路由游戏和拥塞游戏。
2021-10-20 cs.GT cs.LG
Robust optimal policies for team Markov games
Peking University（北京大学）；University of Groningen（格罗宁根大学）
在随机动态环境中，团队马尔可夫博弈已经成为研究完全合作多智能体系统序列决策问题的通用范式。然而，导出的策略的最优性通常是敏感的模型参数，这通常是未知的，并需要估计噪声数据在实践中。为了减轻最优策略对这些不确定参数的敏感性，本文提出了一种鲁棒的团队马尔可夫博弈模型，其中代理利用鲁棒优化方法来更新策略。该模型将团队马尔可夫博弈扩展到不完全信息的情形，同时提供了一种鲁棒团队最优性的替代解概念。为了寻求这样的解决方案，我们开发了一个强大的迭代学习算法的团队政策，并证明其收敛性。与鲁棒动态规划相比，该算法不仅具有更快的收敛速度，而且允许使用近似计算来减轻维数灾难。此外，通过将序列社会困境的对策模型推广到不确定场景，给出了一些数值模拟来证明算法的有效性。
2022-05-02 cs.AI cs.GT cs.MA
Global Convergence of Multi-Agent Policy Gradient in Markov Potential Games
SUTD（新加坡科技设计大学）；UC Irvine（加州大学尔湾分校）
本文提出马尔可夫势博弈的新定义，揭示其与规范形式势博弈的关键差异，并证明独立策略梯度在多智能体设置下能快速收敛到纳什策略。
2025-09-23 cs.GT cs.LG
Minimally Modifying a Markov Game to Achieve Any Nash Equilibrium and Value
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Cornell University（康奈尔大学）
研究零和马尔可夫博弈修改问题，通过最小化成本修改奖励函数使目标策略成为唯一纳什均衡，提出基于凸优化的高效算法并给出成功安装的充要条件。
2024-08-24 cs.AI cs.GT
Optimistic Policy Gradient in Multi-Player Markov Games with a Single Controller: Convergence Beyond the Minty Property
Meta AI；University of California Irvine（加州大学欧文分校）；Archimedes research unit（阿基米德研究单元）；Massachusetts Institute of Technology（麻省理工学院）；Strategy Robot, Inc.（战略机器人公司）；Strategic Machine, Inc.（战略机器公司）；Optimized Markets, Inc.（优化市场公司）；Carnegie Mellon University（卡内基梅隆大学）
本文提出新框架，证明在均衡坍缩假设下，单控制器多玩家马尔可夫博弈的乐观策略梯度方法以O(1/ε²)迭代收敛到平稳ε-NE，并引入推广的Minty性质绕过复杂性障碍。
2023-12-21 cs.GT cs.LG
Online Learning in Unknown Markov Games
Massachusetts Institute of Technology（麻省理工学院）；Princeton University（普林斯顿大学）
我们研究了未知马尔可夫博弈中的在线学习，这是一个在对手的行为不可观察的情景多智能体强化学习中出现的问题。我们表明，在这种具有挑战性的设置，实现次线性后悔对最佳对策事后诸葛亮是统计上很难。然后，我们考虑一个较弱的概念的遗憾与\emph{minimax value}的游戏，并提出了一个算法，实现了次线性$\tilde{\mathcal{O}}(K^{2/3})$遗憾后，$K$事件。这是未知马尔可夫博弈中在线学习的第一个次线性后悔界（据我们所知）。重要的是，我们的后悔界限与对手行动空间的大小无关。因此，即使对手的行为是完全可观察的，我们的遗憾界限也会改善现有的分析（例如，(Xie例如，2020年））的对手数量的指数因子。
2021-02-06 cs.LG stat.ML
Convergence of Decentralized Actor-Critic Algorithm in General-sum Markov Games
Electrical Engineering and Computer Sciences (EECS) at UC Berkeley（加州大学伯克利分校电子工程与计算机科学系）；Operations Research and Information Engineering (ORIE) at Cornell University（康奈尔大学运筹学与信息工程系）
针对现有去中心化学习算法收敛性仅适用于特殊马尔可夫博弈的不足，提出马尔可夫近似势函数作为近似李雅普诺夫函数，刻画了一般和马尔可夫博弈下异步步长去中心化演员-评论家算法的策略收敛集并在特定条件下强化结论。
2025-06-11 cs.AI cs.GT cs.MA
Homogenization of Multi-agent Learning Dynamics in Finite-state Markov Games
École Normale Supérieure de Paris-Saclay（巴黎萨克雷高等师范学院）
本文提出通过降低学习率和提高更新频率重标度学习过程，将智能体参数视为慢变量，证明了多智能体在有限状态马尔可夫博弈中的学习动力学收敛于常微分方程，提供了确定性的近似方法。
2025-06-26 cs.LG math.PR stat.ML
Almost Optimal Algorithms for Two-player Zero-Sum Linear Mixture Markov Games
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究了有限时间内两人零和马尔可夫博弈的强化学习，其中底层马尔可夫博弈的转移核可以通过当前状态、两个玩家的动作和下一个状态的线性函数来参数化。特别是，我们假设我们可以控制双方的球员，并旨在找到纳什均衡通过最小化的二元差距。我们提出了一个算法Nash-UCRL的基础上的原则“乐观面对不确定性”。我们的算法只需要找到一个粗相关均衡（CCE），这是计算效率。具体来说，我们证明了纳什UCRL可以证明实现$\tilde{O}(dH\sqrt{T})$遗憾，其中$d$是线性函数的尺寸，$H$是游戏的长度和$T$是在游戏中的步骤总数。为了评估我们的算法的最优性，我们还证明了一个$\tildeΩ( dH\sqrt{T})$下界的遗憾。我们的上限匹配的下限对数因子，这表明我们的算法的最优性。
2022-04-20 cs.LG math.OC stat.ML
Regret Minimization and Convergence to Equilibria in General-sum Markov Games
针对对抗场景下马尔可夫博弈遗憾最小化难以实现的问题，提出首个所有智能体执行时可提供次线性交换遗憾保证、且收敛到相关均衡的去中心化高效无通信学习算法，其核心是将策略优化在线学习归约为加权遗憾最小化，通过控制路径长度实现目标。
2025-06-16 cs.AI cs.GT cs.LG
$O(T^{-1})$ Convergence of Optimistic-Follow-the-Regularized-Leader in Two-Player Zero-Sum Markov Games
University of Chicago（芝加哥大学）
我们证明了乐观跟随正则化领导者（OFTRL），连同光滑的值更新，发现一个$O(T^{-1})$ -近似纳什均衡在$T$迭代的两个球员零和马尔可夫游戏的充分信息。这提高了最近在Zhang等人（2022）的论文中显示的$\tilde{O}(T^{-5/6})$收敛速度。精确的分析取决于两个基本要素。首先，两个参与者的遗憾之和，虽然不一定像正规型博弈那样为非负，但在马尔可夫博弈中近似为非负。这个属性允许我们限制学习动态的二阶路径长度。其次，我们证明了一个更严格的代数不等式部署OFTRL的权重剃一个额外的$\log T$因素。这一关键改进使得能够进行归纳分析，从而得出最终的$O(T^{-1})$速率。
2023-02-09 cs.GT cs.LG
Provably Efficient Policy Optimization for Two-Player Zero-Sum Markov Games
Tsinghua University（清华大学）；Meta AI Research（Meta人工智能研究院）；Princeton University（普林斯顿大学）；University of Washington（华盛顿大学）
基于策略的函数逼近方法被广泛用于求解具有较大状态和/或动作空间的两人零和博弈。然而，它仍然难以捉摸如何获得优化和统计保证这样的算法。我们提出了一个新的政策优化算法与函数逼近，并证明了在标准的正则性条件下的马尔可夫博弈和函数逼近类，我们的算法发现一个接近最优的政策内的多项式数量的样本和迭代。据我们所知，这是第一个证明有效的政策优化算法与函数近似，解决两个球员零和马尔可夫游戏。
2022-02-26 cs.GT cs.LG math.OC
Playing Markov Games Without Observing Payoffs
Department of Electrical Engineering, University of Tel Aviv, Tel Aviv, Israel（电信工程系，特拉维夫大学，特拉维夫，以色列）
本文提出了一种在不观察收益情况下，通过在线学习与对手竞争的马尔可夫游戏方法，扩展了对称性概念并实现了多项式时间复杂度的算法。
2026-01-28 cs.GT cs.LG
Corruption-Robust Offline Two-Player Zero-Sum Markov Games
University of Warwick（华威大学）
研究离线双人零和马尔可夫博弈中数据腐败的鲁棒性，提出鲁棒悲观极小极大值迭代算法，在腐败数据或仅干净数据覆盖下实现近最优次优性差距，首次给出此类问题的刻画。
2024-03-04 cs.GT cs.LG
Soft-Bellman Equilibrium in Affine Markov Games: Forward Solutions and Inverse Learning
Oden Institute for Computational Engineering and Sciences（奥登计算工程与科学研究所）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出仿射马尔可夫博弈与软贝尔曼均衡概念，给出存在唯一性条件，并用非线性最小二乘和投影梯度算法分别求解前向均衡与逆奖励参数推断问题，实验证明推断精度显著优于基线。
2023-09-08 cs.GT cs.LG
Representation Learning for General-sum Low-rank Markov Games
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
研究了具有非线性函数逼近的多主体一般和马氏对策。我们专注于低秩马尔可夫博弈的转移矩阵承认一个隐藏的低秩结构上的一个未知的非线性表示。目标是设计一种算法，该算法（1）在没有环境或表示的先验知识的情况下有效地找到$\varepsilon$ -均衡策略样本，以及（2）允许深度学习友好的实现。我们利用表示学习，并提出了一个基于模型和无模型的方法来构建一个有效的表示从收集的数据。对于这两种方法，该算法实现了聚$(H,d,A,1/\varepsilon)$的样本复杂度，其中$H$是游戏视野，$d$是特征向量的维度，$A$是联合动作空间的大小，$\varepsilon$是最优性间隙。当参与者的数量很大时，上述样本复杂度可以在最坏情况下随着参与者的数量呈指数级扩展。为了解决这一挑战，我们考虑马尔可夫游戏的因式分解过渡结构，并提出了一个算法，逃避这种指数缩放。据我们所知，这是第一个样本有效的算法，多代理一般和马尔可夫游戏，采用（非线性）函数逼近。我们伴随着我们的理论结果与神经网络为基础的实现我们的算法，并评估它对广泛使用的深RL基线，DQN与虚构的发挥。
2022-10-30 cs.LG stat.ML
Predicting Student Performance in an Educational Game Using a Hidden Markov Model
University of California Los Angeles (UCLA)（加州大学洛杉矶分校（UCLA））
贡献：以往的教育研究大多采用横向研究的模式，即考察前测和后测的成绩。本文表明，学生的知识在整个干预可以估计时间序列分析使用隐马尔可夫模型。背景资料：分析时间序列和学生与游戏数据之间的相互作用可以获得仅通过考试的横截面研究无法获得的宝贵信息。研究问题：隐马尔可夫模型可以用来分析教育游戏吗？隐马尔可夫模型可以用来预测学生的表现吗？方法：这项研究进行了（N=854）的学生谁玩保存补丁游戏。学生们被分成一班和二班。一班的学生是那些在测试中得分低于二班的学生。分析是通过选择游戏的各种特征作为观察来完成的。研究结果：状态轨迹可以准确地预测学生的表现为1班和2班。
2019-04-24 cs.CY cs.LG stat.AP
Deep Fictitious Play for Finding Markovian Nash Equilibrium in Multi-Agent Games
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
我们提出了一种基于深度神经网络的算法来识别一般大型$N$ -玩家随机微分对策的马尔可夫纳什均衡。根据虚拟游戏的思想，我们将$N$ -玩家游戏转换为$N$解耦的判定问题（每个玩家一个）并迭代求解。个人判定问题的特点是一个半线性Hamilton-Jacobi-Bellman方程，我们采用最近发展的深度Boundary方法来解决。由此产生的算法可以解决大型$N$玩家的游戏，传统的数值方法将遭受灾难的维数。多个数值例子涉及相同或异构代理，风险中性或风险敏感的目标，进行测试，以验证所提出的算法在大型群体游戏的准确性。即使是一个50人的游戏存在共同的噪音，该算法仍然找到近似的纳什均衡准确，这是据我们所知，很难实现的其他数值算法。
2020-06-05 cs.GT cs.LG math.OC
