Last-iterate Convergence of Decentralized Optimistic Gradient Descent/Ascent in Infinite-horizon Competitive Markov Games
University of Southern California（南加州大学）
我们研究无限时域折扣两人零和马尔可夫博弈，并开发了一个分散的算法，证明收敛到纳什均衡下的自我发挥。我们的算法基于对每个状态运行乐观梯度下降算法来学习策略，并使用一个慢慢学习每个状态值的评论家。据我们所知，这是第一个算法，在这种设置，同时是理性的（当对手使用固定策略时，收敛到对手的最佳对策），收敛（收敛到自我博弈下的纳什均衡集），不可知论者（不需要知道对手的动作），对称（玩家在算法中扮演对称角色），并享受有限时间的最后收敛保证，所有这些都是分散算法的理想特性。
2021-07-07 cs.AI cs.LG stat.ML
Near Optimal Convergence to Coarse Correlated Equilibrium in General-Sum Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文改进了一般和马尔可夫博弈中向粗相关均衡的收敛速率，通过将自适应步长技术扩展至马尔可夫设定并定制OFTRL算法，实现了已知最快的收敛速率。
2025-11-04 cs.AI cs.GT cs.LG
Multi-agent imitation learning with function approximation: Linear Markov games and beyond
EPFL（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）
本文首次理论分析线性马尔可夫博弈中的多智能体模仿学习，利用特征级集中性系数替代状态-动作级系数，并提出首个计算高效的交互式MAIL算法，样本复杂度仅依赖特征维度d。
2026-06-24 cs.LG
Regularized Gradient Descent Ascent for Two-Player Zero-Sum Markov Games
Georgia Institute of Technology（佐治亚理工学院）；Virginia Tech（弗吉尼亚理工大学）
研究了两人零和马尔可夫博弈的纳什均衡问题。由于其公式化为极大极小优化程序，解决该问题的自然方法是以交替方式相对于每个玩家执行梯度下降/上升。然而，由于底层目标函数的非凸性/非线性，对该方法的理论理解是有限的。在我们的论文中，我们考虑解决马尔可夫博弈的熵正则化的变体。正则化将结构引入优化景观，使解决方案更可识别，并允许更有效地解决问题。我们的主要贡献是表明，在适当的正则化参数的选择，梯度下降上升算法收敛到原来的非正则化问题的纳什均衡。我们明确地描述了我们的算法，大大提高了现有的收敛范围的梯度下降上升算法没有正则化的最后一个周期的有限时间性能。最后，我们补充的分析与数值模拟，说明加速收敛的算法。
2022-10-12 cs.LG math.OC
Refined Analysis of FPL for Adversarial Markov Decision Processes
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
我们考虑对抗马尔可夫决策过程（MDP）问题，其中MDP的奖励可以被对抗地选择，并且转移函数可以是已知的或未知的。在这两种情况下，在以前的文献中已经提出了基于跟随扰动领导者（FPL）的算法。然而，基于FPL的算法建立的遗憾界比基于镜像下降的算法差。我们改进了FPL算法的分析，在这两种设置，匹配当前最好的遗憾界限，使用更快，更简单的算法。
2020-08-21 cs.LG stat.ML
When is Offline Two-Player Zero-Sum Markov Game Solvable?
我们研究什么样的数据集假设允许解决离线两个玩家零和马尔可夫游戏。在形成鲜明对比的离线单代理马尔可夫决策过程中，我们表明，单一的战略浓度假设是不足以学习的纳什均衡（NE）的策略，在离线两个球员零和马尔可夫游戏。另一方面，我们提出了一个新的假设命名为单边浓度，并设计了一个悲观型算法，证明是有效的，在此假设下。此外，我们表明，单边浓度的假设是必要的学习NE策略。此外，我们的算法可以实现极大极小样本的复杂性没有任何修改的两个广泛研究的设置：数据集与均匀浓度假设和回合为基础的马尔可夫游戏。我们的工作是理解离线多智能体强化学习的重要的第一步。
2022-10-14 cs.AI cs.GT cs.LG
Provably Efficient Policy Optimization for Two-Player Zero-Sum Markov Games
Tsinghua University（清华大学）；Meta AI Research（Meta人工智能研究院）；Princeton University（普林斯顿大学）；University of Washington（华盛顿大学）
基于策略的函数逼近方法被广泛用于求解具有较大状态和/或动作空间的两人零和博弈。然而，它仍然难以捉摸如何获得优化和统计保证这样的算法。我们提出了一个新的政策优化算法与函数逼近，并证明了在标准的正则性条件下的马尔可夫博弈和函数逼近类，我们的算法发现一个接近最优的政策内的多项式数量的样本和迭代。据我们所知，这是第一个证明有效的政策优化算法与函数近似，解决两个球员零和马尔可夫游戏。
2022-02-26 cs.GT cs.LG math.OC
Can Reinforcement Learning Find Stackelberg-Nash Equilibria in General-Sum Markov Games with Myopic Followers?
Peking University（北京大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）；UC Berkeley（加州大学伯克利分校）
本文研究了多人一般和马氏对策，其中一个人被指定为领导者，其他人被视为追随者。特别是，我们专注于一类游戏的追随者是近视，即，他们的目标是最大化他们的即时回报。对于这样的博弈，我们的目标是找到一个斯塔克伯格-纳什均衡（SNE），它是一个策略对$(π^*, ν^*)$，使得（i）当跟随者总是采取他们的最佳对策时，$π^*$是领导者的最优策略，（ii）$ν^*$是跟随者的最佳对策，这是由$π^*$诱导的跟随者博弈的纳什均衡。我们开发了样本高效的强化学习（RL）算法，用于在线和离线设置中求解SNE。我们的算法是乐观和悲观的最小二乘值迭代的变种，他们很容易能够将函数逼近工具在大的状态空间的设置。此外，对于线性函数逼近的情况，我们证明了我们的算法分别在在线和离线设置下实现次线性遗憾和次最优。据我们所知，我们建立了第一个可证明有效的RL算法求解SNE在一般和马尔可夫游戏近视的追随者。
2021-12-27 cs.GT cs.LG stat.ML
The Complexity of Markov Equilibrium in Stochastic Games
我们表明，计算近似平稳马尔可夫粗相关均衡（CCE）的一般和随机游戏是计算上难以处理的，即使有两个球员，游戏是回合制的，折扣因子是一个绝对常数，和近似是一个绝对常数。我们的棘手的结果形成鲜明对比，正规形式的游戏，确切的CCE是有效的计算。更重要的是，我们的研究结果意味着，有没有有效的算法学习平稳马尔可夫CCE政策在多智能体强化学习（MARL），即使是当互动是两个球员和回合为基础的，和折扣因子和所需的近似学习的政策是一个绝对常数。反过来，这些结果与单智能体强化学习（RL）形成鲜明对比，其中可以有效地学习接近最优的平稳马尔可夫策略。补充我们的棘手的结果平稳马尔可夫CCE，我们提供了一个分散的算法（假设玩家之间共享的随机性）学习非平稳马尔可夫CCE政策与多项式时间和样本的复杂性，在所有的问题参数。以前学习马尔可夫CCE策略的工作都需要指数时间和参与者数量的样本复杂度。
2022-04-08 cs.GT cs.LG
Independent Natural Policy Gradient Always Converges in Markov Potential Games
University of California, Irvine（加州大学欧文分校）
多智能体强化学习已经成功地应用于完全合作和完全竞争的环境中，但目前对混合合作/竞争环境知之甚少。在本文中，我们专注于一类特殊的多智能体混合合作/竞争的随机游戏称为马尔可夫势游戏（MPGs），其中包括合作游戏作为一种特殊情况。最近的研究结果表明，独立的策略梯度收敛MPG，但它是不知道是否独立的自然策略梯度收敛MPG以及。我们证明了独立自然策略梯度总是收敛在最后一个收敛使用常数学习率。证明偏离了现有的方法，主要的挑战在于马尔可夫势博弈没有唯一的最优值（如单智能体设置所示），因此不同的初始化可能导致不同的极限点值。我们补充我们的理论结果与实验表明，自然策略梯度优于策略梯度在路由游戏和拥塞游戏。
2021-10-20 cs.GT cs.LG
Global Convergence of Multi-Agent Policy Gradient in Markov Potential Games
SUTD（新加坡科技设计大学）；UC Irvine（加州大学尔湾分校）
本文提出马尔可夫势博弈的新定义，揭示其与规范形式势博弈的关键差异，并证明独立策略梯度在多智能体设置下能快速收敛到纳什策略。
2025-09-23 cs.GT cs.LG
PAC Reinforcement Learning Algorithm for General-Sum Markov Games
University of Delaware（特拉华大学）
本文提出了一个理论框架，可能近似正确（PAC）的多智能体强化学习（MARL）算法的马尔可夫博弈。本文利用延迟Q学习的思想，对著名的Nash Q-学习算法进行了扩展，建立了一种新的求解一般和马尔可夫对策的PAC MARL算法。除了指导可证明的PAC MARL算法的设计外，该框架还可以检查任意MARL算法是否是PAC。比较数值结果表明性能和鲁棒性。
2020-09-05 cs.GT cs.LG math.OC
Optimistic Policy Gradient in Multi-Player Markov Games with a Single Controller: Convergence Beyond the Minty Property
Meta AI；University of California Irvine（加州大学欧文分校）；Archimedes research unit（阿基米德研究单元）；Massachusetts Institute of Technology（麻省理工学院）；Strategy Robot, Inc.（战略机器人公司）；Strategic Machine, Inc.（战略机器公司）；Optimized Markets, Inc.（优化市场公司）；Carnegie Mellon University（卡内基梅隆大学）
本文提出新框架，证明在均衡坍缩假设下，单控制器多玩家马尔可夫博弈的乐观策略梯度方法以O(1/ε²)迭代收敛到平稳ε-NE，并引入推广的Minty性质绕过复杂性障碍。
2023-12-21 cs.GT cs.LG
Regret Minimization and Convergence to Equilibria in General-sum Markov Games
针对对抗场景下马尔可夫博弈遗憾最小化难以实现的问题，提出首个所有智能体执行时可提供次线性交换遗憾保证、且收敛到相关均衡的去中心化高效无通信学习算法，其核心是将策略优化在线学习归约为加权遗憾最小化，通过控制路径长度实现目标。
2025-06-16 cs.AI cs.GT cs.LG
Online Learning in Unknown Markov Games
Massachusetts Institute of Technology（麻省理工学院）；Princeton University（普林斯顿大学）
我们研究了未知马尔可夫博弈中的在线学习，这是一个在对手的行为不可观察的情景多智能体强化学习中出现的问题。我们表明，在这种具有挑战性的设置，实现次线性后悔对最佳对策事后诸葛亮是统计上很难。然后，我们考虑一个较弱的概念的遗憾与\emph{minimax value}的游戏，并提出了一个算法，实现了次线性$\tilde{\mathcal{O}}(K^{2/3})$遗憾后，$K$事件。这是未知马尔可夫博弈中在线学习的第一个次线性后悔界（据我们所知）。重要的是，我们的后悔界限与对手行动空间的大小无关。因此，即使对手的行为是完全可观察的，我们的遗憾界限也会改善现有的分析（例如，(Xie例如，2020年））的对手数量的指数因子。
2021-02-06 cs.LG stat.ML
Playing Markov Games Without Observing Payoffs
Department of Electrical Engineering, University of Tel Aviv, Tel Aviv, Israel（电信工程系，特拉维夫大学，特拉维夫，以色列）
本文提出了一种在不观察收益情况下，通过在线学习与对手竞争的马尔可夫游戏方法，扩展了对称性概念并实现了多项式时间复杂度的算法。
2026-01-28 cs.GT cs.LG
Breaking the Curse of Multiagents in a Large State Space: RL in Markov Games with Independent Linear Function Approximation
University of Washington（华盛顿大学）；University of Maryland, College Park（马里兰大学帕克分校）
针对大状态空间多智能体强化学习，提出独立线性马尔可夫博弈模型及新算法，以多项式样本复杂度学习均衡，打破多智能体诅咒，并改进表格情形下的最优结果。
2023-06-21 cs.AI cs.GT cs.LG
Corruption-Robust Offline Two-Player Zero-Sum Markov Games
University of Warwick（华威大学）
研究离线双人零和马尔可夫博弈中数据腐败的鲁棒性，提出鲁棒悲观极小极大值迭代算法，在腐败数据或仅干净数据覆盖下实现近最优次优性差距，首次给出此类问题的刻画。
2024-03-04 cs.GT cs.LG
Soft-Bellman Equilibrium in Affine Markov Games: Forward Solutions and Inverse Learning
Oden Institute for Computational Engineering and Sciences（奥登计算工程与科学研究所）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出仿射马尔可夫博弈与软贝尔曼均衡概念，给出存在唯一性条件，并用非线性最小二乘和投影梯度算法分别求解前向均衡与逆奖励参数推断问题，实验证明推断精度显著优于基线。
2023-09-08 cs.GT cs.LG
Representation Learning for General-sum Low-rank Markov Games
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
研究了具有非线性函数逼近的多主体一般和马氏对策。我们专注于低秩马尔可夫博弈的转移矩阵承认一个隐藏的低秩结构上的一个未知的非线性表示。目标是设计一种算法，该算法（1）在没有环境或表示的先验知识的情况下有效地找到$\varepsilon$ -均衡策略样本，以及（2）允许深度学习友好的实现。我们利用表示学习，并提出了一个基于模型和无模型的方法来构建一个有效的表示从收集的数据。对于这两种方法，该算法实现了聚$(H,d,A,1/\varepsilon)$的样本复杂度，其中$H$是游戏视野，$d$是特征向量的维度，$A$是联合动作空间的大小，$\varepsilon$是最优性间隙。当参与者的数量很大时，上述样本复杂度可以在最坏情况下随着参与者的数量呈指数级扩展。为了解决这一挑战，我们考虑马尔可夫游戏的因式分解过渡结构，并提出了一个算法，逃避这种指数缩放。据我们所知，这是第一个样本有效的算法，多代理一般和马尔可夫游戏，采用（非线性）函数逼近。我们伴随着我们的理论结果与神经网络为基础的实现我们的算法，并评估它对广泛使用的深RL基线，DQN与虚构的发挥。
2022-10-30 cs.LG stat.ML
Hardness of Independent Learning and Sparse Equilibrium Computation in Markov Games
Microsoft（微软）
我们考虑马尔可夫博弈中的分散式多智能体强化学习问题。一个基本的问题是，是否存在这样的算法，当所有的智能体都采用这种算法，并以分散的方式独立运行时，每个玩家都不会后悔，类似于标准形式游戏中著名的收敛结果。虽然最近的工作表明，这种算法存在的限制设置（特别是，当后悔的定义相对于偏差马尔可夫政策），独立的无遗憾学习是否可以实现在标准的马尔可夫博弈框架的问题是开放的。我们提供了一个决定性的消极解决这个问题，无论是从计算和统计的角度来看。我们证明：- 在普遍认为PPAD困难问题不能在多项式时间内解决的假设下，没有多项式时间算法可以在所有参与者独立执行时在一般和马尔可夫博弈中获得无遗憾，即使算法设计者知道博弈并且参与者的数量是一个小常数。- 当游戏是未知的，没有算法，不管计算效率如何，可以实现无遗憾，而不观察到的事件数量是指数的球员。也许令人惊讶的是，我们的下限甚至适用于看似更容易的设置，其中所有代理都由集中式算法控制。他们证明通过一个更简单的问题，我们称之为SparseCCE，其中的目标是计算一个粗略的相关均衡，稀疏的意义上说，它可以表示为一个混合物的一小部分产品政策的下限。我们的方法的关键是一个新的应用程序的聚合技术从在线学习，从而我们表明，任何算法的SparseCCE问题可以用来计算近似纳什均衡的非零和正规形式的游戏。
2023-03-22 cs.AI cs.GT cs.LG
Multi-Player Zero-Sum Markov Games with Networked Separable Interactions
Massachusetts Institute of Technology（麻省理工学院）；University of Maryland（马里兰大学）
研究具有网络化可分离交互的多玩家零和马尔可夫博弈，证明其均衡塌缩特性与计算复杂度，并提出基于虚拟博弈和值迭代的算法及收敛保证。
2025-07-12 cs.GT cs.LG
Achieving Logarithmic Regret in KL-Regularized Zero-Sum Markov Games
Carnegie Mellon University（卡内基梅隆大学）；Yale University（耶鲁大学）
本文提出OMG和SOMG算法，在KL正则化下实现对数遗憾，提升样本效率。
2026-02-04 cs.GT cs.LG math.OC
Off-Policy Exploitability-Evaluation in Two-Player Zero-Sum Markov Games
CyberAgent, Inc.（赛博艾坚特公司）
政策外评估（OPE）是使用从不同政策获得的历史数据来评估新政策的问题。在最近的OPE背景下，大多数研究都集中在单人情况下，而不是多人情况下。在这项研究中，我们提出了OPE估计构造的双重鲁棒和双重强化学习估计在两个球员零和马尔可夫游戏。所提出的估计器预测了可利用性，该可利用性通常用作确定策略配置文件（即，一组策略）是两个玩家零和博弈中的纳什均衡。我们证明了所提出的估计的可利用性估计误差界。然后，我们提出的方法来找到最佳的候选人的政策配置文件，选择的政策配置文件，最大限度地减少估计利用从一个给定的政策配置文件类。我们证明了我们的方法选择的政策配置文件的遗憾界。最后，我们通过实验证明了所提出的估计器的有效性和性能。
2020-12-24 cs.GT cs.LG econ.EM
Planning in entropy-regularized Markov decision processes and games
DeepMind；Inria Lille（Inria里尔）；SequeL team, Inria Lille（SequeL团队，Inria里尔）；DeepMind Paris（DeepMind巴黎）
本文提出SmoothCruiser算法，通过环境生成模型估计熵正则化马尔可夫决策过程和双人博弈的价值函数，实现问题无关的样本复杂度O~(1/epsilon^4)。
2026-10-06 cs.LG stat.ML
Gap-Dependent Bounds for Two-Player Markov Games
Yale University（耶鲁大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）；University of Washington（华盛顿大学）
Q学习作为强化学习领域最流行的方法之一，受到越来越多的关注。最近，有更多的理论工作的遗憾界的算法，属于Q-学习类在不同的设置。分析了2-玩家回合制随机马尔可夫博弈（2-TBSG）中Nash Q-学习算法的累积后悔问题，并给出了情景列表中第一个间隙依赖的对数上界.这个界限只在对数项上与理论下限相匹配。此外，我们将结论推广到无限时域的折扣博弈，并提出了一个类似的缺口依赖对数遗憾界。此外，在线性MDP假设下，我们得到了2-TBSG的另一个对数遗憾，在集中和独立的设置。
2021-07-01 cs.LG stat.ML
Uncoupled and Convergent Learning in Two-Player Zero-Sum Markov Games with Bandit Feedback
Yale University（耶鲁大学）；University of Southern California（南加州大学）；University of Virginia（弗吉尼亚大学）
该研究针对带赌博机反馈的两人零和马尔可夫博弈，提出完全非耦合的熵正则化学习算法，给出多场景下的非渐近收敛速率，消除了同类研究的协调、先验知识及通信要求。
2023-11-08 cs.GT cs.LG
Independent Learning of Nash Equilibria in Partially Observable Markov Potential Games with Decoupled Dynamics
SYCAMORE, EPFL（SYCAMORE，瑞士联邦理工学院）
本文研究了在可部分观测马尔可夫博弈（POMG）中纳什均衡的学习问题，提出了一种独立学习算法，通过不通信的方式，使玩家在仅观察自身动作和观测的情况下，联合收敛到近似纳什均衡，从而实现高效的样本和计算复杂度。
2026-09-14 cs.GT cs.LG cs.MA
Homogenization of Multi-agent Learning Dynamics in Finite-state Markov Games
École Normale Supérieure de Paris-Saclay（巴黎萨克雷高等师范学院）
本文提出通过降低学习率和提高更新频率重标度学习过程，将智能体参数视为慢变量，证明了多智能体在有限状态马尔可夫博弈中的学习动力学收敛于常微分方程，提供了确定性的近似方法。
2025-06-26 cs.LG math.PR stat.ML
Independent Policy Gradient for Large-Scale Markov Potential Games: Sharper Rates, Function Approximation, and Game-Agnostic Convergence
University of Southern California（南加州大学）；Massachusetts Institute of Technology（麻省理工学院）
研究了马尔可夫势博弈中多智能体强化学习（RL）问题的策略梯度方法的全局非渐近收敛性.为了学习纳什均衡的MPG中的状态空间的大小和/或玩家的数量可以是非常大的，我们提出了新的独立的策略梯度算法，是由所有玩家串联运行。当梯度评估中没有不确定性时，我们证明了我们的算法找到了具有$O(1/ε^2)$迭代复杂度的$ε$ -纳什均衡，该迭代复杂度不显式地依赖于状态空间大小。当精确的梯度是不可用的，我们建立$O(1/ε^5)$样本复杂性界在一个潜在的无限大的状态空间的基于样本的算法，利用函数逼近。此外，我们确定了一类独立的策略梯度算法，享有收敛的零和马尔可夫游戏和马尔可夫合作游戏的球员，是不知道正在玩的游戏类型。最后，我们提供了计算实验来证实我们的理论发展的优点和有效性。
2022-08-04 cs.GT cs.LG cs.MA
NashPG: A Policy Gradient Method with Iteratively Refined Regularization for Finding Nash Equilibria
University of Sydney（悉尼大学）；Nanyang Technological University（南洋理工大学）
本文提出NashPG算法，通过在策略优化目标中直接引入正则化，解决了多智能体强化学习中两玩家零和不完全信息游戏寻找纳什均衡的挑战，实现了在经典基准游戏和大型领域中的高效收敛与高收益。
2026-08-04 cs.GT cs.LG
Predicting Student Performance in an Educational Game Using a Hidden Markov Model
University of California Los Angeles (UCLA)（加州大学洛杉矶分校（UCLA））
贡献：以往的教育研究大多采用横向研究的模式，即考察前测和后测的成绩。本文表明，学生的知识在整个干预可以估计时间序列分析使用隐马尔可夫模型。背景资料：分析时间序列和学生与游戏数据之间的相互作用可以获得仅通过考试的横截面研究无法获得的宝贵信息。研究问题：隐马尔可夫模型可以用来分析教育游戏吗？隐马尔可夫模型可以用来预测学生的表现吗？方法：这项研究进行了（N=854）的学生谁玩保存补丁游戏。学生们被分成一班和二班。一班的学生是那些在测试中得分低于二班的学生。分析是通过选择游戏的各种特征作为观察来完成的。研究结果：状态轨迹可以准确地预测学生的表现为1班和2班。
2019-04-24 cs.CY cs.LG stat.AP
Almost Optimal Algorithms for Two-player Zero-Sum Linear Mixture Markov Games
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究了有限时间内两人零和马尔可夫博弈的强化学习，其中底层马尔可夫博弈的转移核可以通过当前状态、两个玩家的动作和下一个状态的线性函数来参数化。特别是，我们假设我们可以控制双方的球员，并旨在找到纳什均衡通过最小化的二元差距。我们提出了一个算法Nash-UCRL的基础上的原则“乐观面对不确定性”。我们的算法只需要找到一个粗相关均衡（CCE），这是计算效率。具体来说，我们证明了纳什UCRL可以证明实现$\tilde{O}(dH\sqrt{T})$遗憾，其中$d$是线性函数的尺寸，$H$是游戏的长度和$T$是在游戏中的步骤总数。为了评估我们的算法的最优性，我们还证明了一个$\tildeΩ( dH\sqrt{T})$下界的遗憾。我们的上限匹配的下限对数因子，这表明我们的算法的最优性。
2022-04-20 cs.LG math.OC stat.ML
Learning Zero-Sum Simultaneous-Move Markov Games Using Function Approximation and Correlated Equilibrium
Cornell University（康奈尔大学）；Northwestern University（西北大学）；Princeton University（普林斯顿大学）
我们开发了可证明有效的强化学习算法的两个球员零和有限时域马尔可夫游戏同时移动。为了结合函数逼近，我们考虑一类马尔可夫博弈，其中奖励函数和转移核具有线性结构。离线和在线设置的问题被认为是。在离线设置中，我们控制双方球员和目标是找到纳什均衡通过最小化的二元差距。在在线设置中，我们控制单个玩家与任意对手进行比赛，并旨在最大限度地减少遗憾。对于这两种设置，我们提出了一个乐观的最小二乘极小极大值迭代算法的变体。我们表明，我们的算法是计算效率和可证明达到了$\tilde O(\sqrt{d^3 H^3 T} )$上界的对偶差距和遗憾，其中$d$是线性尺寸，$H$的地平线和$T$的总时间步。我们的研究结果不需要对抽样模型进行额外的假设。我们的设置需要克服几个新的挑战，是不存在的马尔可夫决策过程或回合制马尔可夫游戏。特别是，实现乐观的同时行动，我们构造的价值函数的上，下置信界，然后计算乐观的政策，通过解决一般和矩阵游戏，这些边界作为支付矩阵。由于寻找一般和博弈的纳什均衡在计算上是困难的，我们的算法，而不是解决一个粗相关均衡（CCE），这可以有效地获得。据我们所知，这样一个基于CCE的乐观计划还没有出现在文献中，可能是感兴趣的本身。
2020-06-23 cs.GT cs.LG cs.MA
A Multi-Step Minimax Q-learning Algorithm for Two-Player Zero-Sum Markov Games
本文针对两人零和马尔可夫博弈提出一种多步极小极大Q-learning算法，在模型信息未知时以概率1收敛到博弈论最优值，并通过数值仿真验证其有效性与易实现性。
2024-10-13 cs.LG
Deep Fictitious Play for Finding Markovian Nash Equilibrium in Multi-Agent Games
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
我们提出了一种基于深度神经网络的算法来识别一般大型$N$ -玩家随机微分对策的马尔可夫纳什均衡。根据虚拟游戏的思想，我们将$N$ -玩家游戏转换为$N$解耦的判定问题（每个玩家一个）并迭代求解。个人判定问题的特点是一个半线性Hamilton-Jacobi-Bellman方程，我们采用最近发展的深度Boundary方法来解决。由此产生的算法可以解决大型$N$玩家的游戏，传统的数值方法将遭受灾难的维数。多个数值例子涉及相同或异构代理，风险中性或风险敏感的目标，进行测试，以验证所提出的算法在大型群体游戏的准确性。即使是一个50人的游戏存在共同的噪音，该算法仍然找到近似的纳什均衡准确，这是据我们所知，很难实现的其他数值算法。
2020-06-05 cs.GT cs.LG math.OC
Efficiently Computing Nash Equilibria in Adversarial Team Markov Games
University of California, Irvine（加州大学欧文分校）；Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
纳什均衡策略的求解是多智能体强化学习的核心问题，在理论和实践中都受到了广泛的关注。然而，迄今为止，可证明的保证要么仅限于完全竞争或合作的情况，要么强加了在大多数实际应用中难以满足的强有力的假设。在这项工作中，我们离开这些先前的结果调查无限地平线\emph{adversarial team Markov games}，一个自然的和动机良好的一类游戏中，一队同样感兴趣的球员-在没有任何明确的协调或沟通-是竞争对手的球员。这种设置允许零和马尔可夫博弈和马尔可夫势博弈的统一处理，并作为一个步骤，以模拟更现实的战略互动，同时具有竞争和合作的利益。我们的主要贡献是第一个算法计算平稳$ε$ -近似纳什均衡的对抗团队马尔可夫游戏的计算复杂性是多项式的所有自然参数的游戏，以及$1/ε$。所提出的算法是特别自然和实用的，它是基于执行独立的策略梯度步骤，为每个球员在团队中，在串联与最佳对策从对手的一方，反过来，对手的政策，然后通过求解一个精心构造的线性规划。我们的分析利用非标准的技术来建立KKT最优性条件的非凸约束的非线性规划，从而导致自然的解释诱导拉格朗日乘子。一路上，我们显着扩展了对抗（正常形式）团队游戏中的最优策略的重要特征，由于Von Stengel和Koller（GEB '97）。
2022-08-03 cs.GT cs.LG cs.MA
The Intelligent Disobedience Game: Formulating Disobedience in Stackelberg Games and Markov Decision Processes
Independent Researcher（独立研究者）；Tufts University（塔夫茨大学）
本文提出智能不服从游戏（IDG），通过Stackelberg游戏框架建模人类与辅助体的不对称信息交互，分析多步场景中的最优策略，揭示如'安全陷阱'等战略现象，为开发安全非合规学习算法和研究人类对不服从AI的信任提供数学基础。
2026-03-22 cs.AI cs.GT cs.LG
$\widetilde{O}(T^{-1})$ Convergence to (Coarse) Correlated Equilibria in Full-Information General-Sum Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
针对马尔可夫博弈中缺乏近优收敛速率的问题，本文证明OFTRL算法结合适当价值更新过程能在全信息一般和马尔可夫博弈中于T次迭代内找到 $\widetilde{O}(T^{-1})$-近似的（粗）相关均衡。
2024-04-23 cs.AI cs.GT cs.LG
Independent Reinforcement Learning in Discounted Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对折扣一般和马尔可夫博弈，在假设ETH与PPAD等价下证明独立学习无多项式时间算法，提出首个完全解耦的分层乐观镜像下降算法，保证次指数收敛并开发全反馈与部分反馈版本。
2026-09-02 cs.AI cs.GT cs.LG
Data Poisoning to Fake a Nash Equilibrium in Markov Games
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
该研究刻画了离线多智能体强化学习的数据投毒攻击，提出唯一纳什集概念，通过线性规划高效计算最优投毒策略，为设计鲁棒MARL算法奠定基础。
2024-06-18 cs.AI cs.CR cs.GT
Independent Learning in Constrained Markov Potential Games
ETH Zürich（苏黎世联邦理工学院）
针对约束 Markov 势博弈，提出无需集中协调的独立策略梯度算法，结合正则化约束集的邻近点更新与随机切换梯度求解，并证明其收敛至近似约束 Nash 均衡。
2024-02-27 cs.GT cs.LG cs.MA
High-Probability Nash Regret for Decentralized Learning in Markov $α$-Potential Games: Episodic and Fully Online Asynchronous Algorithms with Applications to Markov Congestion Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对马尔可夫α-势博弈，提出KL投影自然策略梯度算法，在情节式和完全在线异步设置下实现高概率纳什遗憾界，消除分布不匹配系数，并应用于马尔可夫拥塞博弈的在线作业调度。
2026-09-15 cs.GT cs.LG cs.MA
Minimax-Optimal Multi-Agent RL in Markov Games With a Generative Model
University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了马尔可夫博弈中的多智能体强化学习，目标是学习纳什均衡或粗相关均衡（CCE）样本最优。所有先前的结果遭受至少两个障碍之一：多个代理人的诅咒和长视野的障碍，无论使用的采样协议。我们采取一个步骤来解决这个问题，假设访问一个灵活的采样机制：生成模型。针对非平稳有限时域马尔可夫博弈，我们开发了一种快速学习算法\myalg ~和一种自适应采样方案，该方案利用在线对抗学习中的乐观原则（特别是Follow-the-Regularized-Leader（FTRL）方法）。我们的算法在一般和马尔可夫博弈中使用$$ \widetilde{O}\bigg( \frac{H^4 S \sum_{i=1}^m A_i}{\varepsilon^2} \bigg) $$样本学习$\varepsilon$ -近似CCE，其中$m$是玩家的数量，$S$表示状态的数量，$H$是地平线，$A_i$表示第$i$玩家的动作数量。当玩家数量固定时，这是最小最大最优的（直到对数因子）。当应用到两个球员零和马尔可夫游戏，我们的算法证明找到一个$\varepsilon$ -近似纳什均衡与最小样本。一路上，我们得到一个精致的遗憾界FTRL，明确的方差型量的作用，这可能是独立的利益。
2022-10-12 cs.GT cs.IT cs.LG
Inception: Efficiently Computable Misinformation Attacks on Markov Games
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究马尔可夫博弈中虚假信息引发的安全威胁，提出基于线性规划与逆向归纳的多项式时间算法及inception攻击算法，高效计算攻击者最优策略并寻找最优虚假奖励函数，揭示了标准博弈理性假设下的安全漏洞。
2024-06-24 cs.CR cs.GT cs.LG
Roping in Uncertainty: Robustness and Regularization in Markov Games
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文研究s-矩形不确定性的鲁棒马尔可夫博弈，建立鲁棒纳什均衡与正则化博弈纳什均衡的等价性，并针对一般情形证明PPAD难，进而提出高效玩家可分解性结构，使两人零和RMG可在多项式时间内求解。
2024-06-13 cs.DS cs.GT cs.LG
Offline Learning in Markov Games with General Function Approximation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Salesforce Research（赛富时研究院）
我们研究了马尔可夫博弈中的离线多智能体强化学习（RL），其目标是从预先收集的离线数据集中学习近似均衡-例如纳什均衡和（粗）相关均衡。现有的作品考虑相对有限的表格或线性模型，并单独处理每个平衡。在这项工作中，我们提供了第一个框架，用于在一般函数近似下的马尔可夫游戏中进行样本有效的离线学习，以统一的方式处理所有3个均衡。利用Bellman一致悲观理论，得到了策略收益的区间估计，并利用区间估计的上、下界得到了候选策略的缺口松弛，从而得到了优化目标。我们的研究结果概括了以前的工作，并提供了一些额外的见解。重要的是，我们需要一个数据覆盖的条件，改善了最近提出的“单边集中”。我们的条件允许选择性覆盖的偏差政策，最佳的贪婪（近似最佳对策）和覆盖范围之间的权衡，我们显示的情况下，这导致显着更好的保证。作为一个新的连接，我们还展示了我们的算法框架如何可以submersible看似不同的解决方案的概念设计的特殊情况下，两个玩家零和游戏。
2023-02-06 cs.AI cs.LG cs.MA
Convergence and Price of Anarchy Guarantees of the Softmax Policy Gradient in Markov Potential Games
University of South Carolina（南卡罗来纳大学）；Virginia Tech（弗吉尼亚理工大学）
我们研究的性能的策略梯度方法的马尔可夫游戏的子类称为马尔可夫潜在的游戏（MPG），它扩展了正常形式的潜在游戏的概念，有状态的设置，包括重要的特殊情况下，完全合作的设置，其中代理共享一个相同的奖励函数。我们在本文中的重点是研究的收敛性的策略梯度方法求解MPG下softmax政策参数化，表格和参数化的一般函数逼近器，如神经网络。我们首先证明了这种方法的渐近收敛到一个纳什均衡的MPG表格softmax政策。其次，我们推导了两种设置下的策略梯度的有限时间性能：1）使用对数屏障正则化，以及2）使用最佳响应动态（NPG-BR）下的自然策略梯度。最后，通过推广正规型博弈中的无政府无政府代价（POA）和光滑性的概念，我们引入了MPG的POA，并给出了NPG-BR的POA界。据我们所知，这是求解MPG的第一个POA界。为了支持我们的理论结果，我们实证比较了表格和神经softmax政策的策略梯度变体的收敛速度和POA。
2022-06-15 cs.AI cs.GT cs.LG
Communication-Efficient Actor-Critic Methods for Homogeneous Markov Games
Artificial Intelligence Institute, University of South Carolina（南卡罗来纳大学人工智能研究所）
协作式多智能体强化学习（MARL）最近的成功依赖于集中式训练和策略共享。集中式训练消除了非平稳性MARL的问题，但引起了巨大的通信成本，政策共享是经验上的关键，在某些任务的有效学习，但缺乏理论依据。在本文中，我们正式刻画了合作马尔可夫博弈的一个子类，其中代理表现出一定形式的同质性，使得策略共享可证明不会产生次优性。这使我们能够开发出第一个基于共识的去中心化参与者-批评者方法，其中共识更新适用于参与者和批评者，同时确保收敛。我们还开发了基于分散式演员-评论家方法的实用算法，以降低训练过程中的通信成本，同时仍然产生与集中式训练相当的策略。
2022-03-31 cs.AI cs.GT cs.LG
Extended Markov Games to Learn Multiple Tasks in Multi-Agent Reinforcement Learning
Imperial College London（帝国理工学院）
形式化方法与强化学习（RL）的结合最近引起了人们的兴趣，作为单智能体RL学习多任务规范的一种方式。在本文中，我们将这种收敛扩展到多智能体设置，并正式定义扩展马尔可夫博弈作为一个通用的数学模型，允许多个RL代理同时学习各种非马尔可夫规范。为了介绍这个新的模型，我们提供了正式的定义和证明，以及经验测试的RL算法运行在这个框架上。具体来说，我们使用我们的模型训练两个不同的基于逻辑的多智能体RL算法，以解决不同的设置非马尔可夫共同安全的LTL规范。
2020-02-14 cs.AI cs.LG cs.LO
Shapley Value Based Multi-Agent Reinforcement Learning: Theory, Method and Its Application to Energy Network
Imperial College of Science, Technology and Medicine（帝国理工学院）
本文通过合作博弈论将Shapley值扩展到马尔可夫决策过程，提出马尔可夫Shapley值作为公平信用分配基础，并据此设计SHAQ、SQDDPG和SMFPPO三种多智能体强化学习算法，在能源网络真实问题上验证了有效性。
2024-02-23 cs.LG cs.MA
Provably Fast Convergence of Independent Natural Policy Gradient for Markov Potential Games
Northeastern University（东北大学）；Texas A&M University（德克萨斯A&M大学）
本文研究马尔可夫势博弈中多智能体强化学习的独立自然策略梯度算法，通过引入次优性间隙，证明其在O(1/ε)次迭代内达到ε-纳什均衡，改进了此前O(1/ε^2)的结果，并通过合成势博弈和拥堵博弈实验验证了理论界。
2023-10-27 cs.LG math.OC
Internal State-Based Policy Gradient Methods for Partially Observable Markov Potential Games
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出基于内部状态的策略梯度方法，用于解决部分可观测马尔可夫势博弈中的多智能体强化学习问题，通过压缩累积信息以保证可扩展性，并建立非渐近收敛界。
2026-04-01 cs.LG cs.MA
Independent and Decentralized Learning in Markov Potential Games
University of California, Berkeley（加州大学伯克利分校）
研究无限期折扣马尔可夫势博弈中的独立去中心化多智能体强化学习，提出基于双时间尺度的异步Q函数与策略更新动力学，并证明其收敛性。
2025-04-01 cs.AI cs.GT cs.LG
